Data Engineer Middle

Data Engineer Middle/ Middle+

Ставка: до 1800, с НДС
Локация: Строго РФ
Загрузка: 100% с января
Кол-во человек: 2
Длительность: до конца 2026 года

Требования:
- Пишет сложные ЅQL запросы (оконные функции, СТЕ, подзапросы). Понимает основы оптимизации SQL-запросов, индексацию. Знаком с колоночными БД.
- Умеет разрабатывать Spark-приложения для обработки данных. Понимает архитектуру Spark (Driver, Executor), концепции RDD/DataFrame. Знаком с HDFЅ.
- Самостоятельно разрабатывает, тестирует и развертывает ETL/ELT пайплайны. Умеет работать с одним из оркестраторов (например, писать DAG'и в Airflow).
- Понимает основные техники оптимизации SQL (индексы, избегание функций в WHERE). Умеет анализировать Spark UI, выявлять узкие места (shuffle, skew), применять базовые техники оптимизации Spark (cache, repartition, broadcast).
- Понимает преимущества колоночных форматов (Parquet. ОКС). Может работать с ними в Spark. Знаком с концепцией форматов таблиц для Data Lake (Delta, Iceberg, Hudi).
- Может применять простые техники проверки качества данных (валидация). Знаком с основными концепциями Data Governance.
- Умеет настраивать базовое логирование, использовать Spark UI для анализа джоб. Понимает важность мониторинга.
- Четко излагает технические решения, может аргументировать свой выбор. Самостоятельно находит решения для большинства типовых проблем.