Middle Data Engineer (SberAds)

#middle #удаленка #гибрид #офис

ИЦ АЙ-ТЕКО
Middle Data Engineer (СберAds)
Опыт работы: 3–6 лет
Полная занятость
График: 5/2
Формат работы: удалённо или гибрид или офис

☑️ Чем предстоит заниматься
-Проектировать и разрабатывать новые, а также поддерживать существующие data pipeline’и в облачной среде
-Заниматься тюнингом и оптимизацией производительности пайплайнов (написание эффективного кода, работа с "горячими" точками, распределенные вычисления)
-Настраивать мониторинг, алертинг и участвовать в создании дашбордов для отслеживания здоровья данных
-Внедрять и развивать практики Data Quality и DataOps
-Поддерживать и развивать техническую документацию

☑️ Наши пожелания к кандидатам
-Опыт работы от 3х лет (Обязательно)
-Отличные знания SQL: умение писать сложные запросы, оптимизировать их, читать и понимать планы выполнения (execution plans), знать внутреннюю работу движка (алгоритмы джойнов, распределение данных, индексы)
-Опыт промышленной разработки на Scala от 2 лет (или уверенный Python/PySpark, если ты готов(а) работать с нашим Scala-ядром
-Уверенное знание Apache Spark: понимание архитектуры, работы с памятью, оптимизации Spark-задач
-Понимание архитектуры Lakehouse: знание концепций DWH и Data Lake, понимание слоев (Raw, Clean, Core, Mart), витрин и агрегатов
-Опыт работы с оркестраторами: Airflow, Dagster или аналогичными планировщиками задач
-Уверенная работа с Git, понимание принципов CI/CD для данных
-Будет плюсом:
-Опыт работы со стриминговым ETL: Kafka, Spark Structured Streaming или Apache Flink
-Опыт работы с современными табличными форматами (Apache Iceberg, Delta Lake или Hudi)
-Понимание принципов работы Kubernetes (опыт деплоя Spark-приложений или Airflow в K8s)
-Опыт работы с инструментами Data Quality (dbt, Great Expectations и аналоги)
-Базовое понимание ML-процессов (как модели потребляют данные, feature store)

Контакты: Показать контакты

🔥 /