Data Engineer (PySpark)

TL;DR

Инженер данных (PySpark/SQL): Разработка и оптимизация пайплайнов обработки данных (batch и streaming) с акцентом на интеграцию новых источников в Data Lake и обеспечение качества данных. Фокус на оптимизации приложений Apache Spark, работе с Hadoop и развитии инженерных практик управления данными.

Локация: Санкт-Петербург, гибридный график работы

Salary: 250 000 — 300 000 ₽/мес на руки

Компания

Один из мировых лидеров отрасли FMCG с более чем вековой историей.

Что делать

• Разрабатывать и оптимизировать пайплайны обработки данных (batch и streaming).
• Интегрировать новые источники данных в Data Lake.
• Участвовать в развитии внутреннего фреймворка по качеству данных.
• Проводить код-ревью.

Требования

• Опыт разработки пайплайнов обработки данных в Apache Airflow.
• Опыт оптимизации приложений на Apache Spark.
• Понимание работы СУБД и принципов построения хранилищ данных.
• Опыт работы с Hadoop (Apache Spark, HDFS, YARN и др.).
• Уверенное владение SQL, Python, Scala или Java.
• Локация: Санкт-Петербург (гибрид).

Хорошо, если есть

• Опыт работы с Apache Kafka, Apache NiFi.
• Опыт оптимизации потребления ресурсов.
• Готовность участвовать в развитии лучших инженерных практик.

Культура и преимущества

• Декретная позиция.
• Конкурентная заработная плата, квартальные и годовые премии.
• Расширенный ДМС для сотрудника и членов семьи, включая стоматологию.
• Страхование жизни с первого дня и 100% оплата больничного листа.
• Компенсация питания, мобильной связи и интернета.
• Корпоративная программа софинансирования долгосрочных накоплений и скидки на продукцию компании.