Data Engineer (Python/Spark)

Локация: Москва, улица Ивана Франко, 14. Формат работы: на месте работодателя или гибрид. Трудоустройство по ТК РФ.

Компания

Московский метрополитен развивает платформу данных для обработки телеметрии автономного транспорта Москвы, включая трамваи и метро.

Что делать

• Разрабатывать и запускать Spark-пайплайны для преобразования телеметрии в данные, удобные для анализа.
• Проектировать проверки качества данных и надёжную загрузку в хранилище.
• Подключать новые источники и разрабатывать интеграции с различными системами.
• Развивать архитектуру Data Lake/DWH и повышать производительность и стабильность платформы.
• Формировать командные подходы к разработке, мониторингу и сопровождению пайплайнов.

Требования

• От 3 до 6 лет опыта работы.
• Практический опыт разработки и сопровождения пайплайнов данных.
• Опыт работы с PySpark, Python и SQL.
• Опыт работы с Data Lake/DWH и понимание принципов построения ETL/ELT-процессов.
• Понимание принципов распределённой обработки данных.

Хорошо, если есть

• Опыт работы с Trino и S3.
• Опыт оркестрации пайплайнов с помощью Airflow.
• Знакомство с Data Vault 2.0.
• Знание Scala и опыт её использования для обработки данных.
• Опыт развития платформы данных на ранних этапах: от выбора решений до внедрения и сопровождения.

Культура и преимущества

• Полная занятость и работа в команде экспертов, ориентированной на инновации и сотрудничество.
• Компенсация проезда в пригородных электропоездах.
• Льготы на отдых в оздоровительном комплексе метрополитена.
• Детский оздоровительный лагерь и детский клуб.
• Финансовые условия обсуждаются индивидуально в зависимости от опыта кандидата.