Data Engineer (DWH)

Локация: Москва

Компания

АО «Связьтранснефть» развивает ИТ-платформу данных для телеметрии автономного транспорта Москвы, включая трамваи и метро.

Что делать

• Разрабатывать и запускать Spark-пайплайны для преобразования телеметрии в данные, пригодные для анализа.
• Проектировать преобразования и проверки качества данных.
• Подключать новые источники и разрабатывать интеграции с различными системами.
• Обеспечивать надёжную загрузку данных в хранилище.
• Развивать архитектуру Data Lake/DWH и общие подходы к разработке, мониторингу и сопровождению пайплайнов.

Требования

• Практический опыт разработки и сопровождения пайплайнов данных.
• Опыт работы с PySpark, Python и SQL.
• Опыт работы с Data Lake/DWH и понимание принципов построения ETL/ELT-процессов.
• Понимание принципов распределённой обработки данных.

Хорошо, если есть

• Опыт работы с Trino и S3.
• Опыт оркестрации пайплайнов с помощью Airflow.
• Знакомство с Data Vault 2.0.
• Знание Scala и опыт её использования для обработки данных.
• Опыт развития платформы данных на ранних этапах: от выбора решений до внедрения и сопровождения.

Культура и преимущества

• Трудоустройство и работа в соответствии с ТК РФ.
• Работа в команде экспертов, ориентированной на инновации и сотрудничество.
• Компенсация проезда в пригородных электропоездах.
• Льготы на отдых в оздоровительном комплексе метрополитена, детский оздоровительный лагерь и детский клуб.
• Финансовые условия обсуждаются индивидуально в зависимости от опыта кандидата.