Data Engineer в Локализацию

Локация: Москва, гибридный формат работы.

Компания

Международная технологическая компания, созданная в результате объединения IT-компании и оператора наружной рекламы; развивает платформу данных для ML-специалистов и продуктовых аналитиков рекомендательных систем.

Что делать

• Помогать проектировать и строить озёрные хранилища на Apache Iceberg с использованием Spark и Trino для объёмов данных в сотни ТБ.
• Внедрять и настраивать процессы качества данных: валидацию, мониторинг и метрики качества.
• Автоматизировать генерацию и сопровождение метаданных и описаний данных, включая data discovery, data catalog и профилирование.
• Проектировать и разворачивать feature store для подготовки и управления признаками на стороне платформы.
• Участвовать в создании семантического слоя для унификации бизнес-логики и метрик.
• Оценивать и внедрять полезные open source-инструменты для команды и потребителей данных.

Требования

• Уверенное владение Python в контексте Data Engineering; опыт от 2 лет.
• Глубокое знание SQL, включая оконные функции, оптимизацию запросов и explain-планы.
• Опыт работы с оркестраторами данных, включая Airflow.
• Опыт работы с Hadoop: Spark, YARN и HDFS.
• Опыт работы с MPP-системами: Greenplum, ClickHouse, Redshift или аналогами.
• Опыт взаимодействия с Trino/Presto, dbt, Feature Store и DQ-фреймворками, такими как Great Expectations, Soda или собственные решения.

Культура и преимущества

• Обучение и развитие: языковые клубы, корпоративный университет и программы развития управленческих навыков.
• Корпоративный пакет ДМС со стоматологией, корпоративный спорт и консультации психолога.
• Профессиональные и спортивные сообщества, включая клубы спикеров, футбола, йоги и шахмат.
• Гибкий подход к совмещению работы и заботы о семье, а также проекты для детей сотрудников.
• Скидки и партнёрские программы на обучение, страхование и покупки.
• Бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.