Lead Data Engineer (ML)

TL;DR

Lead Data Engineer (ML): Leading a team of data engineers to design, implement, and maintain ETL/ELT pipelines and high-load data processing applications with an accent on Apache Airflow, Hadoop, PySpark, and Python. Focus on building fault-tolerant data pipelines, optimizing distributed data processing, and ensuring high quality and SLA compliance.

Локация: Москва, возможна удалённая работа из России

Компания

Один из крупнейших банков России с сильным сообществом специалистов по Data Science и современным технологическим стеком.

Что делать

• Руководство командой Data Engineers: постановка целей, распределение задач, менторинг и контроль качества выполнения.
• Проектирование, реализация и сопровождение ETL/ELT-процессов на базе Airflow, Hadoop, PySpark, Python.
• Разработка и оптимизация высоконагруженных приложений обработки данных, профилирование и устранение узких мест.
• Настройка и поддержка отказоустойчивых пайплайнов данных с контролем качества, ретраями и SLA.
• Проведение code review, внедрение стандартов разработки и практик тестирования, участие в архитектурных решениях.
• Взаимодействие с заказчиками и разработчиками, ведение процессов в Jira.

Требования

• Локация: Москва или удалённо из России
• Уверенное знание Python, включая ООП, ФП, библиотеки pandas, numpy, навыки отладки и профилирования.
• Опыт разработки и оптимизации приложений на PySpark, знание ключевых трансформаций и техник оптимизации.
• Уверенное владение Apache Airflow для проектирования сложных ETL/ELT-процессов с настройкой SLA и ретраев.
• Знание Hadoop (HDFS, YARN), управление ресурсами и понимание производительности.
• Опыт написания сложных SQL-запросов и оптимизации под большие данные.

Культура и преимущества

• Стабильная работа в крупном банке с конкурентной зарплатой и соцпакетом.
• Сильное сообщество DS, внутренние программы развития, конференции и тренинги.
• Дружный коллектив специалистов по машинному обучению в одном департаменте.
• Передовой стек технологий и высокопроизводительное оборудование.
• Возможность влиять на бизнес-результаты и архитектуру решений.
• Квартальный бонус, ДМС и страхование жизни.
• Корпоративное обучение.