TL;DR
Руководитель направления разработки признаков ML-моделей (AI/ML): Руководство командой Data Engineers, проектирование и реализация ETL/ELT-процессов для высоконагруженных приложений обработки данных с акцентом на оптимизацию производительности и отказоустойчивость. Фокус на разработке пайплайнов данных, управлении хранилищами данных и участии в принятии архитектурных решений.
Локация: Удалённо или Москва
Компания
Крупный банк, предлагающий стабильную работу и передовые технологии.
Что делать
- Руководство командой Data Engineers: постановка целей, распределение задач, менторинг и контроль качества.
- Проектирование, реализация и сопровождение ETL/ELT-процессов на базе Airflow, Hadoop, PySpark, Python.
- Разработка и оптимизация высоконагруженных приложений обработки данных, профилирование и устранение узких мест.
- Настройка и поддержка отказоустойчивых пайплайнов данных с контролем качества, ретраями и SLA.
- Проведение code review, внедрение стандартов разработки и участие в принятии архитектурных решений.
- Поддержка и развитие хранилищ данных, взаимодействие с заказчиками и разработчиками.
Требования
- Уверенное знание Python: структуры данных и алгоритмы, ООП, ФП, опыт написания тестируемого кода, использование библиотек для обработки и анализа данных.
- Опыт разработки и оптимизации распределённых приложений обработки данных на PySpark, включая техники оптимизации Spark.
- Уверенное владение Apache Airflow: проектирование сложных ETL/ELT-процессов, настройка SLA, ретраев, интеграция с внешними системами.
- Знание принципов работы Hadoop (HDFS, YARN), управление ресурсами и понимание влияния конфигураций на производительность.
- Опыт написания сложных SQL-запросов с аналитическими оконными функциями и их оптимизации под большие объёмы данных.
- Опыт промышленной эксплуатации высоконагруженных систем обработки данных, включая настройку мониторинга, алертинга и проведения code review.
Культура и преимущества
- Стабильная работа в крупном банке страны.
- Сильное DS community, большое разнообразие рабочих и внерабочих активностей, условия для роста и развития.
- Конкурентная заработная плата, соцпакет, квартальный бонус по результатам работы.
- Дружный коллектив единомышленников, возможность существенно влиять на результат и способы его достижения.
- Передовой стек технологий, высокопроизводительное оборудование.
- ДМС, страхование жизни, корпоративное обучение.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →