Руководитель направления разработки признаков ML-моделей ЮЛ

О компании и команде

• Руководство командой Data Engineers: постановка целей, распределение задач, менторинг и контроль качества выполнения;


• Проектирование, реализация и сопровождение ETL/ELT-процессов на базе Airflow, Hadoop, PySpark, Python;


• Разработка и оптимизация высоконагруженных приложений обработки данных, профилирование и устранение узких мест;


• Настройка и поддержка отказоустойчивых пайплайнов данных с контролем качества, ретраями и SLA;


• Проведение code review, внедрение стандартов разработки и практик тестирования, участие в принятии архитектурных решений;


• Поддержка и развитие хранилищ данных;


• Взаимодействие с заказчиками и разработчиками: интеграция источников данных, формирование требований, согласование SLA;


• Ведение процессов и коммуникаций в Jira: контроль прогресса, отражение статуса задач, поддержка прозрачности работы команды.

Наши пожелания к кандидатам

• Python - уверенное знание структур данных и алгоритмов, применение принципов ООП и ФП, опыт написания тестируемого и поддерживаемого кода, использование библиотек для обработки и анализа данных (pandas, numpy), навыки отладки и профилирования приложений;


• PySpark - опыт разработки и оптимизации распределённых приложений обработки данных, уверенное знание ключевых трансформаций и действий, умение управлять разделами (partitions), использовать broadcast join и другие техники оптимизации, опыт профилирования приложений Spark;


• Apache Airflow - уверенное владение DAG-ориентированным подходом, опыт проектирования сложных ETL/ELT-процессов, настройка SLA, ретраев и сенсоров, интеграция с внешними системами, мониторинг и отладка пайплайнов;


• Hadoop - знание принципов работы HDFS и YARN, управление ресурсами и квотами, понимание влияния параметров конфигурации на производительность и отказоустойчивость;


• SQL и базы данных - опыт написания сложных SQL-запросов с использованием аналитических оконных функций, оптимизация запросов под большие объёмы данных;


• Опыт промышленной эксплуатации высоконагруженных систем обработки данных, включая настройку мониторинга, алертинга и автоматического восстановления пайплайнов;


• Опыт проведения code review: умение выявлять потенциальные узкие места, давать конструктивную оценку.

Что мы предлагаем

• Стабильную работу в одном из крупнейших банков страны;


• Сильное DS community, большое разнообразие рабочих и внерабочих активностей. telegram: Показать контакты ;


• Конкурентную заработную плату, соцпакет;


• Условия для роста и развития (в т.ч. конференции, тренинги, внутренние программы развития);


• Дружный коллектив единомышленников (все специалисты, занимающиеся машинным обучением объединены одним департаментом для максимально плотного и продуктивного обмена знаниями);


• Передовой стек технологий, высокопроизводительное оборудование;


• Возможность решать разнообразные прикладные задачи с выводом в промышленную эксплуатацию, возможность существенно влиять на результат (в т.ч. в бизнес-смысле) и способы его достижения (вплоть до внесения изменений в архитектуру);


• Квартальный бонус по результатам работы;


• ДМС, страхование жизни;


• Корпоративное обучение.

Требования

Инженер по данным • Ведущий (Lead) • Apache Airflow • Apache Hadoop • Python • Apache Spark • SQL

Местоположение и тип занятости

Москва • Полный рабочий день • Можно удалённо