Инженер данных в Финтех (Fintech)

Локация: гибридный офис

Компания

Финтех-направление Яндекса разрабатывает платёжные продукты, сервисы и инструменты для управления личными финансами.

Что делать

• Строить ETL-процессы: извлекать, обрабатывать и загружать данные из различных источников в хранилище.
• Разрабатывать пайплайны от простых загрузок до сложных графов с множеством входов и выходов.
• Оптимизировать прототипы и нетривиальную логику обработки данных для работы с большими объёмами.
• Обеспечивать регулярную поставку корректных, полных и непротиворечивых данных с минимальным количеством сбоев.
• Проектировать структуру нового аналитического DWH и закладывать современные инженерные практики.
• Совместно с аналитиками разбирать бизнес-задачи и находить оптимальные решения.

Требования

• От 3 лет опыта.
• Уверенное программирование на Python.
• Хорошее знание SQL и понимание устройства современных СУБД.
• Понимание CI/CD, систем контроля версий, код-ревью, тестирования и мониторинга.
• Опыт работы в командной строке Unix-подобных систем, включая Linux или macOS.

Хорошо, если есть

• Опыт создания сложных высоконагруженных ETL- и ELT-процессов с Hadoop, Hive или Spark.
• Опыт разработки обработки событий, близкой к реальному времени, с Kafka, Spark Streaming или Flink.
• Участие в проектировании хранилищ данных и знакомство с Greenplum, Vertica, ClickHouse или Teradata.
• Опыт работы с Jupyter, pandas, SciPy или Matplotlib, а также по методологии Agile.
• Опыт наставничества стажёров или начинающих специалистов.

Культура и преимущества

• Гибридный формат работы в офисе.
• Возможность участвовать в создании нового хранилища данных без легаси.
• Развитие инженерной экспертизы и погружение в бизнес-домен финтеха.