Инженер Данных (Data Science/ML)

TL;DR

Инженер Данных (Data Science/ML): Разработка библиотеки инструментов обработки данных для моделей машинного обучения с акцентом на автоматизацию инжиниринга данных. Фокус на реализации промышленных отказоустойчивых сервисов ETL на Python и обеспечении эффективной обработки данных с помощью Spark.

Локация: Можно удалённо (Москва)

Компания

Разработка библиотеки инструментов обработки данных для моделей машинного обучения.

Что делать

• Разработка библиотеки инструментов обработки данных для моделей машинного обучения.
• Разработка сервисов и ETL процессов обработки данных для их использования в моделях машинного обучения.
• Изучение и внедрение методов и практик автоматизации инжиниринга данных.
• Эффективное взаимодействие в составе команды со специалистами по интеллектуальному анализу данных (DS) и специалистами по развитию инфраструктуры (MLOps, ML-инженеры).

Требования

• Высокий уровень знаний языка программирования Python.
• Отличные знания SQL.
• Опыт работы в Agile-команде (Scrum, Kanban).
• Уверенное владение системой контроля версий git.
• Знание практик семантического версионирования кода.
• Опыт разработки библиотек на Python, базовые знания CI/CD практик и процессов для сборки и поставки библиотек потребителям (uv-builder, Jenkins).
• Хорошие знания и опыт использования реляционных баз данных Oracle, PostgreSQL.
• Хорошие знания платформы Apache Spark.
• Опыт реализации промышленных отказоустойчивых сервисов ETL на Python для пакетной загрузки и трансформации данных.
• Опыт работы в среде JupyterLab/JupyterHub.
• Опыт асинхронного программного взаимодействия с веб-сервисами по REST API.
• Хорошие знания и опыт использования хранилищ больших данных – Hadoop/HDFS, S3.
• Понимание особенностей обработки и хранения аналитических данных (OLAP), понимание отличий колоночных баз данных от строковых, знание колоночных форматов хранения данных – parquet, orc.
• Проактивный подход к работе.
• Общий позитивный настрой и активная жизненная позиция.
• Умение и желание работать в команде, делиться опытом с коллегами и учиться новым практикам.
• Открытость в коммуникации трудностей, препятствующих решению задач.

Культура и преимущества

• Стабильная работа в одном из крупнейших банков страны.
• Конкурентная заработная плата, соцпакет.
• Условия для роста и развития (в т.ч. конференции, тренинги, внутренние программы развития).
• Дружный коллектив единомышленников.
• Передовой стек технологий, высокопроизводительное оборудование.
• Возможность решать разнообразные прикладные задачи с выводом в промышленную эксплуатацию, возможность существенно влиять на результат (в т.ч. в бизнес-смысле) и способы его достижения (вплоть до внесения изменений в архитектуру).
• Квартальный бонус по результатам работы.
• ДМС, страхование жизни.
• Корпоративное обучение.