TL;DR
Инженер данных (Python, Apache Spark): Разработка библиотеки инструментов обработки данных и ETL-процессов для моделей машинного обучения с акцентом на автоматизацию инжиниринга данных и интеграцию с ML-инфраструктурой. Фокус на создание промышленных отказоустойчивых ETL-сервисов, оптимизацию производительности Spark-приложений и работу с большими данными.
Локация: Удаленно (Москва/РФ)
Компания
Один из крупнейших банков страны, занимающийся разработкой инструментов и сервисов для обработки данных и моделей машинного обучения.
Что делать
- Разрабатывать библиотеку инструментов обработки данных для моделей машинного обучения.
- Создавать сервисы и ETL-процессы для данных, используемых в ML-моделях.
- Изучать и внедрять методы автоматизации инжиниринга данных.
- Эффективно взаимодействовать со специалистами по интеллектуальному анализу данных (DS) и ML-инженерами.
Требования
- Высокий уровень знаний Python (структуры данных, итераторы, декораторы, параллельное/асинхронное программирование, ООП).
- Отличные знания SQL (сложные запросы с CTE, оконными функциями).
- Опыт работы в Agile-команде (Scrum, Kanban), участие в планировании и ведение задач в Jira.
- Уверенное владение Git (GitFlow или Trunk-Based Development) и знание практик семантического версионирования кода.
- Опыт разработки библиотек на Python, базовые знания CI/CD (Jenkins) для сборки и поставки.
- Опыт реализации промышленных отказоустойчивых ETL-сервисов на Python с Apache Spark под управлением оркестраторов (Apache Airflow, Argo Workflows).
- Хорошие знания Apache Spark (pyspark, конфигурация, отладка) и опыт асинхронного взаимодействия с REST API (aiohttp, httpx).
- Хорошие знания Oracle, PostgreSQL и понимание особенностей OLAP, колоночных форматов (parquet, orc).
- Хорошие знания и опыт использования хранилищ больших данных (Hadoop/HDFS, S3, Hive, Iceberg).
Культура и преимущества
- Стабильная работа в одном из крупнейших банков страны.
- Конкурентная заработная плата, квартальный бонус, соцпакет, ДМС, страхование жизни.
- Условия для профессионального роста и развития (конференции, тренинги, внутренние программы).
- Дружный коллектив единомышленников, передовой стек технологий, высокопроизводительное оборудование.
- Возможность решать разнообразные прикладные задачи с выводом в промышленную эксплуатацию и влиянием на результат и архитектуру.
- Корпоративное обучение.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →