Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Data Engineer (RecSys): Разработка и поддержка ETL-пайплайнов и платформы данных для системы рекомендаций с акцентом на batch- и streaming-обработку. Фокус на построении потоков данных через Kafka и Spark, развитию feature-store и оптимизации аналитических витрин в ClickHouse.
Локация: Москва (Верхние Котлы) или Удалённо
Компания
Okko — стриминговый сервис с развитыми data-driven процессами, активным использованием A/B-тестирования и масштабной инфраструктурой данных.
Что делать
- Поддерживать и разрабатывать batch ETL-пайплайны на Airflow для ML-моделей и аналитических витрин.
- Реализовывать потоковую обработку данных с использованием Spark Streaming, Kafka и MongoDB.
- Развивать функциональность feature-store, интегрировать новые фичи для ML-моделей.
- Заниматься оптимизацией, мониторингом и документированием пайплайнов данных.
Требования
- Уверенное знание Python и SQL.
- Опыт построения ETL-процессов с использованием ClickHouse, Airflow, Spark, Kafka.
Хорошо, если есть
- Опыт работы с CI/CD, Docker и Grafana.
- Базовые знания в области ML (обучение, инференс моделей, работа с feature-store).
Культура и преимущества
- Официальное трудоустройство и предоставление всего необходимого оборудования и софта.
- Расширенный пакет ДМС со стоматологией, услуги офисного врача и доплата по больничным.
- Льготные условия ипотеки в рамках зарплатного проекта.
- Бесплатная подписка на сервисы партнёров и доступ к корпоративному спорту.
- Доступ к электронной библиотеке издательства МИФ.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →