pythonsqlkafkaetlhadoopairflowsparkmlflowpysparkfeature store
hhВакансия с HeadHunter. Контакт ведёт на hh.ru
Пожаловаться
Зарплата и рынок
ЗП не указанаразвернуть
На похожих ролях по рынку
$2.1к$2.6кмедиана$3.1к
9 в выборке
На международном рынке: $135к/год ($84к - $150к)
82
Хорошая вакансия
развернуть
У роли понятный фокус на data engineering, обозначена команда и работа с ML-платформой; без информации о зарплате сложнее оценить предложение целиком.
Актуальный стек
Понятные задачи
Гибридный формат
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Создать профиль и узнать мэтч
Описание вакансии
Текст:
Hirify AI/Оригинал
TL;DR
Data Engineer (Hadoop/Spark): Формирование датасетов и разработка ETL-процессов для подготовки данных к внедрению ML-моделей с акцентом на PySpark, SQL, Python и Airflow. Focus on автоматизацию data pipelines, оптимизацию сборки датасетов и интеграцию данных из внутренних и внешних источников.
Локация: Москва, Островная улица, 4. Формат работы: на месте работодателя или гибрид.
Компания
ВСК, САО.
Что делать
Формировать датасеты, искать и загружать данные.
Автоматизировать data pipelines и разрабатывать ETL-процессы.
Интегрировать данные из внутренних и внешних источников.
Оптимизировать сборку датасетов и исправлять ошибки.
Подготавливать данные для внедрения математических моделей в конвейер принятия решений.
Требования
От 3 лет опыта в направлении Data Engineering.
Опыт работы с Apache Airflow: настройка, оптимизация и разработка DAG на Python.
Знание SQL на уровне сложных запросов и оптимизации.
Знание Python на уровне Middle.
Высшее образование.
Хорошо, если есть
Опыт работы с PySpark и Scala.
Знание потоковых данных, Kafka и Spark Streaming.
Опыт работы с Docker и Kubernetes.
Культура и преимущества
Работа в команде из 7 специалистов: DE, DS, DA и MLE.
Участие в полном цикле внедрения ML-моделей.
Работа на современной ML-платформе с MLFlow для регистрации моделей и Feature Store для хранения фичей.
Полная занятость.
Будьте осторожны
Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →