Назад
1 день назад

Data Engineer (Hadoop/Spark)

Формат работы
onsite/hybrid
Тип работы
fulltime
Грейд
middle
Страна
Russia
hhВакансия с HeadHunter. Контакт ведёт на hh.ru

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/
TL;DR
Data Engineer (Hadoop/Spark): Формирование датасетов и разработка ETL-процессов для подготовки данных к внедрению ML-моделей с акцентом на PySpark, SQL, Python и Airflow. Focus on автоматизацию data pipelines, оптимизацию сборки датасетов и интеграцию данных из внутренних и внешних источников.

Локация: Москва, Островная улица, 4. Формат работы: на месте работодателя или гибрид.

Компания

ВСК, САО.

Что делать

  • Формировать датасеты, искать и загружать данные.
  • Автоматизировать data pipelines и разрабатывать ETL-процессы.
  • Интегрировать данные из внутренних и внешних источников.
  • Оптимизировать сборку датасетов и исправлять ошибки.
  • Подготавливать данные для внедрения математических моделей в конвейер принятия решений.

Требования

  • От 3 лет опыта в направлении Data Engineering.
  • Опыт работы с Apache Airflow: настройка, оптимизация и разработка DAG на Python.
  • Знание SQL на уровне сложных запросов и оптимизации.
  • Знание Python на уровне Middle.
  • Высшее образование.

Хорошо, если есть

  • Опыт работы с PySpark и Scala.
  • Знание потоковых данных, Kafka и Spark Streaming.
  • Опыт работы с Docker и Kubernetes.

Культура и преимущества

  • Работа в команде из 7 специалистов: DE, DS, DA и MLE.
  • Участие в полном цикле внедрения ML-моделей.
  • Работа на современной ML-платформе с MLFlow для регистрации моделей и Feature Store для хранения фичей.
  • Полная занятость.

Будьте осторожны

Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →