Назад
4 дня назад

Data Engineer (разработчик DWH)

Формат работы
remote (только Russia)/onsite/hybrid
Тип работы
fulltime
Грейд
middle
Страна
Russia
hhВакансия с HeadHunter. Контакт ведёт на hh.ru

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/
TL;DR
Инженер данных (разработчик DWH) (Greenplum/Trino/Spark/Airflow): Разработка и поддержка потоковых интеграционных решений платформы больших данных с акцентом на Lakehouse, SQL-оптимизацию и работу с распределёнными хранилищами. Focus on сбор требований, интеграцию данных через Trino, Iceberg, S3, Spark, Kafka и Flink, а также поддержание документации и стабильности типовых решений.

Локация: Москва, улица Коровий Вал, 5. Формат работы: на месте работодателя, удалённо или гибридно.

Компания

X5 Tech — IT-компания и цифровой партнёр российских розничных сетей и бизнесов X5, включая «Пятёрочку», «Перекрёсток» и «Чижик».

Что делать

  • Собирать требования бизнес-заказчиков и анализировать источники данных.
  • Разрабатывать, внедрять и поддерживать типовые потоковые интеграционные решения платформы больших данных.
  • Работать со стеком Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos и Flink.
  • Оперативно реагировать на проблемы в зоне ответственности и выполнять задачи в установленные сроки.
  • Поддерживать документацию интеграционных решений и предоставлять отчётность руководителю.

Требования

  • От 3 до 6 лет опыта работы.
  • Общее представление о Lakehouse и понимание различий между Big Data/Lakehouse и данными обычного размера.
  • Знание SQL: индексы, функции, оптимизация и профилирование производительности.
  • Опыт работы с любой реляционной базой данных: Oracle, PostgreSQL, MySQL, MS SQL, DB2 или аналогичной.
  • Умение работать с Git, включая команды pull, commit и push.
  • Опыт работы с dbt и Cosmos; представление о Trino.
  • Понимание устройства Iceberg и форматов данных.
  • Понимание работы с MinIO или другим хранилищем на основе S3.
  • Опыт использования систем управления проектами и документацией.
  • Знание основ программирования на Java или Python.

Культура и преимущества

  • Полная занятость, официальное оформление и белая заработная плата.
  • Полугодовые премии по результатам работы, гибкий график и возможность удалённой или гибридной работы.
  • Офисы рядом с метро «Добрынинская», «Волгоградский проспект» и МЦД «Калитники», включая вариант с бесплатной парковкой.
  • ДМС с выездом за рубеж и стоматологией, страхование жизни и здоровья, материальная помощь в сложных жизненных ситуациях.
  • Внешние тренинги, конференции, корпоративный университет, программы развития, технические сообщества и обмен опытом.
  • Спортивные сообщества, мероприятия, волонтёрские программы и скидки в экосистеме X5.

Будьте осторожны

Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →