Назад
2 дня назад

Senior Data Engineer (Big Data)

Формат работы
remote (только Russia)
Тип работы
fulltime
Грейд
senior
Страна
Russia
hhВакансия с HeadHunter. Контакт ведёт на hh.ru

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/
TL;DR
Senior Data Engineer (Big Data): Разработка архитектуры хранилища данных и высоконагруженных ETL-процессов с акцентом на Big Data, Hadoop и потоковую обработку. Focus on проектирование real-time и near real-time pipeline’ов, оптимизацию SQL-запросов и интеграцию данных из различных источников.

Локация: Москва; удалённый формат работы

Компания

Островок.

Что делать

  • Разрабатывать и оптимизировать архитектуру хранилища данных и проектировать слои данных.
  • Создавать, поддерживать и оптимизировать высоконагруженные ETL-процессы.
  • Интегрировать данные из внутренних и внешних источников, включая API, файловые хранилища и базы данных.
  • Работать с Big Data и потоковой обработкой данных.
  • Формализовывать требования совместно с бизнес-аналитиками, дата-инженерами и архитекторами.
  • Проводить код-ревью, митапы и технические консультации для коллег.

Требования

  • Более 6 лет общего опыта; из них от 5 лет в разработке и поддержке хранилищ данных.
  • Отличное знание SQL, опыт оптимизации сложных запросов и работы с большими объёмами данных.
  • Опыт проектирования и разработки ETL-процессов.
  • Опыт разработки real-time и near real-time pipeline’ов обработки и загрузки данных.
  • Глубокие знания и практический опыт работы с Hadoop, включая HDFS, Hive и Spark.
  • Опыт работы с Airflow, Docker и Git.
  • Уверенное знание Python.

Культура и преимущества

  • Полная занятость и удалённый формат работы.

Будьте осторожны

Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →