Plus
Включить Plus
Назад
VK
4 часа назад

Lead Data Engineer (Big Data)

Формат работы
hybrid
Тип работы
fulltime
Грейд
senior
Страна
Russia

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/

TL;DR

Ведущий инженер данных (Big Data): Разработка и поддержка процессов обработки и доставки данных для аналитических и ML команд с акцентом на построение витрин данных и оптимизацию производительности. Фокус на создании масштабируемых DWH-решений, оптимизации ClickHouse и Spark-процессов для высоконагруженного видеосервиса.

Локация: Москва (комбинированный формат)

Компания

VK Видео — крупнейший российский видеосервис, которым ежедневно пользуются десятки миллионов людей.

Что делать

  • Разрабатывать и поддерживать пайплайны обработки и доставки данных для ML и аналитики.
  • Проектировать, собирать и оптимизировать аналитические витрины.
  • Выполнять ad-hoc запросы, выгрузки и проводить отладку данных.
  • Сбор и анализ требований к данным.

Требования

  • Опыт работы с Airflow, Spark, Hadoop и ClickHouse.
  • Знание Python (базовые алгоритмы, ООП, работа со сложным кодом).
  • Понимание принципов параллельных вычислений на кластере.
  • Владение Git и опыт командной разработки (Code Review).

Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →