Plus
Включить Plus
Назад
VK
2 дня назад

Дата-инженер в ОК, Москва (Big Data)

Формат работы
remote (только Russia)/hybrid/onsite
Тип работы
fulltime
Грейд
middle
Страна
Russia
RUВакансия из Hirify RU, списка российских tech-компаний

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/
TL;DR
Дата-инженер в ОК, Москва (Big Data): Построение и оптимизация ETL-процессов для хранилища объёмом 30 PiB, подготовки данных для A/B-тестов, отчётов и бизнес-юнитов с акцентом на YTsaurus, ClickHouse, Spark и Airflow. Focus on рефакторинге расчётов, работе с распределёнными системами, автоматизации ad hoc-выгрузок и применении LLM.

Локация: Москва. Формат работы: офисный, дистанционный или комбинированный.

Компания

OK — социальная платформа VK с командой разработки, дизайна, маркетинга, машинного обучения и поддержки пользователей.

Что делать

  • Строить новые и рефакторить существующие ETL-процессы на базе стека YTsaurus.
  • Выполнять и автоматизировать ad hoc-выгрузки и подготовку данных.
  • Участвовать в развитии платформы и фреймворка расчётов.
  • Разрабатывать отчёты в Superset.
  • Автоматизировать процессы с использованием LLM.

Требования

  • Опыт работы с SQL и большими объёмами данных.
  • Опыт построения сложных ETL-процессов.
  • Знание базовых алгоритмов и структур хранения данных.
  • Понимание принципов работы распределённых систем.
  • Уровень: middle.

Хорошо, если есть

  • Опыт работы с ClickHouse, Spark, Hadoop-стеком, Java и Airflow.
  • Опыт работы с YTsaurus, YQL и LLM.

Культура и преимущества

  • Работа с хранилищем объёмом 30 PiB и более чем 1000 ежедневных расчётов.
  • Взаимодействие с заказчиками и бизнес-юнитами.
  • Возможность влиять на то, каким OK увидят миллионы пользователей.

Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →

Категории

Работа в РоссииJava вакансииSQL вакансии