Назад
9 часов назад

Инженер данных (Экосистемные сервисы)

Формат работы
hybrid
Тип работы
fulltime
Грейд
middle/senior
Страна
Russia
RUВакансия из Hirify RU, списка российских tech-компаний

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/
TL;DR
Инженер данных (Экосистемные сервисы) (Python/SQL/ClickHouse/YTsaurus): Разработка и сопровождение пайплайнов, ETL/ELT-процессов и витрин данных для VK Pay, VK ID и VK SMS & Push с акцентом на качество данных, производительность и надёжность расчётов. Focus on миграции из ClickHouse в YTsaurus, оптимизации распределённых вычислений, мониторинге загрузок и воспроизводимом пересчёте истории.

Локация: гибридный формат, офис рядом со станцией метро «Аэропорт» в Москве; также возможна работа из Санкт-Петербурга.

Компания

VK развивает экосистемные сервисы и работает с данными VK Pay, VK ID и VK SMS & Push.

Что делать

  • Проектировать, разрабатывать и сопровождать пайплайны и ETL/ELT-процессы от подключения источников до регулярного обновления данных.
  • Строить витрины, агрегаты и пользовательские слепки для продуктовых исследований, отчётности и A/B-тестов совместно с аналитиками и продактами.
  • Участвовать в миграции данных и расчётов из ClickHouse в YTsaurus, обеспечивая сверку результатов и непрерывность обновлений.
  • Настраивать проверки качества данных, мониторинг и уведомления, разбирать сбои, восстанавливать загрузки и устранять причины расхождений.
  • Оптимизировать запросы, расчёты и хранение данных, управлять техническим долгом и автоматизировать ручные операции.
  • Проводить ревью витрин и скриптов аналитиков, документировать источники, зависимости и структуру расчётов.

Требования

  • От четырёх лет опыта работы дата-инженером; самостоятельная разработка, запуск, поддержка и развитие production-пайплайнов.
  • Уверенный SQL: сложные запросы, чтение планов выполнения и оптимизация расчётов на больших объёмах данных.
  • Python для разработки загрузок, преобразований и инструментов автоматизации; умение разбираться в существующем коде и дорабатывать его.
  • Понимание принципов построения DWH и проектирования моделей данных, включая детализацию, обновление и хранение истории.
  • Опыт с ClickHouse и распределёнными системами хранения и обработки данных: Hadoop, Spark или YTsaurus; понимание влияния хранения и партиционирования на скорость и расход ресурсов.
  • Опыт разработки ETL/ELT-процессов и работы с оркестраторами, например Airflow: зависимости, инкрементальные загрузки, повторные запуски и пересчёт истории.
  • Навыки обеспечения качества и надёжности данных, мониторинга, поиска причин расхождений и восстановления загрузок после сбоев.
  • Работа с Git, знакомство с тестированием, код-ревью и CI/CD.
  • Умение обсуждать задачи с аналитиками, продактами и разработчиками, уточнять требования, предлагать решения и доводить их до запуска; автономность, многозадачность и приоритизация.

Хорошо, если есть

  • Опыт работы с YQL, YTsaurus или Apache Superset.

Культура и преимущества

  • Официальное оформление по ТК РФ с первого дня.
  • Возможность самостоятельно проектировать архитектуру решения при обязательном использовании YT и ClickHouse.
  • Сообщество дата-инженеров с еженедельными битсингами, менторингом, обменом экспертизой и метап-тренингом.
  • Работа с тремя продуктами: VK Pay, VK ID и VK SMS & Push; прозрачное планирование через Jira и регулярное выравнивание приоритетов.
  • ДМС для сотрудников и их детей с первого месяца, компенсация питания и система гибких льгот с 14 категориями.

Будьте осторожны

Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →