RUВакансия из Hirify RU, списка российских tech-компаний
Пожаловаться
Зарплата и рынок
ЗП не указанаразвернуть
На похожих ролях по рынку
$2.2к$3кмедиана$3.7к
20 в выборке
На международном рынке: $137к/год ($80к - $177к)
84
Хорошая вакансия
развернуть
Здесь можно отвечать за полноценную инженерную платформу данных с понятным набором технологий, но единственный дата-инженер на три продукта может столкнуться с широкой нагрузкой.
Один на три продукта
Актуальный стек
Влияние на продукты
Поддержка развития
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Создать профиль и узнать мэтч
Описание вакансии
Текст:
Hirify AI/Оригинал
TL;DR
Инженер данных (Экосистемные сервисы) (Python/SQL/ClickHouse/YTsaurus): Разработка и сопровождение пайплайнов, ETL/ELT-процессов и витрин данных для VK Pay, VK ID и VK SMS & Push с акцентом на качество данных, производительность и надёжность расчётов. Focus on миграции из ClickHouse в YTsaurus, оптимизации распределённых вычислений, мониторинге загрузок и воспроизводимом пересчёте истории.
Локация: гибридный формат, офис рядом со станцией метро «Аэропорт» в Москве; также возможна работа из Санкт-Петербурга.
Компания
VK развивает экосистемные сервисы и работает с данными VK Pay, VK ID и VK SMS & Push.
Что делать
Проектировать, разрабатывать и сопровождать пайплайны и ETL/ELT-процессы от подключения источников до регулярного обновления данных.
Строить витрины, агрегаты и пользовательские слепки для продуктовых исследований, отчётности и A/B-тестов совместно с аналитиками и продактами.
Участвовать в миграции данных и расчётов из ClickHouse в YTsaurus, обеспечивая сверку результатов и непрерывность обновлений.
Настраивать проверки качества данных, мониторинг и уведомления, разбирать сбои, восстанавливать загрузки и устранять причины расхождений.
Оптимизировать запросы, расчёты и хранение данных, управлять техническим долгом и автоматизировать ручные операции.
Проводить ревью витрин и скриптов аналитиков, документировать источники, зависимости и структуру расчётов.
Требования
От четырёх лет опыта работы дата-инженером; самостоятельная разработка, запуск, поддержка и развитие production-пайплайнов.
Уверенный SQL: сложные запросы, чтение планов выполнения и оптимизация расчётов на больших объёмах данных.
Python для разработки загрузок, преобразований и инструментов автоматизации; умение разбираться в существующем коде и дорабатывать его.
Понимание принципов построения DWH и проектирования моделей данных, включая детализацию, обновление и хранение истории.
Опыт с ClickHouse и распределёнными системами хранения и обработки данных: Hadoop, Spark или YTsaurus; понимание влияния хранения и партиционирования на скорость и расход ресурсов.
Опыт разработки ETL/ELT-процессов и работы с оркестраторами, например Airflow: зависимости, инкрементальные загрузки, повторные запуски и пересчёт истории.
Навыки обеспечения качества и надёжности данных, мониторинга, поиска причин расхождений и восстановления загрузок после сбоев.
Работа с Git, знакомство с тестированием, код-ревью и CI/CD.
Умение обсуждать задачи с аналитиками, продактами и разработчиками, уточнять требования, предлагать решения и доводить их до запуска; автономность, многозадачность и приоритизация.
Хорошо, если есть
Опыт работы с YQL, YTsaurus или Apache Superset.
Культура и преимущества
Официальное оформление по ТК РФ с первого дня.
Возможность самостоятельно проектировать архитектуру решения при обязательном использовании YT и ClickHouse.
Сообщество дата-инженеров с еженедельными битсингами, менторингом, обменом экспертизой и метап-тренингом.
Работа с тремя продуктами: VK Pay, VK ID и VK SMS & Push; прозрачное планирование через Jira и регулярное выравнивание приоритетов.
ДМС для сотрудников и их детей с первого месяца, компенсация питания и система гибких льгот с 14 категориями.
Будьте осторожны
Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →