Не получаете ответ?
Вакансия опубликована 11 дн. назад - шансы на ответ снижаются.
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Дата-инженер в ОК (YTsaurus/ClickHouse/Spark): построение и оптимизация ETL-процессов для DWH Одноклассников с акцентом на обработку больших объёмов данных, распределённые системы и подготовку данных для отчётов и A/B-тестов. Focus on рефакторинге расчётов, автоматизации ad hoc-выгрузок, развитии платформы и применении LLM.
Локация: Санкт-Петербург; формат работы — удалённо или гибридно.
Компания
VK развивает команду DWH Одноклассников, работающую с 30 PiB данных и более чем 1000 ежедневных расчётов.
Что делать
- Строить новые и рефакторить существующие ETL-процессы на базе стека YTsaurus.
- Решать ad hoc-задачи по выгрузке и подготовке данных, автоматизируя повторяющиеся операции.
- Участвовать в развитии платформы и фреймворка расчётов.
- Разрабатывать отчёты в Superset.
- Автоматизировать процессы с использованием LLM.
Требования
- От 1 года до 3 лет опыта работы.
- Опыт работы с SQL и большими объёмами данных.
- Опыт построения сложных ETL-процессов.
- Знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределённых систем.
- Готовность работать без чётких технических заданий и плотно взаимодействовать с заказчиками.
Хорошо, если есть
- Опыт работы с ClickHouse, Spark, Hadoop-стеком, Java и Airflow.
- Опыт работы с YTsaurus, YQL и LLM.
Культура и преимущества
- Работа с платформой хранения и анализа больших данных Одноклассников.
- Возможность влиять на развитие технологий и переводить расчёты на новые решения.
- Удалённый или гибридный формат работы.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Музыка
Осень
Поддержка