Инженер данных (RT/NRT, AI)

🍫 Инженер данных в DWH Лавки — RT/NRT и AI‑агенты

Команда DWH Лавки работает над хранилищем, которое поддерживает аналитику и ключевые операционные процессы бизнеса. Сейчас мы развиваем направление RT/NRT‑данных для AI‑систем Лавки.

Мы работаем со следующим стеком технологий:

• Python, SQL и YQL
• Внутренний Code Driven фреймворк DMP Suite
• YT, Greenplum и ClickHouse
• Apache Flink / Flink Flow и LogBroker для потоковой обработки
• Встроенные инструменты Data Quality, мониторинга и управления ETL‑процессами

Какие задачи вас ждут:

• Развитие поставок данных
Проектировать и развивать RT/NRT‑поставки данных для разных сценариев работы продуктовых команд — например, для жизненного цикла заказа, работы сотрудников, складских операций и отслеживания доступности товаров.

• Проектирование RT‑данных
Помогать системным аналитикам и продуктовым командам проектировать RT‑данные: подбирать источники и способы обработки, определять модель событий, контракты, требования к свежести и качеству данных.

• Поиск возможностей по RT‑данным
Искать новые способы работы с RT‑данными, разрабатывать универсальные подходы и помогать внутренним заказчикам разобраться, какие задачи можно решить с их помощью.

• Инженерные задачи и развитие DWH
Вести инженерные задачи: исследование процессов и источников данных, запуск решений в промышленную эксплуатацию, контролирование их работы и безопасное развитие DWH, который имеет большой граф зависимостей.

Мы ждём, что вы

• Проектировали и поддерживали промышленные RT/NRT‑пайплайны
• Занимались разработкой в крупном DWH или распределённой платформе
• Умеете проектировать надёжную обработку событийных данных
• Уверенно владеете Python и SQL

Почему у нас хорошо:
Мы предоставляем полный набор, который поможет уберечься от тревожности и выгорания: ежегодные медицинские чекапы, йога и психотерапия. Это не все бонусы — полный список тут .

#DWH #SQL #python