Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Data Engineer: Проектирование и реализация ETL-пайплайнов для создания единого профиля пользователя с акцентом на интеграцию данных из Kafka, S3, Greenplum и Clickhouse. Фокус на обеспечении надежности пайплайнов, разработке DQ-проверок и оптимизации производительности обработки данных.
Локация: Удаленная работа (РФ).
Компания
Объединенная технологическая компания Wildberries и Russ, занимающаяся развитием масштабных e-commerce и рекламных сервисов.
Что делать
- Проектировать и реализовывать ETL-пайплайны согласно бизнес-требованиям.
- Интегрировать данные из различных источников (Kafka, S3, Greenplum, Clickhouse, API) в DWH.
- Реализовывать преобразования данных с учетом бизнес-логики и стандартов качества.
- Обеспечивать надежность и отказоустойчивость пайплайнов.
- Разрабатывать и встраивать DQ-проверки (валидность, полнота, консистентность).
- Оптимизировать производительность обработки больших объемов данных.
Требования
- Уверенное владение SQL (сложные запросы, оконные функции, оптимизация).
- Практический опыт использования Python для обработки данных.
- Опыт автоматизации пайплайнов с помощью Airflow.
- Понимание архитектуры DWH и Data Lake.
- Опыт построения и поддержки ETL-процессов.
- Опыт работы с ClickHouse и Kafka.
Культура и преимущества
- Аккредитованная IT-компания с полным пакетом льгот.
- Корпоративный пакет ДМС со стоматологией и консультации психолога.
- Развитая корпоративная культура: языковые клубы, спортивные сообщества и корпоративный университет.
- Гибкий подход к работе и забота о балансе карьеры и личной жизни.
- Корпоративная техника и доступ к партнерским программам скидок.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →