Data Engineer

TL;DR

Data Engineer: Разработка и оптимизация ETL-пайплайнов для высоконагруженной платформы продавцов с акцентом на обработку больших данных и интеграцию стриминговых источников. Фокус на проектировании витрин данных, развитии внутреннего фреймворка и обеспечении стабильности аналитических систем.

Локация: Удаленная работа (РФ).

Компания

Объединенная технологическая компания Wildberries и Russ, развивающая масштабную экосистему для продавцов и покупателей.

Что делать

• Разрабатывать, сопровождать и оптимизировать ETL-пайплайны на Apache Spark.
• Интегрировать стриминговые источники данных с использованием Kafka.
• Проектировать и разрабатывать витрины данных для аналитики.
• Взаимодействовать с заказчиками для сбора и анализа требований.
• Участвовать в развитии внутреннего фреймворка и проводить code review.
• Осуществлять поддержку существующих пайплайнов и реагировать на инциденты.

Требования

• Опыт программирования на Python от 2 лет.
• Уверенное владение стеком Hadoop (Spark, YARN, HDFS, Hive) и Apache Airflow/Dagster.
• Опыт работы с MPP СУБД (ClickHouse, GreenPlum или Vertica).
• Навыки оптимизации SQL-запросов (индексы, партицирование, шардирование).
• Опыт работы со стриминговыми данными (Kafka).

Хорошо, если есть

• Опыт работы с DBT.
• Понимание концепций моделирования хранилищ данных.
• Опыт внедрения процессов контроля качества данных (DQ).

Культура и преимущества

• Аккредитованная IT-компания с полным социальным пакетом.
• ДМС со стоматологией, корпоративный спорт и консультации психолога.
• Развитая корпоративная культура: языковые клубы, сообщества по интересам, корпоративный университет.
• Гибкий подход к работе и поддержка баланса между карьерой и личной жизнью.
• Скидки на обучение, страхование и покупки.