Data Engineer DWH (Python/Spark)

Локация: Москва; доступны удалённый и гибридный форматы работы.

Компания

Wildberries & Russ развивает платформу данных для команд Data Engineering, создающих и эксплуатирующих DWH и ETL-процессы.

Что делать

• Разрабатывать и развивать инструменты и сервисы платформы данных.
• Создавать и оптимизировать процессы импорта и экспорта данных между Greenplum, ClickHouse, PostgreSQL и S3.
• Разрабатывать ETL/ELT-процессы на Python и Apache Spark для больших объёмов данных и распределённых систем.
• Участвовать в проектировании и развитии архитектуры платформы данных.
• Оптимизировать SQL-запросы и производительность MPP-систем.
• Взаимодействовать с Data Engineers, аналитиками и пользователями платформы; поддерживать техническую документацию.

Требования

• От 3 до 6 лет опыта.
• Уверенное знание Python и опыт промышленной разработки.
• Продвинутый SQL.
• Практический опыт работы с Apache Spark.
• Опыт работы с реляционными СУБД: PostgreSQL, Oracle, MS SQL или аналогами.
• Опыт работы с MPP- или распределёнными СУБД.
• Опыт работы с одним или несколькими оркестраторами, желательно Apache Airflow.
• Опыт работы с Git и командной разработки.
• Опыт работы с S3 или объектными хранилищами.

Хорошо, если есть

• Опыт работы с Greenplum, ClickHouse, dbt или Apache Iceberg.
• Опыт работы с другими MPP-системами, включая Vertica и Teradata.
• Опыт проектирования DWH, моделей данных и ETL/ELT-фреймворков.
• Опыт разработки внутренних платформенных сервисов и инструментов для Data Engineering.

Культура и преимущества

• Полная занятость.
• Доступны удалённый и гибридный форматы работы.
• Работа над общей платформой, используемой несколькими командами Data Engineering.