Data Platform Engineer (Python)

Локация: Москва, Огородный проезд, 16/1с5; работа на месте работодателя

Компания

Ритейл Эксперт — поставщик данных о ритейле, занимающийся сбором, структурированием, анализом и подготовкой информации для FMCG-руководителей; компания более 10 лет развивает IT-решения, аналитику, исследования и консалтинг.

Что делать

• Проектировать и реализовывать ETL/ELT-пайплайны для инкрементальной загрузки и трансформации больших объёмов данных с использованием PySpark.
• Проектировать схемы ClickHouse для витрин, кубов и отчётности Power BI, включая MergeTree, партиционирование, materialized views и оптимизацию запросов.
• Развивать Lakehouse-слой хранения с нуля по структуре Raw → Staging → Marts на S3-совместимом хранилище с форматами Parquet и Apache Iceberg.
• Мигрировать логику и данные из MSSQL и хранимых процедур в новую целевую архитектуру.
• Поддерживать и рефакторить Python/Polars-пайплайны, повышать их отказоустойчивость и разрабатывать DAG-и в Apache Airflow.
• Самостоятельно находить узкие места и реализовывать улучшения в текущих решениях.

Требования

• От 1 года до 3 лет опыта.
• Продвинутый Python; pandas, Polars, PySpark и FastAPI для написания пайплайнов как кода.
• SQL, MSSQL и PostgreSQL: проектирование баз данных и оптимизация запросов.
• Apache Airflow: разработка и поддержка DAG-ов.
• PySpark: трансформация и агрегация данных.
• Data Lake/Lakehouse: S3, Parquet и Iceberg.
• Docker: контейнеризация, деплой и оркестрация сервисов.
• ClickHouse: проектирование схем, а не только выполнение SELECT-запросов.

Хорошо, если есть

• Опыт с dbt, Great Expectations или Trino.
• Опыт работы с LLM в разработке.
• Опыт работы с продакшн-данными.

Культура и преимущества

• Возможность практически с нуля построить Lakehouse и схемы ClickHouse вместо поддержки чужой архитектуры.
• Официальное трудоустройство.
• Офис рядом с метро Бутырская.
• Конкурентная зарплата по итогам собеседования.