Senior Data Engineer (Python/Airflow/ClickHouse)

Локация: Санкт-Петербург

Компания

Selectel развивает инфраструктурные и облачные сервисы, а также платформу данных для внутренних бизнес-процессов.

Что делать

• Взаимодействовать с владельцами данных, анализировать источники и повышать качество данных.
• Разрабатывать и поддерживать ELT-пайплайны на Python с использованием DAG’ов Airflow.
• Создавать dbt-модели по ключевым бизнес-процессам, витрины данных и DWH-компоненты по схеме «звезда».
• Автоматизировать процессы, настраивать CI/CD, мониторинг и алёртинг.
• Развивать Data Quality, Data Catalog, Data Lineage и инфраструктуру платформы данных.
• Взаимодействовать с BI-разработчиками и аналитиками.

Требования

• Опыт работы с PostgreSQL как источником данных для ELT, включая OLTP-структуры, репликацию и CDC.
• Глубокое знание ClickHouse: движки, партиционирование, репликация, шардирование и оптимизация производительности.
• Опыт разработки на Python, создания ELT-пайплайнов и DAG’ов Airflow, внутренних фреймворков и инструментов.
• Уверенное знание SQL и оптимизации запросов, понимание принципов построения DWH и опыт работы с dbt.
• Уверенное владение Linux, Docker, Git и CI/CD.

Хорошо, если есть

• Опыт работы с Kafka, CDC и S3.
• Опыт работы с облачной инфраструктурой, Terraform и администрированием ClickHouse.
• Знание Data Lake архитектур, Trino, Spark, Parquet и Iceberg.

Культура и преимущества

• ДМС, стоматология и офисный врач с первого дня работы.
• Компенсация психологических консультаций и частичная компенсация фитнеса.
• Оплата обучения английскому на 50–100% и разговорные клубы с носителями.
• Внутренняя база знаний, курсы, обмен знаниями и возможность участия в конференциях.
• Образовательные и спортивные мероприятия, корпоративные активности и зоны отдыха в офисе.