Data Engineer (Apache Spark)

Локация: Омск, адрес — Москва; удалённый или гибридный формат работы. Оформление по ТК РФ, ИП или СЗ.

Зарплата: от 230000 RUR на руки в месяц.

Компания

Развитие аналитической платформы и хранилища данных для сервисов аналитики e-commerce.

Что делать

• Проектировать и развивать слои DWH: Raw, Staging и Data Marts.
• Разрабатывать и поддерживать распределённые пакетные и инкрементальные пайплайны на Apache Spark.
• Организовывать репликацию и синхронизацию данных между PostgreSQL, ClickHouse и S3.
• Писать и оптимизировать SQL-запросы, хранимые процедуры и витрины данных.
• Настраивать мониторинг пайплайнов, контролировать качество и актуальность данных.
• Взаимодействовать с BI-разработчиками и аналитиками.

Требования

• От 3 до 6 лет опыта.
• Практический опыт разработки пайплайнов обработки больших объёмов данных на Apache Spark с использованием PySpark или Spark SQL; понимание RDD, DataFrame, DAG, stages, tasks, shuffle, partitioning и caching.
• Уверенное владение SQL: DDL/DML, оконные функции, планы выполнения и оптимизация запросов.
• Опыт работы с PostgreSQL и ClickHouse, включая понимание движков таблиц, партиционирования и агрегаций.
• Опыт работы с Apache Airflow: написание DAG, custom operators и управление зависимостями.
• Уверенное владение Python для разработки пайплайнов, работы с API и объектными хранилищами.
• Базовые навыки работы с Linux, Git, Docker и Bash.

Хорошо, если есть

• Опыт работы с dbt или Trino / Presto.
• Опыт работы с S3 или Yandex Object Storage.
• Понимание архитектуры и проектирования аналитических витрин для Power BI или Superset.

Культура и преимущества

• Полностью удалённый формат с возможностью гибкого начала рабочего дня.
• Также доступен гибридный формат.
• Оформление по ТК РФ, ИП или СЗ.
• Процессы без лишней бюрократии и современный стек инструментов.
• Профессиональный рост и сложные инженерные задачи.