Data Engineer (Lakehouse/Spark)

TL;DR

Data Engineer (PySpark/Lakehouse): Разработка и развитие Lakehouse-платформы, создание CDC- и streaming-процессов с акцентом на надежность, качество данных и self-service инструменты. Фокус на оптимизации пути от сырых событий до production-ready витрин и построении масштабируемых пайплайнов.

Локация: Удаленно из любой точки мира или офис в Ташкенте

Компания

HeadHunter — ведущий сервис по подбору персонала и поиску работы.

Что делать

• Развивать Lakehouse как единую точку входа для ad-hoc аналитики и data-продуктов.
• Улучшать CDC- и streaming-процессы на базе Kafka, Debezium и Spark Streaming.
• Оптимизировать путь доставки данных от сырых событий до production-ready витрин.
• Повышать надежность, наблюдаемость и качество данных в системе.
• Развивать self-service инструменты для аналитиков и бизнес-команд.
• Работать с batch и streaming пайплайнами в production-среде.

Требования

• Практический опыт в Data Engineering: Python, SQL, оркестрация и production data pipelines.
• Опыт работы с Airflow или другими оркестраторами.
• Понимание batch и streaming processing, опыт работы со Spark / PySpark.
• Опыт с lakehouse- и аналитическим стеком: Trino/Presto, ClickHouse, Iceberg/Parquet/DeltaLake.
• Опыт с Kafka, Kafka Connect, Debezium или другими event streaming инструментами.
• Инженерное мышление: фокус на надежности, стоимости и качестве данных.

Культура и преимущества

• Полная удаленка из любой точки мира или работа в офисе в Ташкенте.
• Возможность развития в инженерном или управленческом треке с регулярной оценкой перформанса.
• Оплата на уровне топовых компаний российского рынка.
• Поддержка обучения, митапов, конференций и развитие личного бренда.
• ДМС с привязкой к локации и доступ к сильному профессиональному комьюнити.