Senior Data Engineer

ID 2325 - Senior Data Engineer

🌍 Локация: Любая
💼 Удаленно
🕔 Занятость: фулл тайм

💡 Требования:
1. PySpark & большие данные
PySpark (Spark 2 и 3) — уверенное владение. Глубокое понимание архитектуры Spark: executors, драйвер, shuffle, стадии выполнения, Catalyst optimizer, управление памятью. Навыки оптимизации: broadcast join, bucketing, partitioning, борьба с data skew, настройка параллелизма. Spark SQL — сложные аналитические запросы. Опыт работы с объёмами 100+ млн строк ежедневно.
2. Хранилища и форматы
HDFS / S3. Trino. Форматы: ORC / Parquet / Iceberg.
3. Оркестрация
Apache Airflow — понимание архитектуры: scheduler, executor (Celery/Kubernetes), worker, метабаза. Написание DAGов, сенсоры, retries, SLA, backfill. Умение решать нестандартные задачи: кастомные операторы и хуки, динамическая генерация DAGов, управление зависимостями между пайплайнами, отладка и диагностика проблем в продакшене.
4. Python
Python 3 уверенно. Pandas, NumPy — уверенное владение. pytest.
5. SQL и РСУБД
Понимание работы РСУБД под капотом: планировщик запросов, индексы, статистика, блокировки. Навыки глубокой оптимизации запросов. Оконные функции, CTE, сложные аналитические конструкции.
6. Инфраструктура
Kubernetes, YARN — на общем уровне.
Будет плюсом
Greenplum, ClickHouse.

📋Задачи:
• Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно)
• Настраивать хранение и доступность данных в DWH
• Автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари
• Работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей
• Участвовать в развитии платформы прогнозирования спроса, делая её более надёжной, масштабируемой и удобной

📨 Оставить отклик можно по Показать контакты.
или напрямую ответственному менеджеру Показать контакты
❕При отклике указывайте ID вакансии

#Data #Engineer #Удаленно #вакансия