Вакансия из Telegram канала - Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
ID 2325
Data Engineer
Senior
🌍 Локация: РФ, РБ
💼Сотрудничество : по ИП РФ, СМЗ РБ
Eclipse Digital - наниматель
Требования:
1. PySpark & большие данные
PySpark (Spark 2 и 3) — уверенное владение. Глубокое понимание архитектуры Spark: executors, драйвер, shuffle, стадии выполнения, Catalyst optimizer, управление памятью. Навыки оптимизации: broadcast join, bucketing, partitioning, борьба с data skew, настройка параллелизма. Spark SQL — сложные аналитические запросы. Опыт работы с объёмами 100+ млн строк ежедневно.
2. Хранилища и форматы
HDFS / S3. Trino. Форматы: ORC / Parquet / Iceberg.
3. Оркестрация
Apache Airflow — понимание архитектуры: scheduler, executor (Celery/Kubernetes), worker, метабаза. Написание DAGов, сенсоры, retries, SLA, backfill. Умение решать нестандартные задачи: кастомные операторы и хуки, динамическая генерация DAGов, управление зависимостями между пайплайнами, отладка и диагностика проблем в продакшене.
4. Python
Python 3 уверенно. Pandas, NumPy — уверенное владение. pytest.
5. SQL и РСУБД
Понимание работы РСУБД под капотом: планировщик запросов, индексы, статистика, блокировки. Навыки глубокой оптимизации запросов. Оконные функции, CTE, сложные аналитические конструкции.
6. Инфраструктура
Kubernetes, YARN — на общем уровне.
Будет плюсом
Greenplum, ClickHouse.
Что предстоит
• Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно)
• Настраивать хранение и доступность данных в DWH
• Автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари
• Работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей
• Участвовать в развитии платформы прогнозирования спроса, делая её более надёжной, масштабируемой и удобной
Откликнуться можно в telegram
Data Engineer
Senior
🌍 Локация: РФ, РБ
💼Сотрудничество : по ИП РФ, СМЗ РБ
Eclipse Digital - наниматель
Требования:
1. PySpark & большие данные
PySpark (Spark 2 и 3) — уверенное владение. Глубокое понимание архитектуры Spark: executors, драйвер, shuffle, стадии выполнения, Catalyst optimizer, управление памятью. Навыки оптимизации: broadcast join, bucketing, partitioning, борьба с data skew, настройка параллелизма. Spark SQL — сложные аналитические запросы. Опыт работы с объёмами 100+ млн строк ежедневно.
2. Хранилища и форматы
HDFS / S3. Trino. Форматы: ORC / Parquet / Iceberg.
3. Оркестрация
Apache Airflow — понимание архитектуры: scheduler, executor (Celery/Kubernetes), worker, метабаза. Написание DAGов, сенсоры, retries, SLA, backfill. Умение решать нестандартные задачи: кастомные операторы и хуки, динамическая генерация DAGов, управление зависимостями между пайплайнами, отладка и диагностика проблем в продакшене.
4. Python
Python 3 уверенно. Pandas, NumPy — уверенное владение. pytest.
5. SQL и РСУБД
Понимание работы РСУБД под капотом: планировщик запросов, индексы, статистика, блокировки. Навыки глубокой оптимизации запросов. Оконные функции, CTE, сложные аналитические конструкции.
6. Инфраструктура
Kubernetes, YARN — на общем уровне.
Будет плюсом
Greenplum, ClickHouse.
Что предстоит
• Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно)
• Настраивать хранение и доступность данных в DWH
• Автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари
• Работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей
• Участвовать в развитии платформы прогнозирования спроса, делая её более надёжной, масштабируемой и удобной
Откликнуться можно в telegram
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Текст вакансии взят без изменений
Источник -