Middle+ Data Engineer (Retail)

#вакансия #vacancy #de #dataengineer #middle+ #remote #fulltime

Позиция: Middle+ Data Engineer
Сфера: ритейл
Формат: удалённый (аутстафф)
Занятость: фултайм (проектная)
Длительность: 12 месяцев
Оформление: ИП, СМЗ, либо оплата криптовалютой USDT
Оклад: 3000 - 3500$ net

Ptolemay — аутсорсинговая IT-компания полного цикла по разработке мобильных и веб-приложений для бизнеса и стартапов. Ищем Middle+ Data Engineer для аутстафф-проекта в сфере ритейла.

Задачи:
• Разработка и поддержка пайплайнов загрузки и трансформации HR-данных
• Интеграция источников (API, Kafka, БД, файловые хранилища)
• Построение витрин и обеспечение их консистентности
• Оптимизация производительности и стоимости обработки данных
• Обеспечение стабильности (обработка сбоев, ретраи, мониторинг)

Требования:
1. ETL/ELT пайплайны
2. работа с API
3. обработка больших объемов данных
4. SQL на продвинутом уровне:
• сложные join’ы, оконные функции
• оптимизация запросов под большие объемы
• понимание планов выполнения
5. Практический опыт работы (не «знаком», а делал в проде):
• Greenplum (понимание MPP, распределение данных, оптимизация)
• ClickHouse (построение витрин, работа с большими таблицами)
• MS SQL Server
6. Kafka:
• опыт работы с consumer/producer
• понимание семантики доставки и обработки сообщений
7. Интеграции:
• уверенная работа с REST API (пагинация, ретраи, обработка ошибок)
• S3-совместимые хранилища:
• чтение/запись, организация данных, партиционирование
Желательно:
8. Опыт работы с Trino (федеративные запросы, работа с несколькими источниками)
9. Опыт построения DWH (staging / dds / marts)
10. Понимание data lineage и контроля качества данных
11. Опыт orchestration (Airflow или аналоги)

Условия:
• Удалённый формат работы
• Полная занятость
• Оформление по ИП или СМЗ, либо оплата криптовалютой USDT
• Оплата: 3000 – 3500$ net

Готов ответить на вопросы и рассмотреть резюме в личных сообщениях: Показать контакты