Data Engineer (Hadoop)

Зарплата

Не указана
Похожие специалисты получают 320 000 - 405 000

Требования

Инженер по данным • Старший (Senior) • Python • Apache Spark • Apache Hadoop • Apache Airflow • SQL

Местоположение и тип занятости

Полный рабочий день • Можно удалённо
Чем предстоит заниматься

• Проектирование и разработка отказоустойчивых ETL/ELT процессов в экосистеме Hadoop и Oracle


• Оптимизация и сопровождение пайплайнов данных (Spark, PySpark, Airflow)


• Интеграция новых источников данных и построение витрин для бизнес-заказчиков


• Обеспечение качества и актуальности данных в продуктивных системах


• Участие в архитектурных решениях по хранению и обработке больших данных


• Ad-hoc аналитика и поддержка команд аналитиков и data scientist

Что для этого нужно

• Высшее техническое образование


• Опыт работы с большими данными от 3 лет


• Хорошее знание Python (pandas, PySpark) и SQL


• Опыт работы с Hadoop/Spark и системами оркестрации (Airflow и др.)


• Понимание принципов построения витрин данных и дата-моделирования


• Опыт оптимизации запросов и пайплайнов обработки данных


• Навыки работы с git и Linux bash


• Ответственность за результат и умение работать в команде