Senior Data Analyst (ETL)

🫐🫐🫐🫐🫐🫐🫐🫐
Data аналитик
Проект: Сбер
Грейд: Senior
Локация специалиста: г. Москва
Гибрид, 2-3 дня работы из офиса на ул. Вавилова




Требования:
Опыт работы с Apache Spark от 1 года.
Опыт работы с СУБД (Greenplum, ClickHouse, PostgreSQL) от 2 лет
Опыт работы с Hadoop (HDFS, Hive)
Опыт проектирования и разработки потоков данных, алгоритмов загрузки и
обработки данных
Опыт оптимизации ETL-пайплайнов и SQL кода
Продвинутые знания SQL.
Понимание принципов работы распределенных систем.
Готовность осваивать Java для использования Spark

Будет плюсом
Опыт разработки на Java
Опыт работы в проектах, связанных с миграцией данных или BI-платформ.
Опыт работы в банковской сфере, понимание бизнес домена.
Опыт работы в крупных проектах с высокими требованиями к надежности

Задачи:
Разработка ETL на Apache Spark (Java стек)
Разработка ETL-пайплайнов (Apache Spark, HDFS (parquets), Hive, Greenplum,
ClickHouse);
Разработка витрин данных в Greenplum и ClickHouse
Оркестрация ETL-процессов.
Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль).
Взаимодействие с BI-разработчиками и DevOps для своевременной доставки
данных в Superset.