Senior Data Engineer (Big Data)

ID 2464
Data Engineer
Middle+ / Senior

🌍 Локация: РФ, Москва (нет удаленки из др стран)
💼Сотрудничество : по ИП РФ
Eclipse Digital - наниматель

Проект: Подготовка и визуализация данных для финансового департамента
Длительность проекта: 1 год +
Грейд: Middle+ / Senior
Локация: Москва.
❗️❗️❗️❗️
Формат работы: гибрид в Москве на Вавилова - договорной формат, на старте 3 дня и более может быть в офисе, далее опционально


Требования:
● Опыт работы с Apache Spark (Java) от 1 года.
● Опыт работы с СУБД (Greenplum, ClickHouse, PostgreSQL) от 2 лет
● Опыт работы с Hadoop (HDFS, Hive)
● Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных
● Опыт оптимизации ETL-пайплайнов и SQL кода
● Продвинутые знания SQL.
● Понимание принципов работы распределенных систем.
● Готовность осваивать Java для использования Spark

Основные задачи:
● Разработка ETL на Apache Spark (Java стек)
● Разработка ETL-пайплайнов (Apache Spark, HDFS (parquets), Hive, Greenplum, ClickHouse);
● Разработка витрин данных в Greenplum и ClickHouse
● Оркестрация ETL-процессов.
● Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль).
● Взаимодействие с BI-разработчиками и DevOps для своевременной доставки данных в Superset.

Стек технологий:
HDFS, Greenplum, Clickhouse, Apache Spark, Apache Airflow, Python, Qlik Sense, Apache Superset, PL/Pg SQL, OpenShift, Bitbucket, Jira & Confluence, Docker, Kubernetes, Kibana, Grafana
Описание потоков данных:
HDFS > Spark > Hive > Greenplum > Clickhouse > Superset
ВАЖНО, это BIG DATA, речь идет о миллиардах строк

❗️Для ускорения процесса рассмотрения резюме, просьба заполнять чек в формате (+-) напротив каждого требования❗️

Откликнуться можно
в telegram Показать контакты