Data Engineer

TL;DR

Data Engineer (Apache Spark/ETL): Разработка ETL-пайплайнов на Apache Spark (Java стек) с акцентом на обработку больших данных в HDFS, Hive, Greenplum и ClickHouse. Фокус на оркестрации процессов, оптимизации (батчинг, ретраи, SLA) и взаимодействии с BI-разработчиками для доставки данных в Superset.

Локация: офис/гибрид (г. Москва)

Компания

Разработчик ПО и системный интегратор с 28-летним опытом работы с российскими банками ТОП-20, ритейлерами, производственными и добывающими компаниями. Развиваем микросервисную архитектуру, ML/AI, IoT и автоматизацию.

Что делать

• Разрабатывать ETL на Apache Spark (Java стек);
• Создавать ETL-пайплайны (Spark, HDFS (parquets), Hive, Greenplum, ClickHouse);
• Разрабатывать витрины данных в Greenplum и ClickHouse;
• Оркестрировать ETL-процессы;
• Оптимизировать ETL (батчинг, ретраи, SLA-контроль);
• Взаимодействовать с BI-разработчиками и DevOps для доставки данных в Superset.

Требования

• Опыт с Apache Spark от 1 года;
• Опыт с ClickHouse от 2 лет;
• Опыт с Hadoop (HDFS, Hive);
• Опыт проектирования и разработки потоков данных, алгоритмов загрузки/обработки;
• Опыт оптимизации ETL-пайплайнов и SQL-кода;
• Продвинутые знания SQL;
• Понимание распределенных систем;
• Готовность осваивать Java для Spark.

Хорошо, если есть

• Опыт разработки на Java;
• Опыт в проектах миграции данных или BI-платформ;
• Опыт в банковской сфере, понимание бизнес-домена;
• Опыт в крупных проектах с высокими требованиями к надежности.

Культура и преимущества

• Работа в аккредитованной IT-компании;
• Гибкое начало дня (с 08:00 до 11:00);
• ДМС со стоматологией, телемедициной и полисом ВЗР;
• Больничный без бюрократии: 7 дней в году;
• IT-конференции, курсы, тренинги, сертификация за счет компании;
• Внутренние митапы, семинары, курсы английского с компенсацией;
• Система фидбеков, планы развития и роста.