Инженер данных

Тип занятости: #full_time #contract
Уровень: #middle+
Страна: #RU
Локация: #hybrid
Зарплата: 380 000 RUB

Финтех проект для Сбер. Подготовка и визуализация данных для финансового департамента. BIG DATA с миллиардами строк. Потоки данных: HDFS > Spark > Hive > Greenplum > Clickhouse > Superset. Проект стартует ASAP, продолжительность 12+ месяцев.

Обязанности
- Разработка ETL на Apache Spark (Java стек)
- Разработка ETL-пайплайнов (Apache Spark, HDFS (parquets), Hive, Greenplum, ClickHouse)
- Разработка витрин данных в Greenplum и ClickHouse
- Оркестрация ETL-процессов
- Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль)
- Взаимодействие с BI-разработчиками и DevOps для своевременной доставки данных в Superset

Требования
- Опыт работы с Apache Spark от 1 года
- Опыт работы с СУБД (Greenplum, ClickHouse, PostgreSQL) от 2 лет
- Опыт работы с Hadoop (HDFS, Hive)
- Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных
- Опыт оптимизации ETL-пайплайнов и SQL кода
- Продвинутые знания SQL
- Понимание принципов работы распределенных систем
- Готовность осваивать Java для использования Spark

Дополнительная информация
Гибридный формат работы в Москве на Вавилова. На старте 3 дня и более может быть в офисе, далее опционально. Оплата поквартальная. Обязательное наличие опыта разработки с Apache Spark, можно не владеть Java, но иметь опыт со Spark, заказчик готов обучить Java.

Контакты
- Telegram: %contact_placeholder%

⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: %replace_post_url%

Стек технологий: #hdfs #greenplum #clickhouse #apache_spark #apache_airflow #python #qlik_sense #apache_superset #pl/pg_sql #openshift #bitbucket #jira #confluence #docker #kubernetes #kibana #grafana #hive