Вакансия из Telegram канала - Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Data аналитик
Длительный проект Сбер
Грейд: Senior
Локация специалиста: г. Москва
Гражданство: РФ
Вилка: 230-260
Длительность: Долгосрочный проект
Примечание:
- Гибрид, 2-3 дня работы из офиса на ул. Вавилова
- Оформленные только по ТК РФ, ГПХ
Требования:
Java(Scala) под Spark обязательно
Опыт работы с Apache Spark от 1 года.
Опыт работы с СУБД (Greenplum, ClickHouse, PostgreSQL) от 2 лет
Опыт работы с Hadoop (HDFS, Hive)
Опыт проектирования и разработки потоков данных, алгоритмов загрузки и
обработки данных
Опыт оптимизации ETL-пайплайнов и SQL кода
Продвинутые знания SQL.
Понимание принципов работы распределенных систем.
Готовность осваивать Java для использования Spark
Будет плюсом
Опыт разработки на Java
Опыт работы в проектах, связанных с миграцией данных или BI-платформ.
Опыт работы в банковской сфере, понимание бизнес домена.
Опыт работы в крупных проектах с высокими требованиями к надежности
Задачи:
Разработка ETL на Apache Spark (Java стек)
Разработка ETL-пайплайнов (Apache Spark, HDFS (parquets), Hive, Greenplum,
ClickHouse);
Разработка витрин данных в Greenplum и ClickHouse
Оркестрация ETL-процессов.
Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль).
Взаимодействие с BI-разработчиками и DevOps для своевременной доставки
данных в Superset.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Текст вакансии взят без изменений
Источник -