Data Engineer (Java/Spark)

#de #dataengineer #job #vacancy #remote #вакансия #удаленно

🌟 Data Engineer / Java, Spark

Компания: крупный банк РФ
Оплата: 300тр+/месяц
Формат: удаленно по РФ
Занятость: фултайм

Проект: Репликация данных из источников в распределенный облачный кластер и индексирование данных для обработки запросов в режиме реального времени

⭕ Задачи:
Глобально задачи команды — репликация и индексирование данных из различных источников (в основном Apache Hive) в распределенный облачный кластер (тоже Apache Hive), чтобы затем в режиме реального времени отрабатывать запросы через REST или брокеры сообщений (Kafka или IBM MQ) к этим данным (напр., остатки по счетам физ. лиц в ответ на запросы гос. органов, данные о товарах в чеке к покупке в мобильном приложении и проч.)

⭕ Стек:
- JIRA
- Confluence
- Корпоративные мессенджеры
- Outlook
- Scrum

⭕ Требования:
- Базовый уровень знания java (циклы, условия, хешмапы и т.д.)
- Базовый уровень знания и понимание CI/CD
- Linux (basic), Ansible, SQL, Git, XML, JSON, XSLT, YAML
- Базовые знания экосистемы Hadoop и его компонентов (Apache Solr, Apache Hive, Apache HBase, Apache Spark, Apache Zookeper, Apache Oozie, Apache Camel)
- Язык: английский, уровень владения: технический (чтение документации, профильных ресурсов)
.
✅ Рекрутер
Показать контакты