Data Engineer (Java/Spark/Kafka)

Локация: Москва, Южный административный округ, Даниловский район; гибридный формат с работой на месте работодателя

Зарплата: до 200000 RUR в месяц до вычета налогов

Компания

Datanomica собирает инженерные команды для задач крупного бизнеса. Компания работает более 6 лет, имеет 160+ инженеров в штате и реализовала 45+ проектов в финансовом секторе, телекоме и ретейле; имеет аккредитацию ИТ-компании.

Что делать

• Разрабатывать и поддерживать ядро репликации, высоконагруженные потоковые пайплайны передачи данных из ERP-системы в корпоративное хранилище данных.
• Реализовывать гарантированную доставку данных, обработку сбоев и сохранение целостности финансовых данных; оптимизировать Kafka и Spark Streaming.
• Разрабатывать ETL/ELT-процессы, витрины данных, SQL-запросы, оконные функции и хранимые процедуры для банковских метрик.
• Участвовать в миграции данных с легаси-систем, включая исторические АБС, и создавать инструменты извлечения, очистки, обогащения и загрузки исторических массивов.
• Внедрять проверки качества данных, мониторинг задержек репликации и алертинг через Prometheus/Grafana или аналоги.
• Взаимодействовать с архитекторами DWH, администраторами PostgreSQL, Product Owners и аналитиками в Agile-команде.

Требования

• От 1 года до 3 лет общего опыта; промышленная разработка на Java — от 2 лет.
• Уверенное владение Core Java, понимание многопоточности и эффективной работы со стримами.
• Опыт разработки на Apache Spark, понимание архитектуры драйверов и исполнителей, управления памятью и чтения Explain plan.
• Практический опыт с Apache Kafka: настройка продюсеров и консьюмеров, идемпотентность и распределённые коммиты оффсетов.
• Хорошее знание SQL, включая оконные функции, CTE и рекурсивные запросы; опыт оптимизации тяжёлых запросов по планам исполнения.
• Опыт работы с Git, ветками, разрешением конфликтов и merge request; знание Maven и Docker, базовое понимание Jenkins или GitLab CI.
• Понимание форматов Avro и Parquet, включая эволюцию схем, колоночное хранение и predicate pushdown.
• Опыт анализа чужого PL/SQL-кода и проектирования мэппинга полей между старой и новой моделями.
• Опыт проектирования с использованием AI-инструментов: LLM, промпт-инжиниринг и Git с агентами.

Хорошо, если есть

• Опыт работы с Hive и Greenplum.

Культура и преимущества

• Гибридный формат работы с присутствием на месте работодателя.
• Проекты для крупнейших банков и корпораций с высокой нагрузкой и mission-critical системами.
• Официальная белая зарплата, оформление с первого рабочего дня и полное соблюдение ТК РФ.
• Обучение, профильные конференции за счёт компании и современное оборудование.
• Амбициозные задачи с достижимым результатом.