Data Engineer (Kafka/Spark)

Локация: Москва, Южный административный округ, Даниловский район. Формат работы: на месте работодателя, гибрид.

Зарплата: до 200 000 ₽ в месяц до вычета налогов.

Компания

Datanomica собирает инженерные команды для крупных компаний и реализует проекты в банковских системах, телекоме, ритейле, хранилищах данных, генеративном ИИ, комплаенсе, кибербезопасности и импортозамещении ПО.

Что делать

• Проектировать и поддерживать высоконагруженные пайплайны потоковой передачи данных из ERP-системы в корпоративное хранилище.
• Разрабатывать механизмы гарантированной доставки данных, обработки сбоев и сохранения целостности финансовой информации.
• Создавать ETL/ELT-процессы, витрины данных, сложные SQL-запросы и процедуры для агрегации банковских метрик.
• Участвовать в миграции данных из легаси-систем и разрабатывать инструменты извлечения, очистки, обогащения и загрузки исторических массивов.
• Внедрять проверки качества данных, мониторинг задержек репликации и алертинг через Prometheus, Grafana или аналоги.
• Взаимодействовать с архитекторами DWH, администраторами PostgreSQL, владельцами продуктов и аналитиками по Agile-методологиям.

Требования

• От 1 года до 3 лет опыта в разработке; промышленная разработка на Java — от 2 лет.
• Уверенное владение Core Java, понимание многопоточности и эффективной работы со стримами.
• Опыт разработки на Apache Spark и глубокое понимание архитектуры, управления памятью и планов выполнения.
• Практический опыт работы с Apache Kafka, продюсерами и консьюмерами, идемпотентностью и распределёнными коммитами оффсетов.
• Хороший уровень SQL, включая оконные функции, CTE, рекурсивные запросы и оптимизацию тяжёлых запросов.
• Опыт работы с Git, Maven и Docker; понимание CI/CD, Avro, Parquet и анализа PL/SQL-кода.

Хорошо, если есть

• Знание Kotlin.
• Опыт работы с Hive и Greenplum.
• Знание Jenkins или GitLab CI.
• Опыт проектирования с использованием LLM, промпт-инжиниринга и Git-агентов.

Культура и преимущества

• Гибридный формат работы в аккредитованной ИТ-компании.
• Проекты для крупнейших банков и корпораций с высокой нагрузкой и mission-critical системами.
• Регулярное обучение и участие в профильных конференциях за счёт компании.
• Современное оборудование.
• Официальная белая зарплата, оформление с первого рабочего дня и полное соблюдение ТК РФ.