Data Engineer

Локация: Москва, Южный административный округ, Даниловский район. Формат работы: на месте работодателя или гибридный.

Зарплата: до 200 000 RUR в месяц до вычета налогов.

Компания

Datanomica структурирует разнородные данные и помогает среднему и малому бизнесу, банкам и ритейлу использовать клиентские данные для анализа спроса, экономических показателей и финансового планирования. Работа предполагает участие в команде крупного российского банка.

Что делать

• Проектировать и поддерживать высоконагруженные пайплайны потоковой передачи данных из ERP-системы в КХД.
• Разрабатывать механизмы гарантированной доставки данных с семантиками at-least-once и exactly-once, а также обработку сбоев без потери целостности финансовых данных.
• Оптимизировать потоки Kafka и Spark Streaming, включая партиционирование, сжатие и батчинг.
• Разрабатывать ETL/ELT-процессы, витрины данных, сложные SQL-запросы, оконные функции и хранимые процедуры для банковских метрик.
• Участвовать в миграции легаси-систем и переносе исторических данных с сохранением ссылочной целостности.
• Внедрять проверки качества данных, мониторинг replication lag и алертинг через Prometheus/Grafana или аналоги.

Требования

• От 1 до 3 лет профессионального опыта; промышленная разработка на Java — от 2 лет.
• Уверенное владение Java Core, понимание многопоточности и эффективной работы со стримами.
• Опыт разработки на Apache Spark и глубокое понимание архитектуры драйверов, исполнителей и управления памятью.
• Практический опыт работы с Apache Kafka, продюсерами, консьюмерами, идемпотентностью и распределёнными коммитами оффсетов.
• Хороший уровень SQL, включая оконные функции, CTE, рекурсивные запросы и оптимизацию тяжёлых запросов по планам выполнения.
• Опыт работы с Git, Maven, Docker, CI/CD, форматами Avro и Parquet; анализ PL/SQL-кода и проектирование мэппинга между моделями.

Хорошо, если есть

• Знание Kotlin.
• Опыт работы с Hive и Greenplum.
• Базовое понимание Jenkins или GitLab CI.

Культура и преимущества

• Работа по методологиям Agile, Scrum и Kanban.
• Взаимодействие с архитекторами DWH, администраторами PostgreSQL, Product Owners и аналитиками.
• ИИ-инструменты используются в проектировании, включая LLM, промпт-инжиниринг и Git с агентами.
• Официальное трудоустройство с первого рабочего дня и полное соблюдение ТК РФ.
• Регулярное обучение, профильные конференции за счёт компании и современное оборудование.
• Работа в ИТ-аккредитованной компании с ресурсами и свободой действий для решения амбициозных задач.