Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Data Engineer (MDM/Python/SQL): Построение и развитие технического контура мастер-данных, включая операционные хранилища и интеграционные потоки с акцентом на контроль консистентности и историю изменений данных. Фокус на проектировании сложных ETL/ELT-процессов, реализации CDC-механизмов и обеспечении высокого качества синхронизации данных между системами.
Локация: Санкт-Петербург или удалённо
Зарплата: 100 000 — 300 000 ₽/мес на руки
Что делать
- Проектировать структуры операционных хранилищ и модели мастер-данных.
- Разрабатывать ETL/ELT-процессы загрузки, обработки и передачи данных.
- Создавать пакетные и потоковые интеграции между информационными системами, включая CDC-механизмы.
- Реализовывать правила нормализации, сопоставления, дедупликации и консолидации данных.
- Разрабатывать системы проверки качества данных, технические сверки, мониторинг и логирование.
- Участвовать в выборе архитектурных решений и сопровождать их в промышленной эксплуатации.
Требования
- Уверенное владение SQL и опыт разработки на Python.
- Опыт проектирования структур хранения данных и создания ETL/ELT-процессов.
- Понимание принципов пакетной и потоковой обработки данных, а также интеграционных паттернов.
- Навыки работы с реляционными СУБД и обеспечения целостности данных.
- Умение самостоятельно прорабатывать техническое решение от проектирования до эксплуатации.
Хорошо, если есть
- Опыт работы с Kafka, Flink, Debezium или ClickHouse.
- Практический опыт реализации CDC-процессов и работы в Apache Airflow.
- Участие в создании MDM-решений или операционных хранилищ.
- Понимание событийно-ориентированной архитектуры.
- Опыт работы с Git, CI/CD и контейнеризацией.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →