Эта вакансия в архиве
Посмотреть похожие вакансии ↓обновлено 3 дня назад
Инженер данных мастер-систем (Data Engineer)
100 000 - 300 000₽
Описание вакансии
Текст:
TL;DR
Инженер данных мастер-систем (Data Engineer): Проектирование операционных хранилищ и моделей мастер-данных, разработка пакетных и потоковых интеграций с акцентом на CDC, нормализацию, дедупликацию и контроль качества данных. Focus on построении интеграционного контура на Python, SQL, PostgreSQL, Microsoft SQL Server, Apache Airflow, Kafka, Flink и Debezium, а также на обеспечении консистентности и промышленной эксплуатации решений.
Локация: Санкт-Петербург, Балтийская; доступна удалённая работа
Зарплата: 100 000–300 000 ₽ в месяц на руки
Компания
Melon Fashion Group развивает направление мастер-данных и технический контур для операционных хранилищ, интеграционных потоков и систем-потребителей.
Что делать
- Проектировать структуры операционных хранилищ и модели мастер-данных.
- Разрабатывать процессы загрузки, обработки, хранения и передачи данных.
- Создавать пакетные и потоковые интеграции между информационными системами, включая CDC-механизмы.
- Реализовывать нормализацию, сопоставление, дедупликацию и консолидацию данных, а также хранение истории изменений.
- Готовить данные для DWH и систем-потребителей, разрабатывать проверки качества и автоматизированные сверки.
- Настраивать мониторинг, логирование и обработку ошибок, анализировать сбои и сопровождать решения в промышленной эксплуатации.
Требования
- Уверенное владение SQL и опыт разработки на Python.
- Опыт проектирования структур и моделей хранения данных.
- Опыт создания ETL- или ELT-процессов.
- Понимание пакетной и потоковой обработки данных, интеграционных паттернов и способов передачи данных между системами.
- Навыки работы с реляционными СУБД и понимание принципов целостности и консистентности данных.
- Умение самостоятельно разрабатывать технические решения и доводить их до промышленной эксплуатации.
Хорошо, если есть
- Опыт работы с Kafka, Flink, Debezium, ClickHouse или Apache Airflow.
- Практический опыт реализации CDC-процессов и MDM-решений.
- Опыт построения систем контроля качества данных и автоматизированных сверок.
- Понимание событийно-ориентированной архитектуры и интеграции с API, брокерами сообщений и внешними системами.
- Опыт работы с Git, CI/CD и контейнеризацией.
Культура и преимущества
- Возможность работать удалённо или в офисе в Санкт-Петербурге.
- Участие в формировании отдельного технического направления мастер-данных.
- Работа с операционными хранилищами, интеграционными потоками и промышленными системами.
Музыка
Осень
Поддержка