Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Data Engineer (CDP): Разработка внутренней Customer Data Platform для объединения данных из десятков источников, построения пользовательских профилей и расчёта batch- и realtime-признаков с акцентом на Kafka, ClickHouse, Spark и обработку миллиардов событий. Focus on проектирование высоконагруженных сервисов и пайплайнов, построение витрин, интеграции потоков данных и архитектурные решения для персонализации и аналитики.
Локация: Новосибирск, Россия; можно работать удалённо
Компания
2GIS развивает внутреннюю Customer Data Platform, которая объединяет данные, формирует пользовательские профили и поддерживает персонализацию, рекламу и коммуникации.
Что делать
- Повышать эффективность пайплайнов для расчёта daily-признаков на основе batch-процессинга.
- Создавать пайплайны для расчёта realtime-признаков на основе Kafka-топиков.
- Проектировать и разрабатывать сервисы, обрабатывающие миллиарды пользовательских событий.
- Решать инженерные задачи, связанные с расчётом метрик и построением витрин.
- Работать с потоками данных и интеграциями между CDP и другими системами 2ГИС.
- Влиять на архитектурные решения и качество кода, взаимодействуя с аналитиками, продактами и инженерами других направлений.
Требования
- Опыт работы с highload-системами.
- Опыт проектирования архитектуры данных или платформенного кода.
- Опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки данных.
- Понимание принципов работы Spark и умение его настраивать.
- Уверенное владение одним из языков программирования, например Python или Scala.
- Самостоятельность и проактивность: способность предлагать решения без постоянных постановок.
- Готовность разбираться в бизнес-логике и создавать продукт, а не только писать код.
Хорошо, если есть
- Опыт работы с Airflow.
- Опыт анализа данных с использованием SQL.
- Знание инструментов мониторинга и автоматического контроля качества данных, включая Data Quality и Data Contracts.
- Опыт построения Data Lineage и работы с Data Catalog.
- Понимание подходов к персонализации, сегментации или real-time аналитике.
- Понимание принципов работы S3-хранилищ.
Культура и преимущества
- Работа с масштабом в миллионы пользователей, миллиарды событий и сотни интеграций.
- CDP является стратегическим направлением с быстрым ростом.
- Свобода в архитектуре и технологиях, минимум бюрократии и высокая ответственность.
- Возможность влиять на архитектуру, подходы и развитие платформы.
- Результаты работы влияют на продукт, коммуникации и рекламу 2ГИС.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Музыка
Осень
Поддержка