Инженер платформы данных

Локация: удалённая работа

Компания

2ГИС развивает внутреннюю Customer Data Platform, которая объединяет данные из десятков источников, строит пользовательские профили, рассчитывает метрики и модели поведения и поддерживает realtime-персонализацию, рекламу и коммуникации.

Что делать

• Повышать эффективность batch-пайплайнов для расчёта daily-признаков.
• Создавать realtime-пайплайн для расчёта признаков на основе Kafka-топиков.
• Проектировать и разрабатывать сервисы для обработки миллиардов пользовательских событий.
• Решать задачи расчёта метрик и построения витрин данных.
• Развивать потоки данных и интеграции CDP с другими системами 2ГИС.
• Влиять на архитектурные решения и качество кода, взаимодействуя с аналитиками, продактами и инженерами других направлений.

Требования

• Опыт работы с highload-системами.
• Опыт проектирования архитектуры данных или платформенного кода.
• Опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки данных.
• Понимание работы Spark и умение подготавливать его к работе.
• Уверенное владение одним из языков программирования, например Python или Scala.
• Самостоятельность и проактивность: готовность предлагать решения без ожидания постановок.
• Готовность разбираться в бизнес-логике и создавать продукт, а не только писать код.

Хорошо, если есть

• Опыт работы с Airflow.
• Опыт анализа данных с использованием SQL.
• Знание инструментов мониторинга и автоматического контроля качества данных, включая Data Quality и Data Contracts.
• Опыт построения Data Lineage и работы с Data Catalog.
• Понимание персонализации, сегментации или realtime-аналитики.
• Понимание работы S3-хранилищ.

Культура и преимущества

• Работа с миллионами пользователей, миллиардами событий и сотнями интеграций.
• CDP является стратегическим направлением 2ГИС и быстро развивается.
• Свобода в выборе архитектуры и технологий при минимуме бюрократии и высокой ответственности.
• Возможность влиять на развитие стека, архитектуру и качество решений.
• Результаты работы влияют на продукт, коммуникации и рекламу 2ГИС.