Data Engineer в команду CDP

Компания

Внутренняя Customer Data Platform объединяет данные из десятков источников, формирует пользовательские профили и поддерживает персонализацию продукта, рекламы и коммуникаций.

Что делать

• Повышать эффективность batch-пайплайнов для расчёта daily-признаков.
• Создавать realtime-пайплайны на основе Kafka-топиков.
• Проектировать и разрабатывать сервисы для обработки миллиардов пользовательских событий.
• Решать задачи расчёта метрик и построения витрин.
• Развивать потоки данных и интеграции CDP с другими системами.
• Влиять на архитектурные решения и качество кода, взаимодействуя с аналитиками, продактами и инженерами.

Требования

• Опыт работы с highload-системами.
• Опыт проектирования архитектуры данных или платформенного кода.
• Опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки данных.
• Понимание работы Spark и умение подготавливать его к использованию.
• Уверенное владение одним из языков программирования, например Python или Scala.
• Самостоятельность, проактивность и интерес к бизнес-логике продукта.

Хорошо, если есть

• Опыт работы с Airflow и SQL.
• Знание инструментов мониторинга и автоматического контроля качества данных, включая Data Quality и Data Contracts.
• Опыт построения Data Lineage и работы с Data Catalog.
• Понимание персонализации, сегментации или realtime-аналитики.
• Понимание принципов работы S3-хранилищ.

Культура и преимущества

• Работа с миллионами пользователей, миллиардами событий и сотнями интеграций.
• Возможность влиять на архитектуру и развитие формирующегося технологического стека.
• Минимум бюрократии и высокий уровень ответственности.
• Вклад в CDP напрямую влияет на продукт, коммуникации и рекламу.