Senior/Middle+ Big Data Engineer (Рекламная платформа)

Локация: Москва, Крылатская улица, 15; возможен удалённый или гибридный формат работы.

Компания

Lamoda Tech развивает собственную рекламную платформу для продвижения товаров, медийных форматов и отчетности для рекламодателей; с платформой взаимодействуют миллионы пользователей.

Что делать

• Проектировать единую модель данных рекламной платформы совместно с продуктом и аналитиками.
• Строить внешнюю отчетность для рекламодателей, проектировать витрины в ClickHouse и рассчитывать метрики рекламных кампаний в near realtime и batch-режимах.
• Развивать инфраструктуру данных для ML-задач и продуктовой аналитики.
• Переводить данные и регулярные расчеты рекламной платформы на Lakehouse-архитектуру.
• Согласовывать с продуктовыми командами источники, форматы и контракты данных, обеспечивать качество данных и проектировать Data Quality.
• Оптимизировать Spark-пайплайны, мониторить нагрузку на кластер и эффективность использования ресурсов, а также внедрять новые инструменты инжиниринга данных.

Требования

• От 3 до 6 лет опыта работы.
• Уверенное владение Python, Scala или Java.
• Глубокое знание Spark и Spark Streaming или Flink.
• Понимание внутреннего устройства ClickHouse и умение оптимизировать запросы.
• Опыт работы с Data Lake или Lakehouse-стеком.
• Опыт построения решений для near realtime-аналитики.
• Хорошее понимание SQL.
• Понимание инфраструктуры Apache Kafka.

Хорошо, если есть

• Опыт работы с данными рекламного домена.
• Опыт внедрения инструментов Data Quality.
• Опыт работы с Docker, Kubernetes и системами мониторинга Grafana и Prometheus.

Культура и преимущества

• Удалённый или гибридный формат работы.
• Работа в направлении больших данных рекламной платформы.
• Взаимодействие с более чем 50 разработчиками и аналитиками департамента рекламы.