Senior Big Data Engineer (Data Platform)

Локация: Москва, Крылатская улица, 15; формат работы: удалённо или гибридно

Компания

Lamoda Tech развивает платформу данных для электронной коммерции и связанных аналитических и ML-сценариев.

Что делать

• Разрабатывать и совершенствовать платформу данных электронной коммерции нового поколения.
• Проектировать и развивать ETL-пайплайны на Airflow для Spark Batch и Streaming, Iceberg и Trino.
• Оптимизировать Spark-пайплайны и джобы, контролировать нагрузку на кластер и эффективность использования ресурсов.
• Взаимодействовать с аналитиками, ML-специалистами и DataOps для создания инструментов и наборов данных.
• Проектировать хранилища на Kubernetes, настраивать производительность и мониторинг, планировать ёмкость кластеров и партиционирование.
• Участвовать во внедрении облачной инфраструктуры, code review и архитектурных решениях дата-платформы.

Требования

• От 3 до 6 лет опыта в разработке данных.
• Kubernetes: понимание ресурсной модели, чтение конфигураций и troubleshooting.
• Опыт работы с Hadoop, HDFS, Hive Metastore, Spark, Spark SQL и streaming.
• Глубокое понимание Airflow, включая идемпотентность, assets и backfills; опыт работы с Apache Iceberg, snapshots и maintenance.
• Уверенное знание Git, CI/CD, Python и Scala или Java, включая ООП, проектирование библиотек и интеграционные или unit-тесты.
• Хорошее понимание СУБД и SQL.

Хорошо, если есть

• Опыт работы с Docker, Kafka, ClickHouse и облачными технологиями, преимущественно Yandex Cloud.
• AI-native подход к разработке, использование Claude Code, Codex и подобных инструментов.
• Опыт построения harness-систем, агентов с инструментами, автоматизации через LLM и RAG.

Культура и преимущества

• Возможность работать удалённо или в гибридном формате.
• Участие в развитии дата-платформы электронной коммерции и облачной инфраструктуры.
• Взаимодействие с аналитиками, ML-специалистами и DataOps.