Senior Data Engineer (Spark)

TL;DR

Senior Data Engineer (Spark): Разработка и развитие аналитической платформы на базе Hadoop и Spark для пакетной обработки данных с акцентом на создание сервисов доступа к данным и оптимизацию ETL-пайплайнов. Фокус на масштабировании платформы под растущие нагрузки, внедрении инженерных практик и разработке новых сервисов на Python.

Локация: Удалённо (Весь мир)

Компания

Авито — крупный технологический продукт с многомиллионной аудиторией.

Что делать

• Разрабатывать и поддерживать продукты в составе кросс-функциональной команды.
• Развивать Big Data-платформу (преимущественно Spark) с учётом растущей нагрузки от новых задач и данных.
• Создавать новые сервисы на Python и оптимизировать существующие.
• Внедрять инженерные практики и делиться опытом с командой.
• Предлагать новые подходы и быстро проверять их в продакшене на реальных данных.

Требования

• Владение Python или Java/Scala (с готовностью перейти на Python).
• Глубокое понимание экосистемы Hadoop/Spark/Hive и связанных продуктов.
• Опыт работы с данными и решения аналитических задач.
• Базовые навыки администрирования Linux-систем.

Хорошо, если есть

• Опыт работы с Apache Airflow и принципами построения пайплайнов.
• Опыт разработки бэкенд-приложений на FastAPI, Flask, Django, Asyncio или Go.
• Знание инфраструктуры Apache Kafka и опыт разработки стриминговых приложений на Flink/Spark.
• Навыки работы с Docker, CI/CD, TDD и BDD.
• Опыт работы с кластерными СУБД: ClickHouse, Trino, Vertica, Sphinx и другими.
• Опыт использования Ansible, SaltStack или Puppet.

Культура и преимущества

• Возможность реализовать идеи в высоконагруженном проекте с огромной аудиторией.
• Полностью удалённый формат работы или комфортный офис в Москве (м. Белорусская).
• Забота о здоровье: ДМС со стоматологией с первого дня работы.
• Личный бюджет на обучение: книги, курсы и конференции.
• Система премий и обсуждаемая заработная плата.
• Предоставление необходимого оборудования и дополнительных мониторов.