Senior Data Engineer

TL;DR

Senior Data Engineer (Data Platform): Разработка и развитие внутренних инструментов платформы данных и высоконагруженных ETL/ELT-процессов с акцентом на надежность, масштабируемость и производительность. Фокус на лидировании инфраструктурных проектов, проектировании архитектуры компонентов и обеспечении наблюдаемости (observability) дата-платформы.

Локация: Работа возможна только удаленно с территории РФ

Компания

ТехВилл — IT-партнер ВкусВилл, отвечающий за разработку цифровых решений, автоматизацию бизнес-процессов и развитие инфраструктуры данных для крупного ритейлера.

Что делать

• Разрабатывать и развивать внутренние инструменты Data Platform для повышения эффективности команды.
• Проектировать и поддерживать batch ETL/ELT процессы на базе Apache Airflow и Apache Spark.
• Создавать near real-time пайплайны обработки данных с использованием Spark Streaming и ClickHouse.
• Лидировать крупные инфраструктурные проекты: от декомпозиции задач до ввода в эксплуатацию.
• Обеспечивать мониторинг качества данных и наблюдаемость (observability) всей дата-платформы.
• Проводить code review и менторить менее опытных разработчиков.

Требования

• Опыт разработки промышленного кода на Python от 4–5 лет.
• Продвинутый уровень SQL и опыт работы с объектными хранилищами (S3/MinIO).
• Опыт работы с Apache Airflow (2 и 3 версии).
• Глубокое понимание архитектуры ClickHouse и/или Greenplum (оптимизация запросов, чтение планов выполнения).
• Опыт проектирования Data Lake / Lakehouse архитектур.
• Обязательное нахождение на территории РФ.

Хорошо, если есть

• Опыт построения стриминговых пайплайнов (Spark Streaming, Kafka).
• Опыт эксплуатации Kubernetes и контейнеризированных сервисов.
• Навыки внедрения observability-решений (метрики, логирование, трассировка).
• Опыт применения LLM и AI-ассистентов в разработке.

Культура и преимущества

• Работа в аккредитованной IT-компании с официальным оформлением.
• Прозрачная система развития: понятные грейды, индивидуальные планы и матрицы компетенций.
• Компенсация медицинских услуг, спорта, ментального благополучия и использования AI-инструментов.
• Бонус 15% на покупки во ВкусВилл.
• Экологичная корпоративная культура и поддержка донорства.