Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Дата-инженер в Такси (ETL/DWH): Проектирование, реализация и оптимизация сложных ETL-процессов и пайплайнов обработки данных для хранилища, которым пользуются сотни бизнес-пользователей, с акцентом на стабильность, качество и развитие DWH. Фокус на пилотировании Flink и Spark, инкрементальном построении, Data Quality, развитии ETL-фреймворка и интеграции с аналитическими инструментами.
Локация: удалённая работа, офис или гибридный формат
Компания
Yandex развивает городские сервисы и аналитическую инфраструктуру для райдтех-направлений.
Что делать
- Проектировать, реализовывать и оптимизировать сложные ETL- и ELT-процессы.
- Развивать DWH и строить пайплайны обработки данных от источников до витрин и отчётов.
- Поддерживать стабильность и качество существующей функциональности, устранять технический долг и автоматизировать процессы.
- Исследовать и пилотировать Flink, Spark, инкрементальное построение и инструменты Data Quality.
- Развивать собственный ETL-фреймворк и интеграции с аналитическими инструментами.
Требования
- От 3 лет опыта.
- Уверенное программирование на Python.
- Знание классических алгоритмов и структур данных.
- Хорошее знание SQL и понимание современных баз данных и фреймворков обработки данных.
- Понимание назначения CI/CD, преимуществ Git и code review.
Хорошо, если есть
- Опыт работы по методологии Agile и участия в проектировании хранилищ данных.
- Знание Hadoop, Spark, Hive, Luigi или Airflow.
- Опыт создания высоконагруженных ETL/ELT-процессов и обработки событий в режиме, близком к реальному времени.
- Опыт работы с Kafka Streams, Flink, Greenplum, Vertica, ClickHouse или Teradata.
- Знание Jupyter, Pandas, SciPy, Matplotlib или Bokeh; публикация кода или статей с примерами работ.
Культура и преимущества
- Можно выбрать удалённый, офисный или гибридный формат работы.
- Работа с большим объёмом данных и инфраструктурой, которой пользуются сотни бизнес-пользователей.
- Возможность участвовать в исследовании, переосмыслении и внедрении новых инструментов.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →