обновлено 6 дней назад
Data Engineer (Travel)
RUВакансия из Hirify RU, списка российских tech-компаний
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Data Engineer (Travel): Develop and maintain ETL pipelines and design data storage structures for a fast-growing travel data warehouse using YTsaurus and ClickHouse with an accent on data modeling, performance optimization, and large-scale data processing. Focus on designing efficient data layers, optimizing ETL processes, and becoming a business domain expert in travel analytics.
Локация: удалённая работа, офис или гибридный формат.
Компания
Развитие сервиса Яндекса в сфере путешествий и собственного хранилища данных, которым пользуются аналитики и продуктовые команды.
Что делать
- Разрабатывать, сопровождать и проводить ревью ETL-процессов поставки данных из различных источников.
- Настраивать расписание, мониторинг и документирование преобразований и потоков данных.
- Проектировать структуру хранения данных в разных слоях DWH, включая модели, партиционирование, индексацию и сжатие.
- Согласовывать структуры данных с командами аналитики и разработки и адаптировать их при изменении бизнес-процессов.
- Анализировать производительность ETL-задач, выявлять аномалии и оптимизировать алгоритмы трансформации.
- Погружаться в прикладные бизнес-области, метрики и источники формирования показателей.
Требования
- Опыт от 3 лет.
- Опыт проектирования DWH, слоёв хранения, моделей данных и ETL-процессов.
- Опыт разработки ETL-процессов на Apache Airflow или аналогичных инструментах.
- Умение настраивать поставки данных по API и экспертное знание SQL.
- Знание одного из языков программирования: Python, Go, Java или другого языка высокого уровня.
- Понимание архитектуры реляционных баз данных, алгоритмов и структур данных для работы с большими данными.
Хорошо, если есть
- Опыт работы с MPP-СУБД, например Greenplum, ClickHouse, Vertica или Teradata.
- Понимание Hadoop, MapReduce и принципов распределённой обработки данных.
Культура и преимущества
- Возможность выбрать удалённый, офисный или гибридный формат работы.
- Работа с терабайтами данных и задачами быстро растущего продукта.
- Использование YTsaurus, ClickHouse и собственного фреймворка Яндекса для разработки, оркестрации и мониторинга ETL-процессов.
- Применение Lambda-архитектуры, Data Lake и Data Vault для организации хранилища.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →