Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Инженер данных (Автономный транспорт): разработка и поддержка высоконагруженных систем обработки данных с автономного флота с акцентом на оптимизацию хранилищ объемом более 180 ПБ и обеспечение real-time доставки. Фокус на проектировании надежных ETL-пайплайнов, мониторинге качества данных и развитии аналитического DWH для операционного управления.
Компания
Yandex — крупнейшая технологическая компания, развивающая инновационные сервисы, включая автономный транспорт.
Что делать
- Обеспечивать поставку и обработку данных с автономного флота в режиме, близком к реальному времени.
- Оптимизировать хранение данных объемом более 180 петабайт и внедрять системы бэкапов.
- Разрабатывать и поддерживать системы мониторинга скорости и полноты данных.
- Развивать аналитическое DWH для операционных менеджеров и аналитиков.
- Проектировать надежные и производительные пайплайны обработки данных.
Требования
- Опыт работы с Hadoop, YTsaurus, ClickHouse или другими MPP СУБД.
- Уверенное владение Python и SQL.
- Навыки написания надежных и производительных пайплайнов обработки данных.
- Соблюдение инженерной культуры и владение инструментами разработки.
- Свободное владение русским языком.
Хорошо, если есть
- Опыт проектирования и разработки хранилищ больших данных.
- Знание C++ или желание его изучить.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
