Не получаете ответ?
Вакансия опубликована 7 дн. назад - шансы на ответ снижаются.
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Middle Data Engineer (KION): Разработка и рефакторинг ETL/ELT-пайплайнов на PySpark, поддержка OLAP-движков и миграция DWH с HDFS на S3 с акцентом на lakehouse-архитектуру и обработку больших данных. Фокус на оптимизации Spark-приложений, работе с ClickHouse, StarRocks, Greenplum и Hadoop.
Локация: удалённо, Москва
Компания
ON Медиа развивает онлайн-кинотеатр KION в составе цифровой экосистемы МТС, создавая оригинальный развлекательный контент и сервисы для просмотра фильмов и сериалов.
Что делать
- Разрабатывать и рефакторить ETL/ELT-пайплайны на PySpark.
- Разрабатывать и поддерживать OLAP-движки StarRocks и ClickHouse.
- Поддерживать текущие пайплайны на Greenplum и Hadoop.
- Мигрировать данные с HDFS на S3.
- Оптимизировать Spark-приложения.
Требования
- Опыт работы с Python от 3 лет.
- Глубокое знание SQL и опыт работы с большими данными.
- Опыт работы с Apache Airflow.
- Опыт проектирования и разработки ETL/ELT-процессов.
- Опыт работы с колоночными базами данных, включая ClickHouse.
- Знание принципов построения Data Warehouse и Data Lake, а также понимание различий между OLTP- и OLAP-системами.
- Уверенная работа с Linux и Git.
- Понимание процессов CI/CD.
Культура и преимущества
- Полная занятость с окладом и годовым бонусом при выполнении KPI.
- ДМС с первого месяца работы.
- Страховка для поездок за границу.
- Возможность участвовать в волонтёрских программах, включая благотворительные, образовательные и экологические проекты.
- Корпоративная спортивная программа с оплатой внешних забегов, марафонов и турниров.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Музыка
Осень
Поддержка