Стажер Data Engineer в Скоринг [Big Data, МТС Веб Сервисы]
#гибрид #intern
Локация: Москва
Компания: МТС
🔹Чем предстоит заниматься
-Разрабатывать ETL на Pyspark
-Оптимизировать запросы sql/spark
-Проводить оптимизацию и рефакторинг кода обработки данных
-Заниматься постановкой на регламент ETL процессов: расчет моделей, сборка витрин фичей
-Осуществлять внедрение контроля качества данных
-Научиться писать тесты на существующий и разрабатываемый функционал
-Выбирать оптимальную структуру хранения данных: оптимальной структуры, сжатия, секционирования и глубины
-Будет возможность научиться работать с Kafka, ClickHouse, CI\CD, Flink

🔹Что мы ожидаем
-Знание Python (стандартные библиотеки)
-Понимание хранилища HDFS (умение организовывать файлы нужного размера и сортировки, взаимодействие через cli)
-Умение писать аналитические SQL запросы
-Базовые знания Linux, git;
-Желателен опыт работы с инструментами оркестрации процессов (мы используем Apache Airflow) и будет плюсом знание PySpark (умение оптимизировать и рефакторить код джобов, управлять ресурсами spark-сессии)
Контакты: %contact_placeholder%

🔥 Подписаться на наши каналы / @best_itjob / @it_rab