Data Engineer (SafeHub)

Data Engineer (SafeHub)
#офис
Москва
Компания: Сбер
☑️Задачи:
-анализ структур данных в разных источниках и форматов, оценка их пригодности для конкретных бизнес-задач
-загрузка, обработка и преобразование больших объемов данных из разнородных хранилищ (Oracle, Teradata, MS SQL, GreenPlum) в рабочие среды (GreenPlum, Hadoop)
-проектирование и создание аналитических витрин данных
-подготовка и препроцессинг данных для обучения моделей машинного обучения
-мониторинг и оптимизация рабочих процессов обработки и загрузки данных
-контроль качества входных данных и автоматизация проверки качества данных
-разработка инфраструктуры и внутренних сервисов для эффективной обработки больших объемов данных
-автоматизация повторяющихся операций с данными
-создание технической документации и поддержка баз знаний по работе с данными
-консультация пользователей внутри компании по вопросам использования данных.

☑️Требования
-высшее образование
-опыт работы от 2х лет в роли Data Engineer, Data Analyst или ETL-разработчика
-продвинутый уровень владения SQL (аналитические функции, подзапросы, хранимые процедуры, производительность запросов)
-практический опыт работы с большими объемами данных в реляционных СУБД (Oracle, Teradata, MS SQL, GreenPlum)
-понимание концепции и принципов организации хранилища данных (DWH)
-работа с технологическим стеком Hadoop (HDFS, YARN, Hive) и Apache Spark
-опыт программирования на Java/Scala
-понимание базовых принципов построения распределенных систем хранения и обработки данных.
Контакты: Показать контакты

/ @best_itjob / @it_rab