Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Data Engineer (Big Data): Загрузка, очистка и трансформация больших объемов данных из RDBMS, Hadoop и плоских файлов с акцентом на разработку аналитических витрин и ETL-коннекторов. Focus on проектирование DWH-решений, мониторинг и оптимизацию пайплайнов обработки данных, а также автоматизацию рутинных операций.
Локация: офисный формат работы в Москве, на месте работодателя
Компания
Bell Integrator — аккредитованная ИТ-компания, входящая в группу Softline и реализующая проекты для крупных финансовых, телекоммуникационных и розничных компаний по всей России.
Что делать
- Загружать, очищать и трансформировать большие объемы данных из RDBMS, Hadoop и плоских файлов на платформах Hadoop.
- Проектировать и разрабатывать аналитические витрины данных и коннекторы для ETL-процессов.
- Мониторить и оптимизировать процессы загрузки, преобразования данных и сборки витрин.
- Разрабатывать, поддерживать и оптимизировать инфраструктуру и внутренние сервисы для обработки больших объемов данных.
- Создавать инструменты для автоматизации рутинных задач обработки данных.
Требования
- От 3 до 6 лет опыта.
- Продвинутый SQL: аналитические функции, подзапросы, хранимые процедуры и оптимизация производительности.
- Стек Big Data: Hadoop, Spark, Hive/Impala и любая СУБД.
- Знание понятий и концепций DWH.
- Python и библиотеки PySpark, Pandas, NumPy, а также REST API.
- Опыт работы с Airflow, Dagster или Oozie.
- BitBucket/Git и Bash.
Культура и преимущества
- Оформление в соответствии с ТК РФ.
- Возможность профессионального и карьерного роста.
- Участие в разных проектах.
Будьте осторожны
Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →
Музыка
Осень
Поддержка