Назад
5 часов назад

Data Engineer

Формат работы
remote (только Russia)
Тип работы
fulltime
Грейд
middle
Страна
Russia
vacancy_detail.hirify_telegram_tooltip Загружаем источник...

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Data engineer/ Разработчик SQL/ pgSQL
#удаленка
Компания: Билайн
🔹Итак, вам предстоит:
- Разрабатывать хранимые процедуры на PostgreSQL для расчёта показателей в хранилище данных (звездообразная схема);
-Создавать функции, представления и запросы для извлечения и агрегации бизнес-показателей на PostgreSQL;
-Разрабатывать DAG в Airflow с использованием коннекторов к PostgreSQL, Hive, HDFS, S3, HTTP, а также для работы с файлами форматов CSV, XLS и XLSX;
-Реализовывать алгоритмы проверки качества данных (с помощью хранимых процедур в PostgreSQL, а также задач и операторов в Airflow);
-Проводить оптимизацию запросов PostgreSQL;
-Вести техническую документацию по разработке в Confluence;
-Работать с задачами и проектами в JIRA;
-Работать с системой контроля версий Git.

🔹Мы будем рады рассмотреть вашу кандидатуру, если у вас есть:
-Опыт работы в роли Data Engineer от 1,5 лет.
-Уровень владения SQL, в т.ч. в диалекте PLPPSQL - Jun+/middle;
-Опыт работы с ETL-инструментами;
-Понимание архитектуры Apache Spark, опыт по анализу и оптимизации обработки данных на Spark.
-Опыт работы с Hadoop.

🔹Будет плюсом, если вы:
-Опыт работы с HDFS, Hive и Spark/Scala;
-Знание Python на уровне Middle, в частности библиотек: pandas, openpyxl, xlrd, exchangelib, boto3, requests, s3transfer;
-Опыт администрирования PostgreSQL, Linux и Airflow;
Контакты:

🔥 Подписаться на наши каналы / @best_itjob / @it_rab

Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →

Текст вакансии взят без изменений

Источник -