Data engineer/ Разработчик SQL/ pgSQL
#удаленка
Компания: Билайн
🔹Итак, вам предстоит:
- Разрабатывать хранимые процедуры на PostgreSQL для расчёта показателей в хранилище данных (звездообразная схема);
-Создавать функции, представления и запросы для извлечения и агрегации бизнес-показателей на PostgreSQL;
-Разрабатывать DAG в Airflow с использованием коннекторов к PostgreSQL, Hive, HDFS, S3, HTTP, а также для работы с файлами форматов CSV, XLS и XLSX;
-Реализовывать алгоритмы проверки качества данных (с помощью хранимых процедур в PostgreSQL, а также задач и операторов в Airflow);
-Проводить оптимизацию запросов PostgreSQL;
-Вести техническую документацию по разработке в Confluence;
-Работать с задачами и проектами в JIRA;
-Работать с системой контроля версий Git.

🔹Мы будем рады рассмотреть вашу кандидатуру, если у вас есть:
-Опыт работы в роли Data Engineer от 1,5 лет.
-Уровень владения SQL, в т.ч. в диалекте PLPPSQL - Jun+/middle;
-Опыт работы с ETL-инструментами;
-Понимание архитектуры Apache Spark, опыт по анализу и оптимизации обработки данных на Spark.
-Опыт работы с Hadoop.

🔹Будет плюсом, если вы:
-Опыт работы с HDFS, Hive и Spark/Scala;
-Знание Python на уровне Middle, в частности библиотек: pandas, openpyxl, xlrd, exchangelib, boto3, requests, s3transfer;
-Опыт администрирования PostgreSQL, Linux и Airflow;
Контакты: %contact_placeholder%

🔥 Подписаться на наши каналы / @best_itjob / @it_rab