Senior Data Engineer

Вакансия: Data Engineer Senior
Компания: LIAN
Формат: Аутстафф
Локация и гражданство: РФ
Занятость: полная
ЗП: от 260 до 300тыс
Оформление: ИП/СЗ

На данный момент нам требуется эксперт в области Greenplum и Postgresql
О проекте: Перенос существующего корпоративного хранилища данных с MS SQL Server (диалект T-SQL) на Greenplum.

Обязанности:

- Миграция скриптов по загрузке в хранилище, ODS, DDS c MS SQL на Greenplum
- Миграция данных их текущего хранилища в Greenplum
- Оптимизация запросов ETL/ELT, и настройка там, где специфика Greenplum требует изменений структуры или логики запросов)

Требования:
Глубокий опыт работы Greenplum и PostgreSQL в продакшене, включая:

- Оптимизацию производительности (разбор и решение проблем с медленными запросами, блокировками, нагрузкой на сервер).
- Диагностику и устранение проблем, когда аналитические запросы "кладут" прод (разбор планов запросов, настройка индексов, партиционирование и др.).
- Пересчет больших объемов исторических данных (опыт работы с columnar extensions в Postgres будет плюсом).

- Опыт построения и сопровождения ETL-процессов, загружающих данные в Greenplum/PostgreSQL(Python , Airflow, NiFi и т. д.).
- Опыт работы с CDC (Change Data Capture) для Greenplum/PostgreSQL
- Умение анализировать и переписывать сложные многострочные SQL-запросы из Python-скриптов в gp-диалект SQL.
- Понимание специфики Greenplum (распределенные вычисления, партиционирование, оптимизация под MPP-архитектуру).

Будет плюсом:
- Навыки миграции с T-SQL (MS SQL) на Greenplum

📩Для отклика писать в личные сообщения Показать контакты
Прикрепляйте сразу CV