Data Engineer (Senior)

Подробное описание вакансии:

Нажмите, чтобы развернуть...

🚀 Вакансия: Data Engineer (Senior) · ID: 83678
📍 Локация: РФ,РБ
🕐 Часовой пояс: МСК
🏢 Клиент: Крупная ритейл-компания
💰 Оплата: В течение 25 рабочих дней после подписания акта
🧩 О проекте:
Развитие архитектуры хранилища данных (DWH), проектирование потоков данных и оптимизация производительности систем в крупном ритейле.

Обязанности
- Проектирование и разработка потоков данных на ETL/ELT инструментах;
- Имплементация кастомных трансформаций данных;
- Проектирование и построение прототипов и витрин данных;
- Анализ производительности и масштабирование существующих систем;
- Оптимизация SQL-запросов и структур баз данных;
- Разработка процедур на языке PL/pgSQL;
- Развитие архитектуры DWH, анализ и выбор оптимальных технологий и инструментов;
- Создание и актуализация базы знаний для пользователей DWH.

Требования
- Python: Опыт работы от 3-х лет (рассматриваются сильные backend-разработчики, активно использующие Python).
- Базы данных: Опыт работы с ClickHouse;
- Базы данных: Опыт работы с Greenplum либо отличное знание PostgreSQL;
- Базы данных: Глубокое знание SQL (DDL, DML), опыт оптимизации запросов;
- Базы данных: Понимание архитектур MPP-систем.
- Big Data & ETL: Навыки работы с экосистемой Hadoop (HDFS/YARN/Spark), Kafka, Nifi, Sqoop, Flume и др.
- Принципы DWH: Знание принципов построения хранилищ данных.
- Инструменты: Git, Jira, Confluence.
- Мониторинг: Опыт сопровождения и мониторинга информационных систем.

Дополнительная информация
Часовой пояс: МСК. Оплата в течение 25 рабочих дней после подписания акта.