Senior Data Engineer (Microsoft Fabric)

#vacancy #remote #dataengineering #microsoftfabric #azure #python #pyspark #sql

Senior Data Engineer

Локация: удаленно (Великобритания / Нидерланды)
Зарплата: $5,000–9,000 gross

Требования:
▫️Data Platform: Microsoft Fabric (OneLake, Data Factory, Synapse Data Engineering / Data Warehouse)
▫️Data Engineering: Apache Spark / PySpark, Azure Data Factory, Dataflow Gen2, ETL/ELT
▫️Programming: Python, SQL / T-SQL
▫️Architecture & Storage: Lakehouse / DWH, Medallion Architecture (Bronze / Silver / Gold), Delta Lake / Parquet
▫️Cloud: Microsoft Azure, AWS S3 / GCP, Fabric Shortcuts
▫️DevOps: Git, Azure DevOps / GitHub Actions, Docker, CI/CD
▫️Data Analytics: Data Marts, relational data modeling, Power BI - буде преимуществом
▫️Английский: В2+

Основные задачи:
▫️Архитектура Lakehouse / DWH
Проектирование и построение end-to-end архитектуры хранилища данных с нуля в среде Microsoft Fabric. Реализация многоуровневой архитектуры хранения данных по модели Medallion — Bronze, Silver, Gold — на основе Delta Lake (Parquet).
▫️Разработка ETL/ELT-пайплайнов
Создание и поддержка надёжных и отказоустойчивых pipelines для интеграции данных с использованием Azure Data Factory и Dataflow Gen2. Настройка подключений к внешним облачным источникам AWS S3 / GCP через Fabric Shortcuts.
▫️Обработка больших данных
Разработка и оптимизация высокопроизводительного распределённого кода на PySpark для очистки данных, сложных трансформаций и агрегации больших объёмов информации.
▫️Проектирование Data Marts и работа с T-SQL
Проектирование реляционных моделей данных и аналитических представлений в Synapse Data Warehouse. Оптимизация сложных T-SQL-запросов для достижения минимальной задержки.
▫️Автоматизация и CI/CD
Настройка процессов Continuous Integration и Continuous Deployment с использованием Azure DevOps / GitHub Actions для автоматизации развёртывания инфраструктуры DWH, схем и кода.

Пишите в Telegram: Показать контакты