aiazureetldbtsparkdata pipelinesdata qualitydata governanceazure databricksdelta lake
Описание вакансии
TL;DR
Senior Data Engineer (Azure Databricks): проектирование и поддержка многоуровневых пайплайнов данных с акцентом на качество и управление данными. Фокус на обеспечении надежности процессов в рамках долгосрочного проекта в фармацевтической отрасли.
Senior Data Engineer (Azure Databricks)
Зарплата: 4 500 – 5 000 $/месяц
Локация: Remote, только EU
Что делать:
Строить и поддерживать multi-layer пайплайны на Azure Databricks.
Оркестрировать через Databricks Jobs/Workflows (зависимости, ретраи, алерты).
Работать с dbt (observability, governance).
Обеспечивать schema enforcement, schema drift, data quality checks.
Мониторить SLA, data freshness, pipeline health.
Соблюдать data governance (audit trails, lineage, data contracts, segregation of duties).
Требования:
Must-have: Azure Databricks (Spark, Delta Lake), multi-layer pipelines, schema drift, data quality, Databricks Jobs/Workflows, batch + API ingestion, dbt, monitoring/SLA, alerts/retries, data governance (audit trails, lineage, data contracts, segregation of duties), EU residency, English B2+.
Nice-to-have: CI/CD for Data, MLOps on Databricks, GxP/clinical trials, advanced SQL/dbt, dimensional modeling, Power BI, pharma/biotech experience.
Условия работы:
Remote, EU only, full-time, long-term project.
Клиент - компания из Дании.
Роль — senior, independent (минимум надзора, self-driven).
Работа напрямую с клиентом и командой из Дании.
О компании:
Valletta Software Development - это международная IT-компания полного цикла, специализирующаяся на разработке программного обеспечения и аутстаффинге. Компания основана в 2009 году и имеет юридическую регистрацию на Мальте.
Вакансия размещена на Hirify напрямую от HR/нанимающего менеджера