Senior Data/Lineage Engineer (MedTech)

Локация: удалённая работа из России; необходимо синхронизировать тайм-зоны и иметь пересечения рабочего времени с командой

Компания

Техническая команда, занимающаяся продуктовой разработкой стартапов, цифровой трансформацией и сложными наукоёмкими проектами для клиентов в России, США и Европе.

Что делать

• Исследовать источники данных, lineage-теги, выходные схемы и сценарии потери доступных артефактов.
• Проектировать устойчивую идентичность сущностей и целевой compound registry с соответствием InChIKey и internal id.
• Версионировать output_schema и extractors для научных пайплайнов Vina, OpenFE, ADMET, Lilly, triage, nomination и MADD.
• Настраивать lineage между стадиями через OpenLineage или эквивалент, а также реализовать audit exporter без второго журнала статусов.
• Ввести QC артефактов в MinIO/S3 и перевести downstream-получение входов на идентификаторы и ссылки s3://.
• Согласовывать контракты схем, автоматизировать инварианты тестами и передавать документацию внутренней команде.

Требования

• Уверенное владение Python, SQL и PostgreSQL, включая миграции и Row-Level Security.
• Опыт построения пайплайнов, где объектное хранилище является source of truth.
• Практический опыт работы с data contracts, schema evolution и data lineage.
• Опыт работы с файловыми и бинарными артефактами, а также проектирования устойчивой идентичности сущностей.
• Умение фиксировать инварианты тестами и передавать решения внутренней команде.
• Уровень Senior и опыт от 3 до 6 лет.

Хорошо, если есть

• OpenLineage, Marquez или DataHub.
• MLOps или научные пайплайны с ClearML, MLflow, Flyte, Nextflow или Airflow.
• RDKit, SDF, Parquet и JSON Schema.
• Опыт работы в on-prem или air-gap окружениях.

Культура и преимущества

• Удалённая фултайм-работа с мягким графиком и работой над одним проектом без постоянных переключений.
• Онбординг, 1:1, Grow Review, наставничество и возможность менять проекты.
• Годовой бюджет на ДМС, здоровье, спорт, технику, обучение, языковые курсы и конференции.
• Митапы, внутренняя библиотека, поддержка выступлений, публикаций и Open Source-контрибьюций.
• Ежегодный командный фестиваль и тематические встречи в разных городах.