Data Engineering Team Lead (Python)

Подробное описание вакансии:

Нажмите, чтобы развернуть...

Проект: Крупное озеро данных (Data Lake) со сложными сценариями приёма и обработки данных из множества источников. Проект на старте — нет тяжёлого легаси, много пространства для технических экспериментов и выбора оптимальных решений.

Обязанности
- руководить командой дата-инженеров (код-ревью, постановка задач, развитие)
- проектировать конвейеры и инфраструктуру данных
- разрабатывать и поддерживать парсеры (PDF, doc, docx, xls, xlsx)
- автоматизировать обработку и преобразование данных
- настраивать мониторинг и отладку конвейеров

Требования
- Опыт руководства командой (формального или неформального) — код-ревью, постановка задач - от 5 лет
- Глубокое знание Python и основных библиотек для работы с данными (pandas, numpy и др.)
- Опыт парсинга/скрейпинга сложных слабоструктурированных документов (PDF, doc, docx, xls, xlsx)
- Опыт построения конвейров данных с использованием оркестраторов Dagster
- Понимание управления качеством данных (Data Quality)
- Понимание мониторинга и отладки конвейеров (логи, метрики, алерты)
- Знание форматов данных: JSON lines, Parquet, XML, CSV
- Понимание методов получения/поставки данных: S3, REST API, SOAP, RPC
- PostgreSQL — уверенное знание
- Git — ветвление, ревью, merge-стратегии
- Английский язык — чтение технической документации

Будет плюсом
- Опыт работы с данными из открытых источников (open data)
- Опыт долгосрочного поддержания работы парсеров

Дополнительная информация
Оформление по ТК РФ