Data Engineer

Подробное описание вакансии:

Нажмите, чтобы развернуть...

Мы ищем в свою команду инициативного Data Engineer для разработка и поддержания инфраструктуры данных для большого проекта озера данных, включающего себя сложные сценарии приема и обработки данных из разных источников.

Обязанности
- разработка и поддержание парсеров
- автоматизация обработки и преобразования данных
- отладка и мониторинг конвейеров данных

Требования
- знание основных библиотек Python для работы с данными
- опыт обработки и скрейпинга/парсинга сложных и слабоструктурированных документов в форматах pdf, doc, docx, xls, xlsx
- опыт работы автоматизации конвейеров данных и знание соответствующих программных инструментов
- представление об управлении качеством данных
- представление о возможностях отладки мониторинга
- понимание специфики форматов данных (JSON lines, Parquet, XML, CSV и тд.)
- понимание методов получения и поставки данных (как, например, S3, REST API, SOAP, RPC)
- знание английского языка на уровне, достаточном для чтения технической документации
- знание Git
- готовность осваивать новые технологии и разрабатывать индивидуальные технические решения под поставленные задачи

Будет плюсом
- опыт работы с данными из открытых источников и понимание их специфики
- опыт долгосрочного поддержания работы парсеров
- опыт работы с библиотеками Python для computer vision

Что предлагаем
- Проект только стартовал — мало легаси, много свободы для экспериментов
- Можно влиять на выбор технологий и архитектурных решений

Дополнительная информация
Оформление по ТК РФ