Data Engineer

#middle #удаленка

Aston
Data Engineer / Дата инженер
Опыт работы: 3–6 лет
Полная занятость
График: 5/2
Формат работы: удалённо

☑️ Чем предстоит заниматься
-реализовывать высоконагруженные конвейеры обработки данных для обеспечения надежной и бесперебойной репликации данных из ИТ-систем
-реализовывать комплексные задачи по подготовке данных в целевых аналитических хранилищах (DataLake, SandBox, FeatureStore) для построения признаков, необходимых для разработки моделей машинного обучения
-разрабатывать и поддерживать в актуальном состоянии документацию по разработанному функционалу
-своевременно отражать статусы выполнения задач в Jira
-проверять качество кода, написанного инженерами данных

☑️ Наши пожелания к кандидатам
-опыт работы в роли Data Engineer от 4-х лет
-отличные знания Python: структуры данных и алгоритмов, ООП и функциональное программирование
-опыт написания модульных и интеграционных тестов, знание и опыт применения NumPy, Pandas
-опыт разработки и внедрения в промышленную эксплуатацию сервисов загрузки и обработки неструктурированных данных (текст, xml, json) из внешних источников
-способность разобраться с API поставщиков данных, используя доступную документацию
-отличное знание SQL: сложные запросы с использованием аналитических оконных функций, инструменты профилирования для оптимизации их производительности
-опыт работы с БД Oracle, Postgres, Greenplum
-опыт работы с инструментами разработки, планирования и мониторинга рабочих процессов (workflow engines) пакетной обработки данных Airflow
-опыт разработки сложных, высоконагруженных приложений обработки данных на основе PySpark
-опыт работы с Apache Kafka: продюсеры/консьюмеры на Python, consumer groups
-опыт разработки сервисов потоковой обработки данных с использованием инструментов Spark Structured Streaming, Flink
-опыт работы с Flink

Контакты: / Telegram Показать контакты

🔥 /