Senior Data Engineer

TL;DR

Senior Data Engineer (Data Infrastructure): Разработка и сопровождение ETL-процедур и развитие корпоративного хранилища данных с акцентом на проектирование архитектуры БД и производительность пайплайнов. Фокус на создании сложных DAG-ов в Airflow, работе со Spark и контейнеризации процессов с использованием Docker и Kubernetes.

Локация: Москва. Возможна удаленная работа (в пределах РФ).

Компания

Cloud.ru — облачный провайдер, предлагающий широкий спектр инфраструктурных и платформенных сервисов для бизнеса.

Что делать

• Разрабатывать и поддерживать ETL-процедуры для загрузки данных.
• Участвовать в развитии корпоративного хранилища данных.
• Проектировать архитектуру баз данных и приложений.
• Создавать и настраивать DAG-ы в Airflow.
• Разрабатывать и оптимизировать решения с использованием Spark.
• Работать с Docker-образами и Helm-чартами для Kubernetes.

Требования

• Уверенное владение SQL и Python.
• Опыт проектирования баз данных и приложений.
• Опыт разработки DAG-ов в Airflow.
• Практический опыт работы со Spark.
• Умение создавать Docker-образы и работать с Kubernetes.
• Опыт работы на лидерской позиции от одного года.
• Навыки работы с системой контроля версий Git.