Data Engineer (разработчик DWH)

#гибрид #удаленка

X5 Tech
Data Engineer (разработчик DWH)
Оформление: официальное, с белой зарплатой
График: гибкий
Формат работы: гибрид или удалённо

☑️ Чем предстоит заниматься
-Сбор требований с бизнес-заказчиков и анализ источников данных
-Разработка, реализация и поддержка типовых потоковых интеграционных решений на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink
-Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение типовых задач в установленный срок
-Поддержание в актуальном состоянии документации типовых интеграционных решений платформы больших данных. Предоставление отчетности о своей деятельности руководителю

☑️ Наши пожелания к кандидатам
-Общее представление о стеке технологий Lakehouse
-Понимание различия работы между BigData/Lakehouse и с данными обычного размера
-Знание SQL (индексы, функции, оптимизация, профилирование производительности)
-Опыт работы с любой реляционной БД (Oracle, Postgres, MySQL, MsSQL, DB2 и т.п.)
-Умение работать с Git (знание команд git pull/commit/push)
-Опыт работы с DBT, Cosmos
-Представление о работе с Trino
-Понимание устройства Iceberg, форматов данных
-Понимание работы с minio или любого другого хранилища на основе S3
-Опыт использования системами ведения проектов и документации
-Знания основ программирования (JAVA, Python)

Показать контакты

🔥 /