Data Engineer (Trino/Spark)

TL;DR

Data Engineer (Trino/Spark): Обеспечение стабильной и производительной работы платформы данных на базе Trino, Spark, S3 и Apache Iceberg с акцентом на администрирование, управление доступом и оптимизацию запросов. Фокус на настройке кластеров, управлении метаданными Iceberg и внедрении централизованных ролевых моделей доступа.

Компания

Объединенная технологическая компания Wildberries и Russ, лидер рынка e-commerce и наружной рекламы.

Что делать

• Обеспечивать стабильную и безопасную работу Data Platform на базе Trino, Spark, S3 и Apache Iceberg.
• Администрировать, обновлять и мониторить кластеры Trino, включая оптимизацию производительности запросов.
• Оптимизировать работу с Iceberg, включая управление партиционированием, кластеризацией и метаданными.
• Разрабатывать и внедрять централизованные ролевые модели доступа к данным и ресурсам платформы.
• Настраивать коннекторы для интеграции с Iceberg и S3.
• Документировать изменения в проекте и управлять политиками доступа через Ranger.

Требования

• Опыт работы от 3 лет в области инженерии данных.
• Глубокое понимание взаимодействия Spark с Iceberg и S3.
• Опыт эксплуатации Apache Iceberg, включая администрирование таблиц и работу с Hive Metastore.
• Навыки работы с Linux, Bash и Python для автоматизации задач.
• Опыт управления правами доступа через Ranger в S3 и Iceberg.
• Опыт администрирования Greenplum или ClickHouse.

Культура и преимущества

• Корпоративный пакет ДМС со стоматологией и консультации психолога.
• Обучение в собственном корпоративном университете и языковые клубы.
• Гибкий подход к работе и программы поддержки семей сотрудников.
• Бесплатное питание в офисе и современная корпоративная техника.
• Развитое внутреннее сообщество (футбол, йога, шахматы, клуб спикеров).