Загружаем источник...Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Data Engineer в Корпоративное хранилище
#удаленка
Компания: Wildberries
🔹Что нужно делать
-Обеспечивать стабильную, производительную и безопасную работу Data Platfrorm на базе Trino, Spark, S3 и Apache Iceberg, включая администрирование и управление ролевой моделью доступа, документирование изменений в проекте;
-Настраивать, обновлять, мониторить и тюнить кластера Trino;
-Настраивать коннекторы (Iceberg, S3);
-Оптимизировать производительность запросов (resource groups, query analysis);
-Оптимизировать производительность Iceberg (partitioning, clustering, metadata management);
-Разрабатывать и внедрять централизованные ролевые модели для доступа к данным и ресурсам платформы;
🔹Какой опыт и знания нужны
-Обладаете пониманием взаимодействия Spark с Iceberg и S3;
-Имеете опыт эксплуатации Apache Iceberg (администрирование таблиц в формате Iceberg, настройка и использование Hive Metastore);
-Обладаете пониманием и применением: compaction, expiration snapshots, time travel, schema evolution;
-Имеете навыки Linux, Bash, Python для автоматизации;
-Обладаете опытом управления политиками доступа и правами доступа через Ranger в S3 и Iceberg:
-Имеете опыт разработки и внедрения централизованной ролевой модели для доступа к данным и ресурсам платформы.
Контакты: ?
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
#удаленка
Компания: Wildberries
🔹Что нужно делать
-Обеспечивать стабильную, производительную и безопасную работу Data Platfrorm на базе Trino, Spark, S3 и Apache Iceberg, включая администрирование и управление ролевой моделью доступа, документирование изменений в проекте;
-Настраивать, обновлять, мониторить и тюнить кластера Trino;
-Настраивать коннекторы (Iceberg, S3);
-Оптимизировать производительность запросов (resource groups, query analysis);
-Оптимизировать производительность Iceberg (partitioning, clustering, metadata management);
-Разрабатывать и внедрять централизованные ролевые модели для доступа к данным и ресурсам платформы;
🔹Какой опыт и знания нужны
-Обладаете пониманием взаимодействия Spark с Iceberg и S3;
-Имеете опыт эксплуатации Apache Iceberg (администрирование таблиц в формате Iceberg, настройка и использование Hive Metastore);
-Обладаете пониманием и применением: compaction, expiration snapshots, time travel, schema evolution;
-Имеете навыки Linux, Bash, Python для автоматизации;
-Обладаете опытом управления политиками доступа и правами доступа через Ranger в S3 и Iceberg:
-Имеете опыт разработки и внедрения централизованной ролевой модели для доступа к данным и ресурсам платформы.
Контакты: ?
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Текст вакансии взят без изменений
Источник -