Вакансия из Telegram канала - Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Data Engineer (Премиальные решения)
#гибрид
Компания: Сбер
🔹Обязанности
-Разработка, оптимизация и сопровождение масштабных ETL/ELT pipeline-процессов на Hadoop и Greenplum для обработки больших данных;
-Интеграция и объединение данных из множества внутренних и внешних источников, включая потоки данных (Kafka), в единое хранилище (Hadoop);
-Проектирование и развитие корпоративного хранилища данных на базе Greenplum и Hadoop: создание витрин данных для аналитики и отчётности, оптимизация существующих таблиц и запросов;
-Автоматизация и оркестрация процессов обработки данных;
-Обеспечение надежности, отказоустойчивости и качества данных в рабочих контурах: мониторинг производительности, выявление узких мест и их устранение;
-Взаимодействие с бизнес- и ИТ-командами для уточнения требований к данным и совместной реализации проектов.
🔹Требования
-Опыт работы в роли Data Engineer (или аналогичной) от 2 лет;
-Уверенное владение SQL: написание сложных запросов, оптимизация производительности, понимание принципов проектирования баз данных и организации хранилищ данных;
-Практическое применение технологий Big Data: Hadoop (HDFS, YARN), Apache Spark (написание и запуск jobs), а также с системами хранения/обработки данных вроде Hive, Impala или Greenplum;
-Опыт использования систем оркестрации и планировщиков задач (Apache Airflow, Oozie или аналогичные) для построения ETL/ELT процессов;
-Знание инструментов контейнеризации и облачной оркестрации (Docker, Kubernetes) и опыт работы с потоковыми данными (Kafka или аналогичные платформы);
-Понимание принципов распределенных вычислений, высоконагруженных систем и обработки больших объемов данных;
-Английский язык на уровне, достаточном для чтения технической литературы и документации.
Контакты:
IT Jobs 💬 в Telegram | 💙 в VK | 💬
#гибрид
Компания: Сбер
🔹Обязанности
-Разработка, оптимизация и сопровождение масштабных ETL/ELT pipeline-процессов на Hadoop и Greenplum для обработки больших данных;
-Интеграция и объединение данных из множества внутренних и внешних источников, включая потоки данных (Kafka), в единое хранилище (Hadoop);
-Проектирование и развитие корпоративного хранилища данных на базе Greenplum и Hadoop: создание витрин данных для аналитики и отчётности, оптимизация существующих таблиц и запросов;
-Автоматизация и оркестрация процессов обработки данных;
-Обеспечение надежности, отказоустойчивости и качества данных в рабочих контурах: мониторинг производительности, выявление узких мест и их устранение;
-Взаимодействие с бизнес- и ИТ-командами для уточнения требований к данным и совместной реализации проектов.
🔹Требования
-Опыт работы в роли Data Engineer (или аналогичной) от 2 лет;
-Уверенное владение SQL: написание сложных запросов, оптимизация производительности, понимание принципов проектирования баз данных и организации хранилищ данных;
-Практическое применение технологий Big Data: Hadoop (HDFS, YARN), Apache Spark (написание и запуск jobs), а также с системами хранения/обработки данных вроде Hive, Impala или Greenplum;
-Опыт использования систем оркестрации и планировщиков задач (Apache Airflow, Oozie или аналогичные) для построения ETL/ELT процессов;
-Знание инструментов контейнеризации и облачной оркестрации (Docker, Kubernetes) и опыт работы с потоковыми данными (Kafka или аналогичные платформы);
-Понимание принципов распределенных вычислений, высоконагруженных систем и обработки больших объемов данных;
-Английский язык на уровне, достаточном для чтения технической литературы и документации.
Контакты:
IT Jobs 💬 в Telegram | 💙 в VK | 💬
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Текст вакансии взят без изменений
Источник -