Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Data Engineer (Цифровые Валюты) (Hadoop/Spark): Разработка вычислительных процессов, структур хранения, витрин данных и ETL-процессов для расчёта финансовых резервов и обработки торговых операций с акцентом на качество, доступность и производительность данных. Фокус на оптимизации распределённых вычислений, устранении узких мест в ETL и работе с большими массивами информации.
Локация: Москва. После прохождения испытательного срока — гибридный график: два дня в неделю в офисе, остальные дни удалённо.
Компания
СБЕР — банк, использующий данные о торговых операциях и позициях для управления финансовыми рисками и формирования резервов.
Что делать
- Разрабатывать вычислительные процессы, структуры хранения и витрины данных.
- Создавать и поддерживать ETL-процессы на Hadoop с использованием Spark, Hive и HDFS.
- Анализировать и оптимизировать ETL-процессы, устранять узкие места и повышать эффективность обработки больших массивов данных.
- Обеспечивать качество и доступность данных, сопровождать бизнес- и команды разработки по нестандартным запросам.
- Развивать компетенции в финансовой сфере и внедрять инновационные подходы.
Требования
- От 3 до 6 лет опыта работы.
- Уверенное владение SQL, включая оконные функции, CTE и оптимизацию запросов.
- Опыт работы с Apache Spark, PySpark или Spark SQL, Hadoop/HDFS, партиционированием и распределёнными вычислениями.
- Понимание устройства и принципов проектирования хранилищ данных, опыта работы с большими объёмами данных и оптимизации процессов.
- Промышленный опыт создания ETL-процессов и общее представление об архитектуре искусственного интеллекта и машинного обучения.
- Знание Git, Bitbucket, Gradle и Jenkins; способность настраивать задачи и писать pipelines.
- Свободное чтение технической документации на английском языке, способность разбираться в существующем коде, проводить ревью и предоставлять конструктивную обратную связь.
- Готовность оперативно переключаться между задачами и взаимодействовать с несколькими функциональными системами.
Хорошо, если есть
- Владение Scala или Python, понимание Java или Kotlin.
- Умение использовать языковые модели и применять их на практике.
Культура и преимущества
- Полная занятость и гибкий график с удалённой работой после испытательного срока.
- Регулярный пересмотр зарплаты и возможность получения годовой премии.
- Доступ к обучению в СберУниверситете для профессионального и карьерного роста.
- Расширенная медицинская страховка, выгодные условия ипотеки и скидки на подписки.
- Возможность рекомендовать коллег и получать бонусы.
Будьте осторожны
Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →
Музыка
Осень
Поддержка