Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
TL;DR
Senior Data Engineer (Fintech, AI): Разработка платформы конфиденциального машинного обучения и высоконагруженных сервисов данных с акцентом на MLOps/autoML платформы и миграцию сервисов. Фокус на проектировании структур хранения данных, разработке промышленных сервисов распределенной обработки данных и оптимизации производительности.
Локация: Можно работать удалённо из России или в офисе в Москве.
Компания
Компания разрабатывает платформу конфиденциального машинного обучения и высоконагруженные сервисы данных, используемые в банковском секторе России.
Что делать
- Разрабатывать MLOps/autoML платформы.
- Мигрировать сервисы платформы на новые версии библиотек Scala/Spark.
- Проектировать структуры хранения и представления данных.
- Разрабатывать промышленные сервисы распределенной обработки данных для платформы машинного обучения.
- Анализировать производительность и масштабировать продукты под возрастающую нагрузку.
- Писать юнит и интеграционные тесты, проводить code review.
Требования
- Опыт разработки на Scala от 2 лет.
- Опыт работы со Spark.
- Понимание принципов оптимизации обработки данных (форматы хранения, принципы работы join).
- Понимание архитектуры и принципов работы Spark-приложений.
- Навык работы с Docker, Kubernetes.
Хорошо, если есть
- Опыт работы со SparkML.
- Знания особенностей Spark разных версий.
- Опыт проектирования или работы с современными MLOps платформами.
- Понимание принципов обучения ML-моделей.
- Знание Python.
- Опыт работы с базами данных Cassandra, Scylla etc.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Текст вакансии взят без изменений
