Middle/Senior Vision ML Engineer (VLM)

Локация: Москва, офис м. Кутузовская. Формат: работа на месте работодателя и гибридный формат.

Компания

СБЕР развивает продукт для автоматического распознавания документов на основе передовых технологий компьютерного зрения и языковых моделей.

Что делать

• Изучать SOTA-подходы к e2e OCR, data mining, SFT и RL, формировать и проверять гипотезы.
• Проводить эксперименты по обучению VLM-моделей на multi-node конфигурации и измерять метрики на внешних и внутренних бенчмарках.
• Развивать пайплайн обучения на базе accelerate и TRL: ускорять обучение, добавлять аугментации и адаптировать его под новые модели.
• Собирать и подготавливать обучающие данные в формате MarkDown, искать новые домены и писать скрипты загрузки.
• Организовывать разметку датасетов с помощью кастомного agentic harness и внутренней платформы, а также улучшать инструменты разметки.
• Интегрировать обученные модели в сервис на базе vLLM для клиентского использования внутри банка.

Требования

• Высшее образование в математике, информатике, data science или смежной области.
• От 3 лет опыта в ML, включая не менее 1 года работы с LLM/VLM в production.
• Английский язык для чтения научных статей и документации.
• Опыт fine-tuning: SFT, LoRA/QLoRA и RL, включая DPO и GRPO.
• Знание современных движков инференса: vLLM, sgLang и Triton.
• Понимание принципов работы, дообучения и ограничений VLM.
• Опыт создания агентных пайплайнов: вызовы моделей, обработка исключений и контроль стоимости.
• Опыт разметки датасетов асессорами или автоматическими инструментами.
• Уверенное программирование на Python с практиками тестирования, code review и code style; код должен использоваться в production.
• Готовность иногда взаимодействовать с многочисленными банковскими контрагентами.

Хорошо, если есть

• Опыт Python-бэкенд-разработки: FastAPI, асинхронность, очереди, PostgreSQL и векторные хранилища.
• Опыт работы с разметчиками и контрагентами.
• Публикации, доклады или вклад в open source.

Культура и преимущества

• Комфортный современный офис и гибридный формат работы.
• Ежегодный пересмотр зарплаты и годовой бонус.
• Корпоративный спортзал, зоны отдыха и расширенный ДМС, включая льготное страхование семьи.
• Более 400 образовательных программ СберУниверситета, корпоративная пенсионная программа и ипотечная льгота.
• Подписка Прайм с возможностью совместного использования, а также вознаграждение за рекомендации сотрудников.