Вакансия из Telegram канала - Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
TL;DR
DA Lead (AI): Построение и оптимизация методологии оценки качества AI-пайплайнов и данных с акцентом на RAG, LLM, OCR, online/offline-метрики и регрессионное тестирование. Фокус на автоматизации data-циклов, выявлении проблем в production, A/B-тестировании и руководстве командой аналитиков, data-менеджеров и разметчиков.
DA LEAD В СБЕР, Москва
Обязанности:
Создавать и оптимизировать подходы к оценке качества моделей и AI-пайплайнов (RAG, LLM, OCR)
Построение online/offline метрик качества, написание методологий оценки для мониторинга качества и регрессионного тестирования
Проводить эксперименты, проверять гипотезы по улучшению текущих AI-решений
Выявлять уязвимости в качестве в AI-пайплайнах и оперативно предлагать решения для устранения проблем в production (проводить A/B-тестирования)
Отвечать за качество данных и методологию их подготовки для AI/ML-проектов
Поддержка и оптимизация полного цикла работы с данными: сбор, хранение датасетов, разметка, авто-разметка (LLM-as-a-judge), валидация
Автоматизация data-циклов: сбор данных, разметка, подсчет метрик, оценка качества
Совместно с ML-инженерами определять требования к моделям и к данным (состав, объем и качество датасетов)
Руководить командой Data-аналитиков, Data-менеджеров, разметчиков
Говорить на одном языке с «бизнесом» и ML-инженерами: сбор и анализ бизнес-требований, понимание применимости и ограничений AI
Требования:
Любить data-driven подход)
Кросс-функциональное уметь разговаривать с DS и разработчиками
Python, SQL, уверенный vibe-coding
Понимание процесса деплоя моделей
Понимание работы LLM и знание понятий типа RAG, fine tuning, skills/tools, Data Governance
Знание подходов по оценке качества LLM, RAG
Знание матстата
Jira, agile итд
Soft skills (уверенный problem-solving)
Системное мышление
Будет плюсом:
Опыт построения процессов по оценке качества GenAI
Опыт работы с данными для LLM и AI-агентов
Опыт управления разметчиками
Опыт создания пайплайнов data lifecycle
Знакомство с LabelStudio, Toloka
Опыт работы с качеством разметки (consistency, honeypots, golden dataset)
Контакты:
#ЛовецВакансий #вакансия
Обязанности:
Создавать и оптимизировать подходы к оценке качества моделей и AI-пайплайнов (RAG, LLM, OCR)
Построение online/offline метрик качества, написание методологий оценки для мониторинга качества и регрессионного тестирования
Проводить эксперименты, проверять гипотезы по улучшению текущих AI-решений
Выявлять уязвимости в качестве в AI-пайплайнах и оперативно предлагать решения для устранения проблем в production (проводить A/B-тестирования)
Отвечать за качество данных и методологию их подготовки для AI/ML-проектов
Поддержка и оптимизация полного цикла работы с данными: сбор, хранение датасетов, разметка, авто-разметка (LLM-as-a-judge), валидация
Автоматизация data-циклов: сбор данных, разметка, подсчет метрик, оценка качества
Совместно с ML-инженерами определять требования к моделям и к данным (состав, объем и качество датасетов)
Руководить командой Data-аналитиков, Data-менеджеров, разметчиков
Говорить на одном языке с «бизнесом» и ML-инженерами: сбор и анализ бизнес-требований, понимание применимости и ограничений AI
Требования:
Любить data-driven подход)
Кросс-функциональное уметь разговаривать с DS и разработчиками
Python, SQL, уверенный vibe-coding
Понимание процесса деплоя моделей
Понимание работы LLM и знание понятий типа RAG, fine tuning, skills/tools, Data Governance
Знание подходов по оценке качества LLM, RAG
Знание матстата
Jira, agile итд
Soft skills (уверенный problem-solving)
Системное мышление
Будет плюсом:
Опыт построения процессов по оценке качества GenAI
Опыт работы с данными для LLM и AI-агентов
Опыт управления разметчиками
Опыт создания пайплайнов data lifecycle
Знакомство с LabelStudio, Toloka
Опыт работы с качеством разметки (consistency, honeypots, golden dataset)
Контакты:
#ЛовецВакансий #вакансия
Будьте осторожны
Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →
Текст вакансии взят без изменений
Источник -
Музыка
Осень
Поддержка