Менеджер по качеству данных (AI)

Локация: удалённый формат работы

Компания

2ГИС создаёт датасеты для ML-моделей, которые распознают дорожные знаки, здания на спутниковых снимках, типы фотографий и оценивают привлекательность контента.

Что делать

• Проектировать, запускать и поддерживать процессы сбора, обработки, разметки и валидации данных.
• Формулировать требования к датасетам совместно с командами Computer Vision, NLP и AI.
• Определять критерии качества, организовывать проверки разметки, анализировать ошибки и находить узкие места.
• Оценивать качество, скорость и стоимость подходов к разметке, проводить эксперименты и принимать решения на основе результатов.
• Использовать LLM и другие инструменты автоматизации, развивать типовые пайплайны и масштабировать успешные решения.
• Работать с асессорами и заказчиками, писать инструкции, правила разметки и промпты для LLM, а также поддерживать датасеты после запуска.

Требования

• Опыт работы с краудсорсинговыми проектами, разметкой данных или контролем качества разметки.
• Умение декомпозировать неопределённые задачи на измеримые процессы с правилами, критериями приёмки и метриками качества.
• Навыки оценки качества, скорости и стоимости различных подходов к разметке.
• Python на уровне анализа данных, подготовки выборок и написания скриптов автоматизации.
• Умение формулировать и тестировать промпты для LLM, оценивать результаты и учитывать ограничения такого подхода.
• Навыки ведения нескольких задач, расстановки приоритетов и понятной коммуникации со всеми участниками.

Хорошо, если есть

• Знание принципов машинного обучения и жизненного цикла ML-моделей.
• Опыт работы с датасетами для Computer Vision, NLP или генеративного AI.
• Знание HTML, CSS и JavaScript.
• Опыт разработки или доработки внутренних инструментов для разметки, валидации или контроля качества данных.
• Опыт работы с метриками качества разметки, inter-annotator agreement, аудитами ошибок или активным обучением.

Культура и преимущества

• Удалённый формат работы.
• Задачи на стыке данных, процессов, качества и машинного обучения.
• Возможность работать с новыми типами ML-задач и развивать системные решения.