Prompt-инженер (Python/LLM)

Локация: можно работать удалённо; также доступны офисы с зонами коворкинга.

Компания

SimbirSoft разрабатывает IT-решения для крупных проектов из разных отраслей и объединяет более 1500 разработчиков.

Что делать

• Прототипировать, тестировать и контролировать качество решений на базе LLM.
• Настраивать поведение моделей с помощью промптов, контекста, параметров, structured outputs, tool calling и архитектур LLM-пайплайнов.
• Совместно с продактами проектировать диалоговые сценарии и интегрировать LLM в продукты с разработчиками.
• Создавать golden-сеты, валидационные выборки, метрики, бенчмарки и настраивать llm-as-a-judge.
• Разрабатывать инструкции для разметчиков, участвовать в разметке и анализировать качество данных.
• Анализировать логи, трейсы и пользовательский фидбек в продакшене, улучшая качество ассистентов.

Требования

• 1–3 года опыта решения реальных бизнес-задач с использованием LLM, включая цепочки промптов, structured outputs и диалоговых ассистентов.
• Хорошее знание Python и опыт работы с Jupyter, pandas и matplotlib.
• Опыт работы с SQL и данными: сбор датасетов и проведение аналитики.
• Опыт использования OpenAI API и аналогичных сервисов.
• Понимание тестирования и регрессионной проверки промптов, offline-метрик, human evaluation, llm-as-a-judge и A/B-тестирования.

Хорошо, если есть

• Опыт автоматической оптимизации промптов, включая GEPA.
• Опыт построения golden-датасетов, организации разметки и автоматизации эвалуаций.
• Знание DeepEval, LangFuse, MlFlow, LangSmith или других инструментов валидации и observability.
• Опыт работы с LangGraph, LangChain и аналогичными фреймворками оркестрации LLM.
• Опыт построения агентных систем и RAG.

Культура и преимущества

• Работа в команде экспертов над проектами из разных отраслей.
• Гибкий график и развитые процессы удалённой работы.
• Наставничество, корпоративная сертификация, участие в конференциях и изучение английского языка.
• Внутренние и внешние митапы, хакатоны, доклады и профессиональные сообщества.
• Возможность развиваться в направлениях тимлида, архитектора и full-stack-разработки.