Senior Data Engineer (AI)

Senior Data Engineer (AI)

Локация: РФ
Формат: Удалённо или офис в городах присутствия.

О клиенте: Крупный российский банк

О проекте: Разработка ассистента на базе LLM с подготовкой корпоративного контекста и прототипированием решений

Задачи:

• Готовить данные и корпоративный контекст для прототипирования ассистента: выгрузка, очистка, нормализация и объединение данных из различных источников
• Собирать PoC и технические прототипы для проверки гипотез до передачи в промышленную IT-разработку
• Реализовывать прототипы получения данных через API, SQL, файловые источники, Каталог и другие корпоративные системы
• Подготавливать данные для RAG/retrieval, тестировать поиск, сопоставление сущностей и качество получаемого контекста
• Совместно с бизнес- и data-аналитиками формировать golden dataset из реальных Discovery-кейсов и эталонных результатов
• Автоматизировать тестирование ассистента: массовый прогон сценариев, сравнение фактического результата с эталонным, фиксация ошибок
• Формировать и автоматизировать метрики качества: полнота требований, корректность найденных источников/сущностей, пропуски, hallucinations, качество retrieval
• Формировать regression-набор и проверять, что изменения логики, prompts, RAG или модели не ухудшают ранее работающие сценарии
• Анализировать результаты пилотов совместно с аналитиками и локализовывать причины ошибок: данные, retrieval, контекст, правила или реализация
• Передавать в IT проверенные прототипы, алгоритмы обработки данных, результаты экспериментов и технические требования для промышленной реализации

Требования Hard Skills:

• От 3+ лет в data engineering / автоматизации / разработке аналитических решений
• Уверенное знание Python и SQL, опыт обработки и преобразования данных
• Опыт работы с API, JSON, ETL/ELT, интеграции различных источников данных
• Понимание DWH, моделей данных, Data Quality, опыт работы с корпоративными данными
• Опыт подготовки датасетов, автоматизации проверок и анализа результатов
• Умение самостоятельно исследовать источники данных и находить способ технической реализации задачи

Требования Soft Skills:

• Умение быстро собирать PoC и прототипы для проверки технических и продуктовых гипотез

Будет плюсом:

• Понимание принципов LLM, RAG, retrieval, embeddings
• Опыт работы с AI/LLM-решениями