Data Acquisition Tech Lead (GigaChat)

Локация: Москва, гибридный формат — 2 дня в офисе и 3 дня удалённо.

Зарплата: от 700 000 ₽ в месяц до вычета налогов; предусмотрены годовая премия и ежегодный пересмотр зарплаты.

Компания

Разработка языковых моделей нового поколения и систем сбора данных для их обучения.

Что делать

• Проектировать и развивать масштабируемую инфраструктуру веб-краулинга для обработки миллиардов страниц на разных языках и из разных доменов.
• Развивать пайплайны загрузки, преобразующие сырой контент в структурированные, дедуплицированные и обогащённые метаданными датасеты.
• Разрабатывать алгоритмы планирования и приоритизации краулинга с учётом актуальности, покрытия, разнообразия данных и ограничений ресурсов.
• Создавать системы поиска и индексирования полного корпуса данных для исследователей и инженеров.
• Определять схемы, сигналы качества и интерфейсы передачи данных между этапами сбора и подготовки.
• Обеспечивать наблюдаемость систем, вести архитектурные обсуждения, участвовать в code review и менторить инженеров.

Требования

• Высшее образование в области computer science, математики или смежной области.
• Не менее 6 лет опыта в разработке ПО, включая минимум 3 года создания масштабных распределённых систем.
• Глубокая экспертиза в веб-краулинге, скрейпинге или информационном поиске в масштабе миллиардов документов.
• Уверенное владение Python, Go или C++, опыт работы с Kubernetes или аналогичными системами оркестрации.
• Практический опыт с распределёнными системами хранения, key-value- или документоориентированными базами данных, сетевыми протоколами и веб-стандартами.
• Опыт ведения сложных технических инициатив от архитектуры до production-эксплуатации и способность быть техническим лидером команды.

Хорошо, если есть

• Опыт работы с YTSaurus.
• Опыт эксплуатации веб-краулеров петабайтного масштаба.
• Опыт в NLP, извлечении текста или определении языка для многоязычных корпусов.
• Опыт менторинга и неформального лидерства в сильной технической команде.

Культура и преимущества

• Ресурсные кластеры YTSaurus: десятки петабайт и десятки тысяч ядер.
• Современный офис рядом с метро «Кутузовская», корпоративный спортзал и зоны отдыха.
• ДМС с первого дня работы и страхование для семьи.
• Система обучения для профессионального и карьерного развития.
• Льготная ипотечная программа, бесплатная подписка СберПрайм+ и скидки у компаний-партнёров.
• Вознаграждение за рекомендации сотрудников.