Разработчик в команду построения поисковой базы (C++)

Локация: Москва, офисный или гибридный формат работы

Компания

Разработка поисковой инфраструктуры Яндекса, которая формирует индексы и доставляет данные в Яндекс Поиск.

Что делать

• Проектировать архитектуру и разрабатывать сервисы потокового построения основной базы Поиска.
• Переводить построение базы объёмом в несколько сотен миллиардов документов с MapReduce на event-driven-архитектуру.
• Развивать поисковые индексы и внедрять доставку новых данных совместно с командами качества и рантайма Поиска.
• Разрабатывать и улучшать сервисы для фавиконок, определения зеркал и дублей веб-страниц, а также обработки пользовательских факторов ранжирования.
• Повышать отказоустойчивость сервисов, оптимизировать потребление памяти и улучшать точность алгоритмов.

Требования

• От 3 лет опыта разработки.
• Хорошее знание C++, базовых алгоритмов и структур данных.
• Знание паттернов и идиом построения программного обеспечения.
• Умение писать надёжный и читаемый многопоточный код.

Хорошо, если есть

• Опыт работы с большими данными.
• Опыт построения распределённых систем потоковой обработки данных.
• Знакомство с Python.

Культура и преимущества

• Работа с десятками тысяч вычислительных ядер и десятками петабайт данных.
• Использование потоковых фреймворков, распределённых персистентных очередей, KV-storage, MapReduce и YT.
• Возможность влиять на скорость доставки данных и эффективность поисковой инфраструктуры.