Go/Python Техлид (AI)

Локация: Москва, м. Кутузовская; гибридный или офисный формат

Компания

Сбер развивает команду Gigadata, которая собирает качественные данные для обучения передовых моделей ИИ.

Что делать

• Определять техническую стратегию и целевую архитектуру системы.
• Проектировать распределённые системы, масштабируемые от миллионов до миллиардов сущностей, включая шардирование и геораспределение.
• Создавать end-to-end пайплайны сбора данных: обнаружение URL, загрузка, парсинг, дедупликация, хранение и доставка.
• Разрабатывать критичные компоненты краулера, проводить профилирование и нагрузочное тестирование, устранять узкие места.
• Оптимизировать прокси-инфраструктуру, маршрутизацию трафика и стоимость облачной инфраструктуры; исследовать HTTP/3, QUIC, eBPF и io_uring.
• Руководить командой из 3–6 инженеров: планировать работу, проводить код-ревью и 1-1, менторить разработчиков и взаимодействовать со смежными командами.

Требования

• Знание Python и Go; коммерческий опыт разработки на обоих языках от 7 лет.
• Опыт работы не менее 2 лет в роли техлида или тимлида.
• Экспертиза в проектировании распределённых высоконагруженных систем, рассчитанных на миллионы RPS и петабайты данных.
• Глубокое понимание TCP/UDP, HTTP/1.1/2/3, TLS, DNS и QUIC, а также асинхронного и параллельного программирования.
• Опыт построения систем краулинга или аналогичных data acquisition систем, микросервисной и event-driven архитектуры.
• Практический опыт с Kafka, Redis, PostgreSQL, ClickHouse, Kubernetes, Docker, Terraform, CI/CD, облачными платформами и инструментами tcpdump, strace, perf и eBPF.

Хорошо, если есть

• Знание Rust или C++ для разработки высокопроизводительных компонентов.
• Опыт масштабного краулинга, геораспределённых систем, io_uring, eBPF и zero-copy networking.
• Опыт применения ML для оптимизации crawl-стратегий.
• Публичные выступления и публикации.

Культура и преимущества

• Участие в DS&AI community с более чем 600 специалистами.
• Возможность быть соавтором НИРов и статей для международных конференций.
• Ежегодный пересмотр зарплаты и годовая премия.
• Более 400 образовательных программ СберУниверситета.
• Расширенный ДМС, страхование семьи, корпоративная пенсионная программа и корпоративный спортзал.
• СберПрайм, скидки у компаний-партнёров и вознаграждение за рекомендации.