Tech Lead Go/Python (GigaData)

Локация: Москва; доступен гибридный формат или работа в офисе работодателя.

Компания

Сбер развивает команду по сбору качественных данных для обучения передовых моделей искусственного интеллекта.

Что делать

• Определять техническую стратегию и целевую архитектуру системы.
• Проектировать распределённые системы, масштабируемые от миллионов до миллиардов сущностей, включая шардирование и геораспределение.
• Создавать end-to-end пайплайны сбора данных: обнаружение URL, загрузка, парсинг, дедупликация, хранение и доставка.
• Разрабатывать критичные компоненты краулера и выполнять performance engineering: профилирование, нагрузочное тестирование и устранение узких мест.
• Оптимизировать прокси-инфраструктуру, маршрутизацию трафика и стоимость инфраструктуры; внедрять HTTP/3, QUIC, eBPF и io_uring.
• Руководить командой из 3–6 инженеров, развивать технические стандарты, проводить code review, 1-1 и менторинг.

Требования

• Коммерческий опыт разработки на Go и Python от 7 лет, включая не менее 2 лет в роли техлида или тимлида.
• Опыт проектирования распределённых высоконагруженных систем с миллионами RPS и петабайтами данных.
• Глубокое понимание TCP/UDP, HTTP/1.1/2/3, TLS, DNS и QUIC.
• Практический опыт создания масштабных систем краулинга или аналогичных систем сбора данных.
• Опыт с асинхронным и параллельным программированием, микросервисной и event-driven архитектурой, Kafka, Redis, PostgreSQL и ClickHouse.
• Уверенное владение Kubernetes, Docker, Terraform, CI/CD, облачными платформами и инструментами troubleshooting: tcpdump, strace, perf и eBPF.

Хорошо, если есть

• Знание Rust или C++ для разработки высокопроизводительных компонентов.
• Опыт работы в поисковых системах, data aggregator-компаниях или проектах с масштабным краулингом.
• Опыт с io_uring, eBPF, zero-copy networking и геораспределёнными системами.
• Опыт применения ML для оптимизации crawl-стратегий.
• Публичные выступления и технические публикации.

Культура и преимущества

• Участие в DS&AI community, объединяющем более 600 специалистов банка.
• Доступ к дайджестам о разработках в DS&AI и материалам международных конференций.
• Возможность быть соавтором научно-исследовательских работ и статей для международных конференций.
• Ежегодный пересмотр зарплаты и годовая премия.
• Расширенный ДМС, страхование семьи, корпоративная пенсионная программа, спортзал и зоны отдыха.
• Более 400 образовательных программ СберУниверситета, подписка СберПрайм и скидки у компаний-партнёров.