TechLead Python Developer (AI)

TL;DR

TechLead Python Developer (AI): Проектирование и разработка высоконагруженных систем сбора и обработки данных для обучения моделей ИИ с акцентом на масштабируемую архитектуру и производительность сетевого стека. Фокус на создании end-to-end пайплайнов краулинга, оптимизации прокси-инфраструктуры и руководстве командой инженеров.

Локация: Москва (офис или гибрид)

Компания

Sber (GigaData) — крупнейший банк с развитым центром компетенций в области DS&AI.

Что делать

• Определять техническую стратегию и целевую архитектуру систем сбора качественных данных.
• Проектировать системы, готовые к масштабированию до миллиардов сущностей (шардирование, геораспределение).
• Разрабатывать end-to-end пайплайны: от URL discovery и fetch до дедупликации и хранения.
• Оптимизировать критичные компоненты и сетевой стек (HTTP/3, QUIC, eBPF) для максимизации throughput.
• Руководить командой из 3–6 инженеров: планирование, менторинг, code review и найм.

Требования

• Коммерческий опыт разработки на Python от 7 лет, из них не менее 2 лет в роли техлида или тимлида.
• Экспертиза в проектировании распределенных высоконагруженных систем и микросервисной архитектуры.
• Глубокое понимание сетевого стека: TCP/UDP, HTTP/1.1/2/3, TLS, DNS, QUIC.
• Практический опыт построения масштабных систем краулинга или data-acquisition.
• Владение Kafka, Redis, PostgreSQL, ClickHouse, Kubernetes, Docker и Terraform.
• Навыки глубокого troubleshooting с использованием tcpdump, strace, perf, eBPF.

Хорошо, если есть

• Знание Go, Rust или C++ для написания высокопроизводительных компонентов.
• Опыт работы в поисковых системах или крупных дата-агрегаторах.
• Опыт работы с io_uring, zero-copy networking и геораспределенными системами.
• Опыт применения ML для оптимизации стратегий краулинга.

Культура и преимущества

• Доступ к крупнейшему DS&AI сообществу (600+ специалистов) и образовательным программам СберУниверситета.
• Возможность быть соавтором научных статей и выступать на международных конференциях.
• Возможность выбрать удобный формат работы: гибрид или офис.
• Ежегодный пересмотр зарплаты и годовая премия.
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
• Корпоративный спортзал, зоны отдыха и бесплатная подписка СберПрайм+.