Tech Lead Python Developer (GigaData)

Локация: гибридный формат или работа из офиса

Компания

Крупная организация с развитым сообществом DS&AI, образовательными и исследовательскими программами.

Что делать

• Определять техническую стратегию и целевую архитектуру системы.
• Проектировать распределённые системы, масштабируемые от миллионов до миллиардов сущностей, включая горизонтальное масштабирование, шардирование и геораспределение.
• Разрабатывать end-to-end пайплайны сбора данных: обнаружение URL, загрузка, парсинг, дедупликация, хранение и доставка.
• Писать код критичных компонентов краулера, включая планировщик обхода, URL-фронтир и механизмы дедупликации.
• Проводить профилирование, нагрузочное тестирование и оптимизацию прокси-инфраструктуры, маршрутизации, throughput и стоимости инфраструктуры.
• Руководить командой из 3–6 инженеров, развивать технические стандарты, проводить code review и 1-on-1, менторить разработчиков и планировать roadmap.

Требования

• Не менее 7 лет коммерческой разработки на Python, включая минимум 2 года в роли техлида или тимлида.
• Экспертиза в высоконагруженных распределённых системах с миллионами RPS и петабайтами данных.
• Глубокое понимание TCP/UDP, HTTP/1.1/2/3, TLS, DNS и QUIC.
• Опыт создания масштабных систем краулинга или аналогичных data-acquisition систем, асинхронного и параллельного программирования.
• Опыт проектирования микросервисной и event-driven архитектуры, работы с Kafka, Redis, PostgreSQL, ClickHouse или аналогами.
• Уверенное владение Kubernetes, Docker, Terraform, CI/CD, облачными платформами и инструментами troubleshooting: tcpdump, strace, perf, eBPF.

Хорошо, если есть

• Знание Go, Rust или C++ для разработки высокопроизводительных компонентов.
• Опыт работы с масштабным краулингом, io_uring, eBPF, zero-copy networking и геораспределёнными системами.
• Опыт применения ML для оптимизации crawl-стратегий, публичных выступлений и подготовки технических статей.

Культура и преимущества

• Сообщество DS&AI, объединяющее более 600 специалистов по данным.
• Доступ к дайджестам о разработках в DS&AI и материалам международных конференций.
• Возможность участвовать в подготовке научно-исследовательских работ и статей для международных конференций.
• Ежегодный пересмотр зарплаты и годовая премия.
• Корпоративный спортзал, зоны отдыха, расширенный ДМС, страхование семьи и корпоративная пенсионная программа.
• Более 400 образовательных программ, подписка СберПрайм+ и скидки у компаний-партнёров.