Назад

Не получаете ответ?

Вакансия опубликована 22 дн. назад - шансы на ответ снижаются.

обновлено 22 дня назад

Tech Lead Python Developer (GigaData)

Формат работы
hybrid/onsite
Тип работы
fulltime
Грейд
lead
Страна
Russia
RUВакансия из Hirify RU, списка российских tech-компаний

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/
TL;DR
Tech Lead Python Developer (GigaData): Проектирование и развитие высоконагруженных распределённых систем сбора данных и end-to-end пайплайнов с акцентом на горизонтальное масштабирование, геораспределение и производительность сетевой инфраструктуры. Focus on архитектуре краулинга, оптимизации throughput и стоимости инфраструктуры, а также техническом лидерстве команды из 3–6 инженеров.

Локация: Москва. Формат работы: гибрид или офис.

Компания

Сбер развивает команду, которая собирает качественные данные для обучения передовых моделей ИИ.

Что делать

  • Определять техническую стратегию и целевую архитектуру системы.
  • Проектировать распределённые системы, масштабируемые от миллионов до миллиардов сущностей, включая горизонтальное масштабирование, шардирование и геораспределение.
  • Разрабатывать end-to-end пайплайны сбора данных: обнаружение URL, загрузка, парсинг, дедупликация, хранение и доставка.
  • Писать код критичных компонентов краулера, включая планировщик обхода, URL-фронтир и механизмы дедупликации, а также проводить профилирование и нагрузочное тестирование.
  • Оптимизировать прокси-инфраструктуру, маршрутизацию трафика и стоимость инфраструктуры с применением HTTP/3, QUIC, eBPF и io_uring.
  • Руководить командой из 3–6 инженеров: планировать работу, проводить code review и 1-1, формировать технические стандарты, менторить разработчиков и взаимодействовать со смежными командами.

Требования

  • Коммерческий опыт разработки на Python от 7 лет, включая минимум 2 года в роли технического или тимлида.
  • Опыт проектирования распределённых высоконагруженных систем с миллионами RPS и петабайтами данных.
  • Глубокое понимание TCP/UDP, HTTP/1.1/2/3, TLS, DNS и QUIC.
  • Опыт построения масштабных систем краулинга или аналогичных систем сбора данных, асинхронного и параллельного программирования.
  • Опыт проектирования микросервисной и event-driven архитектуры, работы с Kafka, Redis, PostgreSQL, ClickHouse или аналогами.
  • Уверенное владение Kubernetes, Docker, Terraform, CI/CD, облачными платформами и инструментами troubleshooting: tcpdump, strace, perf и eBPF.

Хорошо, если есть

  • Знание Go, Rust или C++ для разработки высокопроизводительных компонентов.
  • Опыт работы в поисковых системах, data-aggregators или других компаниях с масштабным краулингом.
  • Опыт с io_uring, eBPF, zero-copy networking и геораспределёнными системами.
  • Опыт применения ML для оптимизации стратегий краулинга, а также публичных выступлений и подготовки технических статей.

Культура и преимущества

  • Участие в DS&AI community, объединяющем более 600 специалистов банка.
  • Возможность быть соавтором НИРов и статей для международных конференций.
  • Ежегодный пересмотр зарплаты и годовая премия.
  • Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
  • Более 400 образовательных программ СберУниверситета, корпоративный спортзал и зоны отдыха.
  • Подписка СберПрайм+ и скидки на продукты компаний-партнёров.

Будьте осторожны

Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →