Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
TL;DR
Python Developer (Gigadata) (Python): Проектирование и разработка ключевых компонентов распределённой системы массового краулинга с акцентом на асинхронный I/O, архитектуру URL-фронтира и отказоустойчивость. Focus on построении crawl-планировщиков, обработке данных в пайплайнах и observability для контроля здоровья краулера в реальном времени.
Локация: Москва (м. Кутузовская) — гибрид
Компания
Команда занимается сбором качественных данных, необходимых для обучения передовых моделей ИИ.
Что делать
- Проектировать и разрабатывать компоненты распределённой системы массового краулинга
- Оптимизировать пропускную способность: асинхронный I/O, connection pooling, DNS-кэширование, батчинг запросов
- Развивать архитектуру URL-фронтира: шардирование, приоритизация, дедупликация на масштабе миллиардов URL
- Реализовывать crawl-планировщики с адаптивным расписанием и приоритизацией по freshness и значимости
- Проектировать пайплайны обработки данных: парсинг, нормализация, дедупликация контента, индексация
- Обеспечивать отказоустойчивость и observability: stateless-воркеры, failover, graceful degradation, мониторинг здоровья краулера
Требования
- Коммерческий опыт разработки на Python от 6 лет
- Глубокая экспертиза в асинхронной и мультипоточной разработке (asyncio, uvloop, multiprocessing)
- Отличное понимание сетевого стека: TCP/UDP, HTTP/1.1/2/3, TLS, DNS, WebSocket
- Опыт проектирования и эксплуатации распределённых систем высокой нагрузки
- Практический опыт веб-краулинга на масштабе (десятки миллионов страниц в сутки)
- Опыт работы с распределёнными очередями и потоковыми системами (Kafka, Redis Streams, RabbitMQ)
Хорошо, если есть
- Опыт с реляционными и нереляционными БД (PostgreSQL, Redis, ClickHouse, MongoDB)
- Навыки troubleshooting (tcpdump, strace, perf, flamegraphs) и проведение code review
- Опыт с Docker, Kubernetes и CI/CD
Культура и преимущества
- Гибридный формат работы: офис или гибрид по выбору
- Ежегодный пересмотр зарплаты и годовая премия
- Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- Более 400 образовательных программ для профессионального и карьерного развития
- Корпоративный спортзал и зоны отдыха
- Бесплатная подписка СберПрайм+ и скидки на продукты партнёров
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →