Python-разработчик — парсинг и сбор данных (Middle/Middle+)

Локация: Москва, Можайское шоссе; работа на месте работодателя, офис

Зарплата: 180 000–230 000 ₽ на руки в месяц

Компания

HeadHunter ищет разработчика для создания и поддержки системы сбора данных из открытых источников.

Что делать

• Разрабатывать сборщики на Python, получать данные через API и HTTP-запросы, извлекать информацию из HTML и использовать браузерную автоматизацию.
• Собирать сведения о профилях, публикациях и активности, загружать фотографии и другие материалы.
• Проверять и нормализовать данные, обрабатывать пропуски и предотвращать дублирование записей.
• Реализовывать запись и обновление данных в PostgreSQL, связывать записи с файлами в объектном хранилище.
• Настраивать регулярные запуски, обработку ошибок и повторные попытки, сохранять источники и время получения данных.
• Поддерживать сборщики при изменении источников, писать тесты и добавлять логи для диагностики.

Требования

• Практический опыт разработки на Python и создания сборщиков или интеграций с внешними API.
• Понимание HTTP, JSON, HTML, пагинации, таймаутов и ограничений частоты запросов.
• Опыт работы с requests, HTTPX или aiohttp, а также BeautifulSoup, lxml или Scrapy.
• Уверенный базовый SQL, желательно знание PostgreSQL; понимание проверки результатов сбора и предотвращения повторных записей.
• Опыт работы с Git, отладки и написания тестов, например на pytest.
• Знание Playwright или Selenium, асинхронного Python и asyncio.

Хорошо, если есть

• SQLAlchemy и Alembic.
• Docker, Linux и опыт запуска задач по расписанию.
• Celery, RQ или другие инструменты фоновой обработки.
• S3-совместимые хранилища.
• Опыт длительного сопровождения нескольких источников.

Культура и преимущества

• Полная занятость в офисе.
• Работа с более чем 15 источниками и объёмом от 1 млн профилей.
• Решения обсуждаются и проходят ревью.