Plus
Включить Plus
Назад
QLAN
обновлено 10 часов назад

Data Engineer/ Backend developer/

Формат работы
remote
Тип работы
project
Грейд
middle/senior
Вакансия от Hirify. Размещена напрямую Вакансия размещена на Hirify напрямую от HR/нанимающего менеджера

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

TL;DR
Data Engineer/ Backend developer/: разработка кастомных парсеров для соцсетей и маркетплейсов с акцентом на обход антибот-систем. Фокус на реализации высоконагруженных сервисов сбора данных и reverse engineering внутренних API.

Data Engineer/ Backend developer/

Компания: QLAN - технологический интегратор, который внедряет end-to-end ИИ-решения в бизнес-процессы крупных компаний и госсектора.

Задачи:

  • Писать кастомные парсеры под соц сети, медиахостинги и маркетплейсы
  • Реализовывать сервисы на Python
  • Разрабатывать и поддерживать сервисы для сбора данных

Требования:

  • опыт разработки и поддержки высоконагруженных парсеров/scrapers от 3х лет;
  • Python от 3х лет;
  • понимание типов различных прокси-серверов (ротация прокси, мониторинг качества), принципов работы CAPTCHA;
  • работа с rate limiting;
  • Playwright;
  • AsyncIO, aiohttp/httpx
  • опыт reverse engineering внутренних API веб- и мобильных приложений
  • опыт работы с базами данных (PostgreSQL / ClickHouse / Redis)
  • отличное понимание HTTP/TCP, работы CDN, REST API, GraphQL, антибот-систем и методов их обхода;

Будет плюсом:

  • опыт разработки парсеров для площадок: Instagram, YouTube, Tik Tok, Trip Advisor, Spotify, X, Flickr, LinkedIn, Reddit и аналогичные
  • опыт работы с Grafana/Prometheus
  • Kubernetes;
  • Kafka/RabbitMQ;

Мы предлагаем:

  • Проектная занятость с гибким форматом работы
  • Прямая коммуникация с техническим руководством без бюрократии
  • Возможность вырасти в полноценную техническую роль внутри компании

Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →

Вакансия размещена на Hirify напрямую от HR/нанимающего менеджера