Назад

Не получаете ответ?

Вакансия опубликована 22 дн. назад - шансы на ответ снижаются.

22 дня назад

Streaming Data Engineer (Entertainment)

Формат работы
remote (Global)/hybrid/onsite
Тип работы
fulltime
Грейд
senior
Страна
Russia
RUВакансия из Hirify RU, списка российских tech-компаний

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/
TL;DR
Streaming Data Engineer (Kafka/CDC): Разработка и развитие потоковых пайплайнов и высоконагруженной data-платформы для обработки данных в реальном времени с акцентом на гарантированную доставку, эволюцию схем и отказоустойчивость. Focus on диагностике долгоживущих стриминговых джобов, интеграции Debezium CDC и проектировании решений для высокой производительности.

Локация: удалённо, гибридно или из офиса.

Компания

CHOICEIT разрабатывает технологические решения для entertainment-индустрии, включая highload-продукты с терабайтами данных и аудиторией более 100 млн пользователей по всему миру.

Что делать

  • Проектировать, разрабатывать и поддерживать потоковые пайплайны на Kafka и CDC с гарантированной доставкой данных.
  • Обеспечивать обработку данных в реальном времени — за доли секунды.
  • Управлять партиционированием, ключами, гарантиями доставки, оффсетами и эволюцией схем.
  • Диагностировать проблемы долгоживущих стриминговых джобов: hot keys, перекос партиций, рост состояния и checkpoints.
  • Интегрировать источники через Debezium CDC и обеспечивать стабильную работу при изменениях схем.
  • Развивать архитектуру data-платформы и проектировать отказоустойчивые решения с таймаутами, ретраями, backpressure и circuit breakers.

Требования

  • Production-опыт работы с Kafka: нагруженные топики, выбор числа партиций и ключей, rebalance, commit оффсетов, at-least-once и идемпотентная обработка.
  • Практический опыт с CDC и Debezium, включая понимание WAL/binlog, change-событий, снапшота и стриминговой фазы.
  • Опыт работы со Schema Registry и управлением backward/forward-совместимостью схем.
  • Уверенное знание SQL, включая агрегации, JOIN и поведение NULL.
  • Production-опыт разработки на Java: многопоточность, CompletableFuture и конкурентные коллекции.
  • Понимание распределённых систем и принципов отказоустойчивости.
  • Самостоятельность, ответственность за полный цикл — от проектирования до эксплуатации — и способность чётко объяснять технические решения.

Хорошо, если есть

  • Опыт с Apache Flink: event-time, watermarks, checkpoints/savepoints и RocksDB state backend.
  • Опыт со Spark Streaming или другими стриминговыми движками.
  • Знание вероятностных структур данных, включая HyperLogLog и аналоги.
  • Опыт работы с высоконагруженными системами, обрабатывающими тысячи событий в секунду.

Культура и преимущества

  • Гибкий формат работы: удалённо, гибридно или из офиса.
  • Расширенный релокационный пакет для специалиста и членов его семьи.
  • ДМС со стоматологией после испытательного срока.
  • Компенсация спорта, английского языка, сессий с психологом и профильного обучения.
  • Высокая самостоятельность, возможность влиять на технические решения, обмениваться экспертизой и участвовать во внутренних мероприятиях.

Будьте осторожны

Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →