RUВакансия из Hirify RU, списка российских tech-компаний
Пожаловаться
Зарплата и рынок
развернуть
По рынку СНГ данных пока нет
На международном рынке: $146к/год ($67к - $193к)
86
Хорошая вакансия
развернуть
Роль чётко сфокусирована на потоковой обработке данных в production, предполагает техническую самостоятельность и включает полезные льготы; при этом уровень задач высокий, а условия оплаты не раскрыты.
Чёткий профиль
Актуальные технологии
?Много самостоятельности
Сильный пакет льгот
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Создать профиль и узнать мэтч
Описание вакансии
Текст:
Hirify AI/Оригинал
TL;DR
Streaming Data Engineer (Kafka/CDC): Разработка и развитие потоковых пайплайнов и высоконагруженной data-платформы для обработки данных в реальном времени с акцентом на гарантированную доставку, эволюцию схем и отказоустойчивость. Focus on диагностике долгоживущих стриминговых джобов, интеграции Debezium CDC и проектировании решений для высокой производительности.
Локация: удалённо, гибридно или из офиса.
Компания
CHOICEIT разрабатывает технологические решения для entertainment-индустрии, включая highload-продукты с терабайтами данных и аудиторией более 100 млн пользователей по всему миру.
Что делать
Проектировать, разрабатывать и поддерживать потоковые пайплайны на Kafka и CDC с гарантированной доставкой данных.
Обеспечивать обработку данных в реальном времени — за доли секунды.
Управлять партиционированием, ключами, гарантиями доставки, оффсетами и эволюцией схем.
Диагностировать проблемы долгоживущих стриминговых джобов: hot keys, перекос партиций, рост состояния и checkpoints.
Интегрировать источники через Debezium CDC и обеспечивать стабильную работу при изменениях схем.
Развивать архитектуру data-платформы и проектировать отказоустойчивые решения с таймаутами, ретраями, backpressure и circuit breakers.
Требования
Production-опыт работы с Kafka: нагруженные топики, выбор числа партиций и ключей, rebalance, commit оффсетов, at-least-once и идемпотентная обработка.
Практический опыт с CDC и Debezium, включая понимание WAL/binlog, change-событий, снапшота и стриминговой фазы.
Опыт работы со Schema Registry и управлением backward/forward-совместимостью схем.
Уверенное знание SQL, включая агрегации, JOIN и поведение NULL.
Production-опыт разработки на Java: многопоточность, CompletableFuture и конкурентные коллекции.
Понимание распределённых систем и принципов отказоустойчивости.
Самостоятельность, ответственность за полный цикл — от проектирования до эксплуатации — и способность чётко объяснять технические решения.
Хорошо, если есть
Опыт с Apache Flink: event-time, watermarks, checkpoints/savepoints и RocksDB state backend.
Опыт со Spark Streaming или другими стриминговыми движками.
Знание вероятностных структур данных, включая HyperLogLog и аналоги.
Опыт работы с высоконагруженными системами, обрабатывающими тысячи событий в секунду.
Культура и преимущества
Гибкий формат работы: удалённо, гибридно или из офиса.
Расширенный релокационный пакет для специалиста и членов его семьи.
ДМС со стоматологией после испытательного срока.
Компенсация спорта, английского языка, сессий с психологом и профильного обучения.
Высокая самостоятельность, возможность влиять на технические решения, обмениваться экспертизой и участвовать во внутренних мероприятиях.
Будьте осторожны
Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →