Инженер DevOps (Kafka)/Kafka Engineer

Локация: Москва, Бумажный проезд, 14с15. Доступны удалённый и гибридный форматы работы.

Компания

Магнит — розничная сеть, развивающая платформу потоковых данных на базе Kafka и Kafka Connect.

Что делать

• Обеспечивать отказоустойчивость, стабильность и доступность кластеров Kafka и Kafka Connect.
• Развивать и поддерживать платформенное решение, включая внутренние инструменты управления жизненным циклом Kafka-инфраструктуры.
• Настраивать и сопровождать коннекторы MirrorMaker2, Debezium и другие Kafka Connect-коннекторы.
• Диагностировать и устранять проблемы Kafka, Kafka Connect и связанных инфраструктурных компонентов.
• Автоматизировать развёртывание, конфигурирование и масштабирование кластеров с помощью Ansible.
• Настраивать мониторинг, метрики, алертинг и дашборды с использованием VictoriaMetrics, Alertmanager и Grafana; участвовать в миграции данных между кластерами без простоя сервисов.

Требования

• Опыт работы DevOps или Infrastructure Engineer от 5 лет, включая не менее 2–3 лет работы с Kafka в production.
• Глубокое понимание архитектуры Kafka и принципов построения отказоустойчивых высоконагруженных кластеров.
• Практический опыт эксплуатации Kafka Connect, MirrorMaker2 или Debezium.
• Уверенные навыки администрирования Linux и диагностики инфраструктурных проблем.
• Опыт автоматизации развёртывания и управления инфраструктурой с использованием Ansible.
• Опыт настройки мониторинга, метрик и алертинга, включая VictoriaMetrics, Alertmanager и Grafana.
• Самостоятельность в принятии технических решений и умение консультировать команды разработки по работе с Kafka, producers и consumers.

Культура и преимущества

• Полная занятость.
• Доступны удалённый и гибридный форматы работы.
• Работа в команде потоковых данных, отвечающей за платформенную Kafka-инфраструктуру.