Senior BigData Devops (Hadoop)

TL;DR

Senior BigData Devops (Hadoop): Администрирование и развитие инфраструктуры данных крупнейшего маркетплейса с акцентом на обеспечение отказоустойчивости и доступности сервисов. Фокус на оптимизации производительности кластеров объемом 7.5PB NVME, автоматизации рутинных операций и глубокой диагностике систем.

Локация: Удаленно

Компания

Международная технологическая компания, образованная в результате слияния лидеров рынка — маркетплейса Wildberries и оператора наружной рекламы Russ.

Что делать

• Администрировать и развивать Hadoop-кластеры объемом 7.5PB NVME (Vanilla HDFS, YARN, Iceberg, Spark, Trino).
• Обеспечивать высокую доступность и отказоустойчивость всех сервисов платформы данных.
• Настраивать мониторинг, алертинг и проводить детальный анализ инцидентов.
• Оптимизировать производительность кластеров и сопутствующих сервисов.
• Автоматизировать повседневные операции с помощью Ansible и скриптов.
• Разрабатывать и поддерживать техническую документацию и runbooks.

Требования

• Опыт работы от 5 лет.
• Глубокие знания администрирования Linux (systemd, сети, диски, RAID/LVM).
• Опыт работы с Hadoop-стеком (HDFS, YARN, Iceberg, Spark).
• Понимание принципов построения HA (Active/Standby).
• Опыт настройки Kerberos и TLS.
• Навыки диагностики с использованием top, iostat, vmstat, tcpdump, flamegraph и инструментов мониторинга (Prometheus/Grafana).

Культура и преимущества

• ДМС со стоматологией и консультации психолога.
• Статус аккредитованной IT-компании с соответствующими льготами.
• Собственный корпоративный университет, языковые клубы и программы развития менеджерских навыков.
• Бесплатное питание в офисе и современное оборудование.
• Гибкий подход к совмещению карьеры и семейных обязанностей.
• Развитая корпоративная культура: клубы футбола, йоги, шахмат и сообщество спикеров.