Devops Hadoop Engineer

Публикатор: Anya Sechkova
Обсуждение: @devops_jobs
#вакансия #devops #hadoop #fulltime #РФ #Middle+

Вакансия: Devops Hadoop Engineer
Компания: Ekleft (финтех)
Оформление: ТК / ИП
Вилка: от 240.000 до 390.000 на руки
Формат: удаленный по РФ

Кого ищем:
Мы в Банке строим ядро data-инфраструктуры — платформу Data Lake. Это основа для хранения, обработки и анализа больших данных, которая станет ядром всех data-driven процессов в Банке: от загрузки «сырых» данных до запуска ML моделей. Сейчас мы ищем DevOps-инженера с опытом в Hadoop-администрировании, который поможет нам вывести платформу на новый уровень: развернуть кластер, обеспечить отказоустойчивость, автоматизировать процессы и выстроить надежную, гибкую и масштабируемую инфраструктуру.

Задачи:
• Разворачивать и настраивать Hadoop-дистрибутив (на выделенном железе и в DR-сценариях);
• Поддерживать работоспособность платформы, анализировать и устранять инциденты;
• Настраивать репликацию между площадками (Prod DR);
• Помогать продуктовым командам, data-инженерам и аналитикам использовать Data Lake;
• Внедрять мониторинг и алерты по ключевым компонентам (HDFS, YARN, Hive, Spark, Kerberos, Ranger и др.);
• Проводить эксперименты с новыми open-sourceрешениями;
• Автоматизировать процессы и настраивать CI/CD пайплайны.

Требования:
• Администрирование Hadoop кластеров;
• Администрирование OC Linux (RHEL, CentOS);
• Знание CI/CD практик;
• Навыки автоматизации с помощью Python/Bash;
• Опыт эксплуатации систем мониторинга (Prometheus, Grafana, Zabbix, ELK).

Контакты: Показать контакты