Старший разработчик в ETL-платформу Нирвана (Java)

Локация: Санкт-Петербург, гибридный формат, офис

Компания

Yandex развивает внутреннюю облачную платформу Нирвана для выполнения вычислений и процессов сотрудниками, включая анализ данных и обучение моделей.

Что делать

• Разрабатывать инструменты для сбора статистики потребления ресурсов, построения агрегатов и визуализации данных.
• Оптимизировать время запуска пользовательских задач с помощью пула прогретых контейнеров.
• Динамически управлять размером пула контейнеров в зависимости от нагрузки.
• Развивать пользовательские настройки, балансирующие скорость запуска и утилизацию ресурсов.
• Адаптировать Job Processor для работы на новых типах вычислительного оборудования.
• Участвовать в эксплуатации сервиса: запускать эксперименты, анализировать статистику и отлаживать ошибки в продакшене.

Требования

• От 5 лет опыта промышленной разработки на Java.
• Знание распределённых систем и решений для обеспечения высокой доступности.
• Понимание основ работы в Unix-системах и умение применять инструменты диагностики и анализа сервисов.
• Готовность участвовать в эксплуатации высоконагруженного сервиса.

Хорошо, если есть

• Опыт работы с высоконагруженными сервисами.
• Умение быстро разбираться в незнакомом коде и новых технологиях.

Культура и преимущества

• Работа над внутренней инфраструктурой и облачной платформой, которой пользуются аналитики, разработчики и ML-инженеры.
• Участие в создании сервисов для запуска произвольного пользовательского кода на вычислительных кластерах.
• Гибридный рабочий формат в офисе Санкт-Петербурга.