Разработчик интеграции Apache Spark с YTsaurus (Apache Spark)

Локация: Екатеринбург, Нижний Новгород, Новосибирск, Санкт-Петербург или Москва; гибридный или офисный формат работы.

Компания

Yandex развивает платформу YTsaurus для аналитики и batch-процессов и проект SPYT — интеграцию Apache Spark с YTsaurus, доступную в открытом исходном коде.

Что делать

• Развивать интеграцию Apache Spark и YTsaurus, обеспечивая эффективное взаимодействие между платформами.
• Интегрировать новые версии Apache Spark и YTsaurus и расширять поддерживаемые возможности.
• Проводить бенчмарки, находить узкие места и повышать производительность интеграции.
• Расширять область применения инструмента на основе обратной связи от дата-инженеров и опенсорс-пользователей.
• Развивать внешнее сообщество вокруг опенсорс-проекта SPYT.

Требования

• Не менее 3 лет опыта работы с Apache Spark и понимание способов повышения его эффективности.
• Разработка под JVM на Java и Scala, а также на Python.
• Понимание принципов распределённого хранения и обработки больших объёмов данных.
• Готовность работать в гибридном или офисном формате в одном из указанных российских городов.

Хорошо, если есть

• Опыт работы с Hadoop-стеком, включая HDFS и YARN.
• Опыт работы с Docker и Kubernetes.
• Участие в разработке опенсорс-проектов.
• Знание C++.

Культура и преимущества

• Работа со сложными распределёнными системами и нетривиальными техническими задачами.
• Возможность участвовать в развитии открытого проекта и взаимодействовать с внешним сообществом.
• Команда с академическим и преподавательским опытом.
• Совместное решение задач, эксперименты и участие в CTF.
• Атмосфера стартапа внутри крупной технологической компании.