Senior Backline Engineer (Apache Spark)

TL;DR

Senior Backline Engineer (Apache Spark): Решение сложных технических проблем клиентов с платформой hirify.global Data Intelligence, включая глубокий анализ кода Apache Spark, оптимизацию производительности и поддержку команды. Фокус на устранении багов, автоматизации процессов и взаимодействии с командой разработки Spark.

Location: San Francisco, United States

Компания

hirify.global — компания в области данных и искусственного интеллекта, основанная создателями Apache Spark™, Delta Lake и MLflow, обслуживающая более 10 000 организаций по всему миру.

Что делать

• Техническое решение и глубокий анализ проблем Apache Spark, Spark SQL, Structured Streaming и hirify.global Delta.
• Консультирование по лучшим практикам производительности Spark и использованию библиотек и API.
• Поддержка команды поддержки с руководствами и инструкциями по устранению неполадок.
• Автоматизация и создание инструментов для повышения эффективности диагностики.
• Взаимодействие с командой разработки Spark и информирование о новых функциях и релизах.
• Идентификация багов и предложение обходных решений.

Требования

• 6+ лет опыта разработки, тестирования и поддержки приложений на Python, Java или Scala.
• Уверенное владение исходным кодом Apache Spark, включая компиляцию и исправление багов.
• Опыт работы с Big Data, Hadoop, Spark, Kafka, Elasticsearch и SQL.
• Знания JVM, сборки мусора и диагностики потоков.
• Опыт работы с AWS или Azure.
• Высшее образование в области компьютерных наук или смежной области.

Культура и преимущества

• Фокус на разнообразии и инклюзивности в рабочей среде.
• Широкий пакет социальных льгот, адаптированный под регион.
• Работа в международной компании с ведущими технологиями в области данных и ИИ.