TL;DR
Scala Big Data Developer/Engineer (Big Data): Разработка и оптимизация высоконагруженных Spark-приложений на языке Scala с акцентом на рефакторинг, архитектуру кода и проектирование схем хранения данных. Фокус на анализ инцидентов, выявление узких мест в ETL-пайплайнах и их устранение, а также на консультации младших коллег.
Локация: Возможность работы удаленно на территории РФ, по гибридному графику или в офисе в Москве.
Компания
IT-компания gnivc является партнером государственных компаний и лидеров российского бизнеса, разработчиком и системным интегратором крупнейших государственных информационных систем, а также коммерческих решений для налогового мониторинга.
Что делать
- Разрабатывать и оптимизировать высоконагруженные Spark-приложения на языке Scala.
- Проводить рефакторинг и улучшать архитектуру существующего кода.
- Проектировать схемы хранения и модели данных.
- Писать тесты, участвовать в code review и влиять на качество продукта.
- Быстро анализировать инциденты, баги, собирать статистику по пайплайнам и устранять узкие места на всех этапах ETL.
- Консультировать младших коллег, делиться опытом и изучать новое в стеке Scala/Spark и внутренних инструментах.
Требования
- Опыт коммерческой разработки на Scala.
- Уверенное владение Apache Spark (включая каталитический оптимизатор, управление джойнами, партициями и shuffle-процессами).
- Опыт работы с GraphFrame и Pregel.
- Знание cats-effect (понимание функциональных эффектов).
- Глубокое понимание внутреннего устройства Spark: планирование задач, кеширование, checkpoint'ы, memory management.
- Уверенное владение SQL, умение писать и оптимизировать сложные запросы, работать с Hive.
Культура и преимущества
- Официальное трудоустройство по ТК РФ, оплачиваемые отпуска и премии за эффективную работу.
- Компенсация больничного до 7 дней, ДМС со стоматологией после испытательного срока.
- Возмещение до 50% затрат на занятия спортом.
- Профессиональное обучение, сертификация, внутренние/внешние митапы, хакатоны, конференции.
- Партнерские программы по изучению иностранных языков и развитию навыков (Skyeng, Skillbox), доступ к корпоративной библиотеке.
- 5 дополнительных оплачиваемых ресурсных дней в течение календарного года.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →