Scala Big Data Developer/Engineer

Scala Big Data Developer/Engineer

Требования

Бэкенд разработчик Middle Scala Apache Spark Оптимизация кода ETL SQL

Условия

Можно удалённо Москва АО «ГНИВЦ» 4.57 it-компания gnivc - партнер государственных компаний и лидеров российского бизнеса, разработчик и системный интегратор крупнейших государственных информационных систем, а также коммерческих решений для налогового мониторинга.

• Компания входит в ТОП-100 лучших работодателей страны и на 9-м месте в категории «IT-компании» 2025 года по рейтингу работодателей hh среди крупных компаний;
• Мы в 25% лучших по уровню счастья среди компаний отрасли IT и России 2025 по версии Happy Job;
• У нас есть ИИ-песочница - среда для экспериментов и реальных проектов на современных опенсорс-больших языковых моделях. Здесь можно применять ИИ для оптимизации своей работы, автоматизации процессов и реализации собственных идей от гипотезы до результата;
• Являемся аккредитованной ИТ-компанией.

Задачи:

• Разрабатывать и оптимизировать высоконагруженные Spark-приложения на языке Scala;
• Проводить рефакторинг и улучшать архитектуру существующего кода;
• Проектировать схемы хранения и модели данных;
• Писать тесты, участвовать в code review, влиять на качество продукта;
• Быстро анализировать инциденты и баги, собирать статистику по пайплайнам, выявлять узкие места и устранять их на всех этапах ETL;
• Консультировать младших коллег, делиться опытом и быть открытым к изучению нового, как в стеке Scala/Spark, так и во внутренних инструментах и подходах команды.

Мы от вас ждём:

• Опыт коммерческой разработки на Scala;
• Уверенное владение Apache Spark (включая каталитический оптимизатор, управление джойнами, партициями и shuffle-процессами);
• Опыт работы с GraphFrame и Pregel;
• Знание cats-effect (понимание функциональных эффектов);
• Глубокое понимание внутреннего устройства Spark: планирование задач, кеширование, checkpoint'ы, memory management;
• Готовность погружаться в бизнес-логику и предметную область нам важно не просто выполнить ТЗ, а понять задачу, предложить оптимальное решение и улучшить продукт;
• Уверенное владение SQL, писать сложные запросы, оптимизировать их, работать с Hive и понимать, как Spark выполняет SQL-код под капотом.

Стек:

• Языки: Scala 2.13;
• Обработка данных: Apache Spark 3+ (Core, SQL, GraphFrames, GraphX, Pregel);
• Функциональные библиотеки: cats-effect (IO, Resource), Circe;
• Хранение: Hive, HDFS;
• Тестирование: ScalaTest, Mockito.

Мы предлагаем:

• Возможность работы в офисе, по гибридному графику или полностью дистанционно на территории РФ;
• Рабочий график: пятидневная рабочая неделя (Пн. – Чт. с 09:00 до 18:00, Пт. с 09:00 до 16:45);
• Достойное вознаграждение: конкурентная заработная плата по результатам собеседования, а также премии за эффективную работу и достигнутые результаты;
• Официальное трудоустройство: полное соблюдение требований ТК РФ, включая оплачиваемые отпуска (с дополнительной выплатой 50% от оклада после 11 месяцев работы в Компании) и выплату заработной платы дважды в месяц;
• Заботу о здоровье:

Компенсация больничного листа продолжительностью до 7 дней с сохранением полной оплаты, эквивалентной рабочему дню. Добровольное медицинское страхование (ДМС) по окончании испытательного срока, с широким перечнем ведущих медицинских учреждений, включая качественную стоматологию. Возмещение до 50% затрат на занятия спортом.

• Развитие и обучение:

Профессиональное обучение и сертификация за счет компании. Организация внутренних и внешних митапов, хакатонов, конференций, семинаров и тренингов. Партнерские программы по изучению иностранных языков и развитию профессиональных навыков от Skyeng и Skillbox. Доступ к корпоративной библиотеке на платформе Alpina Digital.

• Дополнительные выходные: возможность взять 5 дополнительных оплачиваемых выходных (ресурсных) дней в течение календарного года (с 1 января до 31 декабря) для сотрудников, проработавших в компании более 11 месяцев.

Показать контакты