Разработчик Hadoop (Senior)

Локация: офис, гибридный график или полностью дистанционная работа на территории России. Рабочий график: пятидневная рабочая неделя, пн.–чт. с 09:00 до 18:00, пт. с 09:00 до 16:45.

Компания

GNIVC — IT-компания, разработчик и системный интегратор государственных информационных систем и коммерческих решений для налогового мониторинга.

Что делать

• Разрабатывать и сопровождать ETL-процессы и потоковые пайплайны на Apache Spark с использованием Java и Scala.
• Интегрировать источники и хранилища данных: HDFS, Hive, HBase, Oracle, PostgreSQL, Kafka и ClickHouse.
• Писать SQL-запросы и оптимизировать процессы загрузки и выгрузки данных.
• Оптимизировать Spark-job’ы и производительность кластера с помощью тюнинга Spark, partitioning и broadcasting.
• Участвовать в проектировании архитектуры Big Data и внедрении лучших практик разработки.
• Взаимодействовать с бизнес-заказчиками и аналитиками, переводя требования в архитектуру решений.

Требования

• 5+ лет коммерческой разработки на Java и Scala, включая 2–3 года работы с Big Data.
• Практический опыт работы с Apache Spark и глубокое понимание Spark internals: RDD/DataFrame API, shuffle и Catalyst Optimizer.
• Знание экосистемы Hadoop: HDFS, Hive, HBase, ZooKeeper и YARN.
• Опыт работы с Kafka, реляционными СУБД, SQL и Linux.
• Опыт оптимизации производительности и понимание принципов распределённых систем.
• Готовность взаимодействовать с бизнес-заказчиками и аналитиками.

Культура и преимущества

• Официальное трудоустройство по ТК РФ и заработная плата дважды в месяц.
• Оплачиваемый отпуск, включая дополнительную выплату 50% от оклада после 11 месяцев работы.
• Премии за эффективную работу и достигнутые результаты.
• ДМС после испытательного срока, компенсация больничного до 7 дней и возмещение до 50% затрат на занятия спортом.
• Профессиональное обучение, сертификация, митапы, хакатоны, конференции и тренинги за счёт компании.
• До 5 дополнительных оплачиваемых ресурсных дней после 11 месяцев работы.