Hadoop Developer (Big Data)

TL;DR

Разработчик Hadoop (Java/Big Data): Разработка и поддержка ETL-процессов и витрин данных на базе экосистемы Hadoop с акцентом на миграцию данных и развитие аналитики. Фокус на построении масштабируемых пайплайнов обработки данных, интеграции с Kafka и оптимизации производительности систем Big Data.

Локация: Удаленная работа из городов Москва, Санкт-Петербург, Нижний Новгород или Сочи

Компания

Крупный системный интегратор, специализирующийся на реализации сложных информационных систем для ведущих финансовых, телеком и ритейл компаний России.

Что делать

• Разрабатывать и поддерживать ETL-процессы на базе Apache Hadoop (Hive, Spark, HBase, Hue).
• Проектировать и создавать витрины данных с использованием SQL, PL/SQL и PostgreSQL.
• Реализовывать логику обработки и обогащения данных, обеспечивая интеграцию с Apache Kafka.
• Взаимодействовать с целевыми системами для передачи обработанных данных.
• Участвовать в проектировании архитектуры витрин данных и заниматься оптимизацией производительности пайплайнов.

Требования

• Подтвержденный опыт коммерческой разработки на Java от 2 лет (по ТК РФ).
• Практический опыт работы с экосистемой Hadoop (Hive, Spark) от 2 лет.
• Опыт работы с реляционными БД (PostgreSQL), включая функции, хранимые процедуры и триггеры.
• Понимание принципов работы Apache Kafka (взаимодействие продюсеров и консьюмеров).
• Знание принципов построения ETL/ELT-процессов.
• Обязательное нахождение в одном из городов: Москва, Санкт-Петербург, Нижний Новгород или Сочи.

Культура и преимущества

• Возможность участия в значимых проектах для системообразующих компаний страны.
• Перспективы профессионального и карьерного роста внутри компании.
• Работа в команде высококлассных ИТ-специалистов.
• Гибкий формат работы (удаленно из определенных локаций).