Plus
Включить Plus
Назад
2GIS
19 часов назад

Data Engineer (SMT)

250 000₽
Формат работы
remote (только Russia)/hybrid/onsite
Тип работы
fulltime
Грейд
senior
Страна
Russia

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/

TL;DR

Data Engineer (SMT): Разработка с нуля MVP новой корпоративной дата-платформы для ingest/transform с акцентом на миграцию пайплайнов с Hadoop на S3, Kafka, Spark, ClickHouse. Фокус на проектировании отказоустойчивых высоконагруженных пайплайнов, OLAP-витрин и архитектурных решений для многопользовательской нагрузки.

Локация: Удалённо из России или офисы в Москве, Санкт-Петербурге, Новосибирске — главное результат, а не локация.

Зарплата: от 250 000 ₽/мес на руки

Компания

2ГИС — аккредитованная IT-компания, строящая корпоративную дата-платформу следующего поколения на основе лучших наработок.

Что делать

  • Разрабатывать MVP новой дата-платформы и инфраструктуры для ingest/transform.
  • Мигрировать пайплайны с Hadoop/HDFS на S3, Kafka, Spark, ClickHouse.
  • Работать с большими объёмами данных и высоконагруженными Kafka-топиками.
  • Строить отказоустойчивые пайплайны обработки и доставки данных.
  • Проектировать витрины данных для продуктовой и управленческой аналитики (OLAP).
  • Сопровождать миграцию BI-отчётов (DataLens, Power BI).

Требования

  • 3+ лет опыта на позиции Data Engineer / Big Data Engineer.
  • Понимание Spark и умение его настраивать.
  • Опыт работы с ClickHouse.
  • Знакомство с дата-архитектурой (DWH, Lake, OLAP, ETL/ELT, Data Governance).
  • Умение проектировать отказоустойчивые пайплайны.
  • Хорошее владение Python или Scala + SQL.

Хорошо, если есть

  • Опыт построения дата-платформ (Self-Service).
  • Работа с высоконагруженной Kafka.
  • Инструменты мониторинга и контроля качества данных.
  • Data Lineage и Data Catalog.
  • Docker, Kubernetes, CI/CD.

Культура и преимущества

  • Полностью "белая" зарплата и дополнительные дни отпуска за стаж.
  • ДМС, онлайн-консультации специалистов.
  • Учебный центр, курсы, тренинги, книги.
  • Поддержка выступлений на конференциях и публикаций.
  • Внутренние хакатоны, 2FEST, митапы, подкасты.

Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →