Назад

Data Engineer (SparkSQL)

Формат работы
remote (только Russia)
Тип работы
fulltime
Грейд
middle
Страна
Russia
hhВакансия с HeadHunter. Контакт ведёт на hh.ru

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/
TL;DR
Data Engineer (SparkSQL): Проектирование интеграционных ETL-процессов для загрузки данных из источников в Lakehouse с акцентом на анализ источников, разработку сложных SQL- и SparkSQL-запросов и подготовку технической документации. Focus on определение критериев приёмки, постановку задач команде разработки и приёмку результата.

Локация: Удалённая работа, регион Москва

Компания

Bell Integrator — крупный системный интегратор и аккредитованная ИТ-компания, реализующая проекты для финансовых, телекоммуникационных и ритейл-компаний по всей России.

Что делать

  • Проектировать интеграционные ETL-процессы загрузки данных из источников в Lakehouse.
  • Определять источники и анализировать данные в них.
  • Писать прототипы SELECT-запросов на SparkSQL.
  • Разрабатывать FSD и спецификации таблиц.
  • Определять критерии приёмки, ставить задачи команде разработки и принимать результат.

Требования

  • От 3 до 6 лет опыта работы.
  • Уверенное владение SQL, преимущественно диалектами Oracle и PostgreSQL; знание CTE, сложных запросов и DML.
  • Знание SparkSQL: написание SELECT-запросов и анализ плана запроса.
  • Понимание структуры DWH и владение одной из методологий его построения; обязательный опыт работы с DWH.
  • Понимание процессов ETL/ELT.
  • Навыки системного анализа и ведения технической документации.
  • Навыки работы с Jira и Confluence или аналогичными инструментами.
  • Навыки работы с Git.

Хорошо, если есть

  • Опыт работы с Greenplum или другой MPP-базой данных.
  • Знание Python.
  • Опыт работы с Apache Airflow.
  • Знание PL/SQL или PgPL/SQL.
  • Навыки работы с Informatica PowerCenter.

Культура и преимущества

  • Сотрудничество возможно по ТК РФ, договору с ИП или договору ГПХ.
  • ДМС и расширенные возможности стандартного социального пакета.
  • Корпоративный абонемент на фитнес и курсы английского языка.
  • Командная работа по гибким методологиям.
  • Реферальная система с бонусом за рекомендацию кандидата.
  • Уровень заработной платы определяется по итогам технического интервью.

Будьте осторожны

Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →