Data Engineer

TL;DR

Data Engineer (ETL/DWH): Разработка и развитие корпоративного хранилища данных с акцентом на проектирование потоков данных, создание витрин и оптимизацию SQL-запросов. Focus on масштабирование и повышение производительности DWH, а также на развитие архитектуры DWH и выбор оптимальных технологий.

Location: Можно удалённо

Company

Top Selection разрабатывает и развивает корпоративные решения, включая хранилища данных.

What you will do

• Проектировать и разрабатывать потоки данных с использованием ETL/ELT-инструментов.
• Создавать витрины данных и прототипы, реализовывать кастомные трансформации.
• Разрабатывать процедуры на PL/pgSQL и сопровождать информационные системы в зоне ответственности.
• Анализировать производительность, оптимизировать сложные SQL-запросы и структуры баз данных.
• Развивать архитектуру DWH, анализировать и выбирать технологии, инструменты и методологии.
• Вести проектную и техническую документацию, создавать и актуализировать базу знаний для пользователей.

Requirements

• Знание принципов построения хранилищ данных и архитектуры DWH.
• Понимание принципов работы MPP-систем.
• Практический опыт с экосистемой Hadoop: HDFS, YARN, Apache Spark, Apache Kafka, Apache NiFi, Sqoop, Flume.
• Уверенное знание SQL (DDL/DML) и опыт анализа/оптимизации сложных SQL-запросов.
• Опыт разработки на PL/pgSQL.
• Опыт работы с Greenplum или отличное знание PostgreSQL.

Nice to have

• Опыт работы с ETL-инструментами SAS Data Integration Studio и/или Informatica PowerCenter.
• Опыт проектирования высоконагруженных хранилищ данных и масштабирования MPP- и Hadoop-систем.
• Участие в проектах по развитию крупных корпоративных DWH.
• Опыт построения сложных ETL/ELT-процессов и витрин данных.

Culture & Benefits

• Удалённый формат работы.
• Работа с корпоративным DWH и задачами по производительности и масштабированию.
• Возможность развивать архитектуру и технологии, используемые в хранилище данных.
• Требуется ведение документации и создание базы знаний для пользователей.

Hiring process

• Собеседования с оценкой опыта по DWH/ETL, SQL-оптимизации и экосистеме Hadoop.
• Обсуждение практики разработки на PL/pgSQL и работы с Greenplum/PostgreSQL.