Plus
Включить Plus
Назад
EvApps
обновлено 4 часа назад

Data Engineer (Python)

200 000₽
Формат работы
remote (только Russia)
Тип работы
fulltime
Грейд
middle/senior
Страна
Russia
Вакансия от Hirify. Размещена напрямую Вакансия размещена на Hirify напрямую от HR/нанимающего менеджера

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

TL;DR
Data Engineer (Python): разработка data lakehouse решения для заказчика с акцентом на ETL/ELT пайплайны и трансформацию данных. Фокус на построении многослойной архитектуры данных, нормализации и обеспечении производительности обработки больших объемов информации.

Data Engineer Middle+ / Senior

Компания: EvApps

ЗП вилка до 200 000 на руки

Удаленно, РФ

Полная занятость

Что делать:

  • Разрабатывать и оптимизировать ETL-пайплайны;
  • Обрабатывать и трансформировать XML-данные;
  • Строить raw-слой (Parquet в S3) и витрины данных;
  • Реализовывать нормализацию, дедупликацию и формирование "золотых" записей;
  • Обеспечивать производительность обработки данных;
  • Готовить решения к переносу в закрытый контур заказчика;
  • Взаимодействовать с аналитиками, архитектором, DevOps и командой проекта.

Требования:

  • Опыт работы Data Engineer от 3 лет;
  • Опыт построения ETL/ELT пайплайнов в продакшн;
  • Работали с большими объемами данных;
  • Уверенно владеете Python;
  • Имеете опыт обработки и трансформации данных (pandas, PySpark или аналоги);
  • Работали с XML (lxml, ElementTree или аналоги);
  • Понимаете форматы хранения данных (Parquet, columnar storage);
  • Работали с S3 или аналогичными хранилищами;
  • Понимаете архитектуру data lake / lakehouse и multi-layer подход (raw → processed → curated);
  • Имеете опыт подготовки данных (нормализация, дедупликация, golden record / master data);
  • Работали с реляционными БД (PostgreSQL, Greenplum, ClickHouse или аналоги) и SQL;
  • Имеете опыт работы с Airflow или аналогами;
  • Работали с Docker и CI/CD;
  • Имеете опыт работы с облаками (Yandex Cloud, AWS, GCP);
  • Работали с Git.

Будет плюсом:

  • Опыт работы со Spark, Hadoop;
  • Опыт работы с Delta Lake, Iceberg, Hudi.

Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →

Вакансия размещена на Hirify напрямую от HR/нанимающего менеджера