Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
TL;DR
Дата-инженер (Python/PySpark): Разработка и поддержка ETL/ELT-процессов и пайплайнов загрузки данных в PostgreSQL и S3 с акцентом на оркестрацию потоков и работу с потоковыми данными. Фокус на построении масштабируемых DAG в Airflow, интеграции через Kafka и развитии архитектуры DWH/Data Lake.
Локация: Удалённо (Россия)
Зарплата: 250 000 — 350 000 ₽/мес на руки
Компания
Selecty — аккредитованная IT-компания, оказывающая услуги в сфере IT-аутсорсинга более 10 лет для крупного бизнеса.
Что делать
- Разрабатывать и поддерживать ETL/ELT-процессы.
- Строить пайплайны загрузки данных в PostgreSQL и S3.
- Разрабатывать обработчики на Python и PySpark.
- Оркестрировать потоки данных с помощью Apache Airflow.
- Работать с потоковыми данными и интеграциями через Kafka.
- Участвовать в развитии архитектуры DWH и Data Lake.
Требования
- Опыт работы Data Engineer от 3 лет.
- Уверенное знание Python и SQL.
- Опыт работы с Spark / PySpark.
- Опыт построения DAG’ов в Apache Airflow.
- Опыт работы с S3 или S3-compatible storage.
- Опыт работы с PostgreSQL и Kafka.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →