Senior Data Engineer (ETL/Airflow/Spark)

Data Engineer (Ведущий инженер ETL / Airflow / Spark)

Компания: Centicore
Тип занятости: #full_time
Уровень: #senior
Страна: #RU
Локация: #remote
Зарплата: от 400 000 RUB до 420 000 RUB

Подробное описание вакансии:

Нажмите, чтобы развернуть...

Компания Centicore находится в поисках Data Engineer. Наша компания занимается продуктовой разработкой проектов наших Заказчиков под ключ.

Обязанности
- Сопровождение и анализ существующих процессов загрузки данных
- Тестирование и установка доработок в продуктивный контур
- Разбор технических ККД
- Контроль качества данных для ДПА

Требования
- SQL
- Python
- Apache Spark
- Hadoop\S3\S3-like
- Apache Airflow
- Parquet\ORC
- Опыт работы с Jira + Confluence или аналогичными инструментами
- Git, CI/CD
- XML, JSON
- Навыки системного анализа, тестирования
- Базовое знание работы с РСУБД
- Kafka (базовые знания)
- ETL (Airflow)
- S3 (SDI, minio, spark, hive, impala, SPARK)
- SQL (DML, DDL), опыт работы с Oracle, GreenPlum, MSSQL, Hive, Impala
- Bash (система, скрипты)
- Английский — чтение документации
- Jira, Confluence
- CI/CD (Gitlab, Bitbucket, Bamboo)

Будет плюсом
- знание Apache Iceberg будет плюсом

Дополнительная информация
Формат работы: Удаленно по РФ. Вилка: 400-420к на руки (в зависимости от опыта и пожеланий кандидата). Технический уровень: Senior.

Контакты
- Telegram: Показать контакты

Стек технологий: #sql #python #apache_spark #hadoop #s3 #apache_airflow #parquet #orc #apache_iceberg #jira #confluence #git #ci/cd #xml #json #rdbms #kafka #etl #minio #hive #impala #oracle #greenplum #mssql #bash

🔗Ссылка на канал | 📋Все каналы