Middle Data Engineer

Data Engineer Middle в федеральную логистическую компанию

Гражданство и локация - без ограничений (не более +\- 1 час от МСК). Срок проекта - долгосрок
Нужны кандидаты со стартом ASAP❗️ Сразу присылайте все возможные слоты для собеседования (с 27.07 по 31.07 включительно)❗️
Ставка 1600, с НДС

Наш стек: Greenplum, Trino, Apache Airflow, ClickHouse, Python, Spark, SQL (dbt), S3,Hadoop

Задачи:
* Сбор требований с бизнес-заказчиков и анализ источников данных
* Разработка, реализация и поддержка интеграционных потоков, а также потоков сборки витрин-данных на стеке технологий, принятых в команде: Trino, Iceberg,S3, Spark, Apache Airflow, Kafka, Cosmos, Flink
* Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение типовых задач в установленный срок
* Поддержание в актуальном состоянии документации типовых интеграционных решений платформы больших данных. Предоставление отчетности о своей деятельности руководителю.

Требования:
- Общее представление о стеке технологий Lakehouse
- Понимание различия работы между BigData/Lakehouse и с данными обычного размера
- Знание SQL (индексы, функции, оптимизация, профилирование производительности
- Знание языков программирования (JAVA, Python)
- Опыт работы c реляционными БД (Oracle, Postgres, MySQL, MsSQL, т.п.)
- Умение работать с Git (знание команд git pull/commit/push)
- Опыт работы с DBT, Cosmos, Ni-Fi
- Опыт разработки на Spark
- Понимание особенностей Trino
- Понимание форматов данных Iceberg, Parquet, Avro
- Понимание работы с minio или любого другого хранилища на основе S3
- Опыт использования системами ведения проектов и документации

Откликнуться на запрос: Показать контакты
По вопросам партнерского сотрудничества: @ju_vetta