2 дня назад
Data Engineer (Middle)
Вакансия из Telegram канала - Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
#9455
Data инженер (Middle)
Локация: Любая
Гражданство: РФ/РБ
Загрузка: Full-time
Требования:
- Стек: Greenplum, Trino, Apache Airflow, ClickHouse, Python, Spark, SQL (dbt), S3, Hadoop
- Сбор требований с бизнес-заказчиков и анализ источников данных
- Разработка, реализация и поддержка интеграционных потоков, а также потоков сборки витрин-данных на стеке: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink
- Оперативное реагирование на проблемы, выполнение типовых задач в срок
- Поддержание документации типовых интеграционных решений платформы больших данных
- Общее представление о стеке Lakehouse
- Понимание различий между BigData/Lakehouse и обычными данными
- Знание SQL (индексы, функции, оптимизация, профилирование)
- Знание Java, Python
- Опыт работы с реляционными БД (Oracle, Postgres, MySQL, MsSQL и т.п.)
- Умение работать с Git (pull/commit/push)
- Опыт работы с DBT, Cosmos, Ni-Fi
- Опыт разработки на Spark
- Понимание особенностей Trino
- Понимание форматов данных Iceberg, Parquet, Avro
- Понимание работы с minio или S3-хранилищами
- Опыт использования системами ведения проектов и документации
Писать
Канал Аутстаф запросов @outstaff_requests_phpdev
Data инженер (Middle)
Локация: Любая
Гражданство: РФ/РБ
Загрузка: Full-time
Требования:
- Стек: Greenplum, Trino, Apache Airflow, ClickHouse, Python, Spark, SQL (dbt), S3, Hadoop
- Сбор требований с бизнес-заказчиков и анализ источников данных
- Разработка, реализация и поддержка интеграционных потоков, а также потоков сборки витрин-данных на стеке: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink
- Оперативное реагирование на проблемы, выполнение типовых задач в срок
- Поддержание документации типовых интеграционных решений платформы больших данных
- Общее представление о стеке Lakehouse
- Понимание различий между BigData/Lakehouse и обычными данными
- Знание SQL (индексы, функции, оптимизация, профилирование)
- Знание Java, Python
- Опыт работы с реляционными БД (Oracle, Postgres, MySQL, MsSQL и т.п.)
- Умение работать с Git (pull/commit/push)
- Опыт работы с DBT, Cosmos, Ni-Fi
- Опыт разработки на Spark
- Понимание особенностей Trino
- Понимание форматов данных Iceberg, Parquet, Avro
- Понимание работы с minio или S3-хранилищами
- Опыт использования системами ведения проектов и документации
Писать
Канал Аутстаф запросов @outstaff_requests_phpdev
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Текст вакансии взят без изменений
Источник -