2 дня назад
Senior Data Engineer (Retail)
Вакансия из Telegram канала - Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
#9426
Senior Data Engineer — прямой запрос в крупный ритейл
Грейд: senior
Локация специалиста: любая
Гражданство: любое
Загрузка: Full-time
Основные требования:
Стек: Greenplum, Trino, Apache Airflow, ClickHouse, Python, Spark, SQL (dbt), S3, Hadoop
Разработка, реализация и поддержка интеграционных потоков и потоков сборки витрин данных на стеке Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink
Разработка нетиповых интеграций (в т.ч. SAP)
Системная разработка переиспользуемых шаблонов обработки данных
Разработка системного дизайна сложных решений (C2/DD)
Оперативное реагирование на проблемы в зоне ответственности, выполнение типовых задач в срок
Поддержание документации типовых интеграционных решений платформы больших данных
Задачи на проекте:
Общее представление о стеке Lakehouse
Понимание различий между BigData/Lakehouse и обычными данными
Знание SQL (индексы, функции, оптимизация, профилирование производительности)
Знание Java, Python
Опыт с реляционными БД (Oracle, Postgres, MySQL, MsSQL и т.п.)
Умение работать с Git (pull/commit/push)
Опыт с DBT, Cosmos, Ni-Fi
Опыт разработки на Spark
Навыки использования Hadoop: Yarn, Ranger, Zookeeper, Hive metastore
Понимание Trino
Понимание форматов Iceberg, Parquet, Avro
Опыт работы с minio или S3-хранилищем
Опыт использования систем ведения проектов и документации
Опыт разработки нетиповых интеграций (включая SAP)
Опыт разработки near-realtime потоков (Flink, Debezium)
Опыт оптимизации высоконагруженных потоков (миллиарды записей инкремента) с использованием Observability (Grafana, Victoria Metrics, Zabbix)
Писать
Канал Аутстаф запросов @outstaff_requests_phpdev
Senior Data Engineer — прямой запрос в крупный ритейл
Грейд: senior
Локация специалиста: любая
Гражданство: любое
Загрузка: Full-time
Основные требования:
Стек: Greenplum, Trino, Apache Airflow, ClickHouse, Python, Spark, SQL (dbt), S3, Hadoop
Разработка, реализация и поддержка интеграционных потоков и потоков сборки витрин данных на стеке Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink
Разработка нетиповых интеграций (в т.ч. SAP)
Системная разработка переиспользуемых шаблонов обработки данных
Разработка системного дизайна сложных решений (C2/DD)
Оперативное реагирование на проблемы в зоне ответственности, выполнение типовых задач в срок
Поддержание документации типовых интеграционных решений платформы больших данных
Задачи на проекте:
Общее представление о стеке Lakehouse
Понимание различий между BigData/Lakehouse и обычными данными
Знание SQL (индексы, функции, оптимизация, профилирование производительности)
Знание Java, Python
Опыт с реляционными БД (Oracle, Postgres, MySQL, MsSQL и т.п.)
Умение работать с Git (pull/commit/push)
Опыт с DBT, Cosmos, Ni-Fi
Опыт разработки на Spark
Навыки использования Hadoop: Yarn, Ranger, Zookeeper, Hive metastore
Понимание Trino
Понимание форматов Iceberg, Parquet, Avro
Опыт работы с minio или S3-хранилищем
Опыт использования систем ведения проектов и документации
Опыт разработки нетиповых интеграций (включая SAP)
Опыт разработки near-realtime потоков (Flink, Debezium)
Опыт оптимизации высоконагруженных потоков (миллиарды записей инкремента) с использованием Observability (Grafana, Victoria Metrics, Zabbix)
Писать
Канал Аутстаф запросов @outstaff_requests_phpdev
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Текст вакансии взят без изменений
Источник -
