Эта вакансия в архиве
Посмотреть похожие вакансии ↓29 дней назад
DevOps Middle (Big Data)
1 700₽
Описание вакансии
TL;DR
DevOps Middle (Big Data): Развертывание и настройка managed-кластеров Spark, инфраструктуры и пайплайнов обработки данных с акцентом на Greenplum, Kubernetes, Terraform и мониторинг. Фокус на настройке сетевого взаимодействия, управлении ресурсами Spark-кластеров, CI/CD и логировании Spark-джобов.
DevOps Middle
Ставка: до 1700, с НДС
Локация: РФ
Гражданство: РФ
Срок привлечения: на 1 месяц, (старт: 05.11.2026)
Требования:
Инфраструктура и Cloud:
- Опыт развертывания и настройки managed-кластеров Spark (Yandex Data Proc, Google Dataproc, AWS EMR).
- Владение Terraform (или Ansible) для автоматизации инфраструктуры.
- Настройка сетевого взаимодействия (VPC, VPN, Security Groups) между Greenplum и Spark.
- Опыт работы с Docker и Kubernetes (если Spark запускается на K8s).
Big Data стек:
- Понимание архитектуры Greenplum и способов выгрузки данных (gpfdist, PXF, JDBC).
- Знание архитектуры Spark (Driver, Executor, History Server), умение управлять ресурсами кластера.
- Настройка оркестрации пайплайнов (Apache Airflow).
- Работа с форматами данных (Parquet, ORC, Avro).
Мониторинг и CI/CD:
- Настройка мониторинга и логирования для Spark-джобов (Prometheus, Grafana, ELK).
- Настройка CI/CD для деплоя Spark-приложений (GitLab CI, Jenkins).
Языки и утилиты:
- Python (PySpark) или Scala — для написания инфраструктурных скриптов и отладки.
- Bash-скриптинг
Откликнуться на запрос:
По вопросам партнерского сотрудничества:
Ставка: до 1700, с НДС
Локация: РФ
Гражданство: РФ
Срок привлечения: на 1 месяц, (старт: 05.11.2026)
Требования:
Инфраструктура и Cloud:
- Опыт развертывания и настройки managed-кластеров Spark (Yandex Data Proc, Google Dataproc, AWS EMR).
- Владение Terraform (или Ansible) для автоматизации инфраструктуры.
- Настройка сетевого взаимодействия (VPC, VPN, Security Groups) между Greenplum и Spark.
- Опыт работы с Docker и Kubernetes (если Spark запускается на K8s).
Big Data стек:
- Понимание архитектуры Greenplum и способов выгрузки данных (gpfdist, PXF, JDBC).
- Знание архитектуры Spark (Driver, Executor, History Server), умение управлять ресурсами кластера.
- Настройка оркестрации пайплайнов (Apache Airflow).
- Работа с форматами данных (Parquet, ORC, Avro).
Мониторинг и CI/CD:
- Настройка мониторинга и логирования для Spark-джобов (Prometheus, Grafana, ELK).
- Настройка CI/CD для деплоя Spark-приложений (GitLab CI, Jenkins).
Языки и утилиты:
- Python (PySpark) или Scala — для написания инфраструктурных скриптов и отладки.
- Bash-скриптинг
Откликнуться на запрос:
По вопросам партнерского сотрудничества:
Текст вакансии взят без изменений
Источник -
Музыка
Осень
Поддержка