Data Platform Engineer (Big Data/SRE)

#Dataplatform #BigDataвакансия #BigDataинженер
#вакансия

❇️ Data Platform Engineer ❇️ | Компания Top Selection

🔥 Мы в поиске Data Platform Engineer
/Big Data SRE (Linux) на проектную занятость

Грейд: Middle+|senior
Ставка: от 256К до 280К
Гражданство/Локация: РФ
Загрузка: фуллтайм
Срок: долгосрочный
Оформление: только ИП 📌

📌Проект:
Эксплуатация и развитие крупной корпоративной платформы данных в промышленной компании.

✅Обязательно:
- Опыт администрирования Data Platform / Big Data / DWH от 3 лет
- Уверенное знание Linux (RHEL/CentOS/Ubuntu) на уровне системного администрирования
- Практический опыт эксплуатации production-кластеров: Arenadata DB / Greenplum (или аналогичные MPP-системы), Apache Kafka (обязательно с опытом администрирования, не только использования), ClickHouse
- Понимание распределенных систем: репликация, партиционирование, отказоустойчивость, сетевые взаимодействия (TCP/IP), storage
- Опыт работы с: PostgreSQL / Greenplum архитектурой, оптимизацией SQL-запросов
- Практика работы с Kafka: настройка топиков и retention policy, работа с replication / partitioning, performance tuning producer/consumer
- Навыки автоматизации: Bash и/или Python, Ansible и/или Terraform
- Опыт мониторинга: Prometheus, Grafana, ELK / OpenSearch
- Опыт работы с инцидентами: L2/L3 support, root cause analysis

➕Желательно:
- Docker / Kubernetes
- Hadoop ecosystem
- Spark / Flink
- Airflow
- Опыт работы с высоконагруженными enterprise DWH
- Опыт в промышленности / телекоме / финтехе

📝 Задачи: Эксплуатация и развитие платформы
- Администрирование и сопровождение Data Platform (Arenadata DB / Greenplum, Kafka, ClickHouse)
- Управление кластерами хранения и обработки данных
- Настройка и поддержка отказоустойчивости (HA), репликаций, балансировки
- Управление обновлениями, патчами и релизами
Kafka и потоковые данные
- Администрирование Kafka-кластеров (topology, partitioning, replication, retention)
- Тюнинг producer/consumer, работа с lag и производительностью
- Поддержка потоковых ETL и ingestion pipelines
Интеграции и работа с данными
- Интеграция платформы с DWH, BI и ML-системами
- Поддержка и развитие контуров передачи и обработки данных между системами
- Участие в обеспечении стабильности data pipelines
Производительность и надежность
- Мониторинг платформы (Prometheus, Grafana, ELK/OpenSearch)
- Анализ производительности (SQL, storage, network)
- Оптимизация запросов и работы кластеров
- Реагирование на инциденты (L2/L3), проведение root cause analysis
Инфраструктура и автоматизация
- Автоматизация эксплуатации (Bash / Python / Ansible / Terraform)
- Развитие CI/CD для инфраструктуры данных
- Управление конфигурациями (Infrastructure as Code)
Интеграции и доступы
- Интеграция с DWH, BI и ML системами
- Настройка RBAC и контроль доступа
Доступы и безопасность
- Настройка RBAC и разграничения доступа

Показать контакты