Senior Data Platform Engineer / Big Data SRE

#vacancy #вакансия #job #DataPlatformEngineer

Senior Data Platform Engineer / Big Data SRE
Грейд: Middle+/Senior
Локация: РФ
Формат работы: удаленный
Срок привлечения: 7 месяцев с возможной пролонгацией

Эксплуатация и развитие крупной корпоративной платформы данных в промышленной компании.

Обязанности:
- Эксплуатация и развитие платформы
- Администрирование и сопровождение Data Platform (Arenadata DB / Greenplum, Kafka, ClickHouse)
- Управление кластерами хранения и обработки данных
- Настройка и поддержка отказоустойчивости (HA), репликаций, балансировки
- Управление обновлениями, патчами и релизами
Kafka и потоковые данные
- Администрирование Kafka-кластеров (topology, partitioning, replication, retention)
- Тюнинг producer/consumer, работа с lag и производительностью
- Поддержка потоковых ETL и ingestion pipelines
Интеграции и работа с данными
- Интеграция платформы с DWH, BI и ML-системами (тоже обязательно явно)
- Поддержка и развитие контуров передачи и обработки данных между системами
- Участие в обеспечении стабильности data pipelines
Производительность и надежность
- Мониторинг платформы (Prometheus, Grafana, ELK/OpenSearch)
- Анализ производительности (SQL, storage, network)
- Оптимизация запросов и работы кластеров
- Реагирование на инциденты (L2/L3), проведение root cause analysis
Инфраструктура и автоматизация
- Автоматизация эксплуатации (Bash / Python / Ansible / Terraform)
- Развитие CI/CD для инфраструктуры данных
- Управление конфигурациями (Infrastructure as Code)
Интеграции и доступы
- Интеграция с DWH, BI и ML системами
- Настройка RBAC и контроль доступа
Доступы и безопасность
- Настройка RBAC и разграничения доступа
Командная работа
- Подготовка документации и инструкций
- Передача знаний и участие в менторстве

Требования:
- Опыт администрирования Data Platform / Big Data / DWH от 3 лет
- Уверенное знание Linux (RHEL/CentOS/Ubuntu) на уровне системного администрирования
- Практический опыт эксплуатации production-кластеров: Arenadata DB / Greenplum (или аналогичные MPP-системы), Apache Kafka (обязательно с опытом администрирования, не только использования), ClickHouse
- Понимание распределенных систем: репликация, партиционирование, отказоустойчивость, сетевые взаимодействия (TCP/IP), storage
- Опыт работы с: PostgreSQL / Greenplum архитектурой, оптимизацией SQL-запросов
- Практика работы с Kafka: настройка топиков и retention policy, работа с replication / partitioning, performance tuning producer/consumer
- Навыки автоматизации: Bash и/или Python, Ansible и/или Terraform
- Опыт мониторинга: Prometheus, Grafana, ELK / OpenSearch
- Опыт работы с инцидентами: L2/L3 support, root cause analysis

Будет преимуществом:
- Docker / Kubernetes
- Hadoop ecosystem
- Spark / Flink
- Airflow
- Опыт работы с высоконагруженными enterprise DWH
- Опыт в промышленности / телекоме / финтехе

телеграм для связи Показать контакты