Senior DevOps Engineer (DWH/ML Platform)

Senior DevOps Engineer (DWH/ML Platform)
Ищем DevOps-инженера, который не просто «держит прод», а строит масштабируемую платформу для работы с данными. Вам предстоит развивать инфраструктуру, на которой крутятся Trino, Spark и ML-модели, используя лучшие практики IaC и Kubernetes.

Технологический стек
Core Infra: AWS (EKS, VPC, IAM), Kubernetes, Terragrunt
CI/CD: GitLab CI
Compute & Query: Trino, Apache Spark
Storage: S3 (Data Lake, Apache Iceberg), ClickHouse, ScyllaDB
Orchestration: Apache Airflow (Kubernetes Executor)
Observability: Prometheus, Grafana, ELK
Deployment: Helm


Чем предстоит заниматься
Развитие Kubernetes-платформы (EKS)
Написание и поддержка сложных Helm-чартов для stateful-приложений (Trino, ClickHouse, Solr, ScyllaDB).
Управление ресурсами, автомасштабированием (HPA/VPA, Cluster Autoscaler, Karpenter).
Настройка сетевых политик, Ingress, service mesh при необходимости.

Infrastructure as Code
Полное описание инфраструктуры через Terragrunt: EKS-кластеры, VPC, IAM, S3, RDS и др.
Поддержка принципа DRY, управление стейтами в AWS S3.
Структурирование кода для нескольких окружений (dev/stage/prod).
CI/CD пайплайны
Построение процессов доставки кода и данных через GitLab CI.
Настройка GitLab Runners (в т.ч. на Kubernetes), кэширование артефактов.
Автоматизация тестирования инфраструктуры, Helm-чартов и Terraform-модулей.
Observability
Настройка сбора метрик через Prometheus (ServiceMonitors, PodMonitors, Exporters).
Визуализация в Grafana: дашборды для Data-компонентов и инфраструктуры.
Настройка алертинга для критичных сценариев: лаг репликации, очередь задач Spark/Airflow, утилизация ресурсов.
Централизованный сбор логов.

Data Ops
Поддержка кластеров Trino и Spark, обеспечение их взаимодействия с S3 (Iceberg) и базами данных (Solr, ScyllaDB).
Настройка Airflow на Kubernetes Executor, помощь DE-команде с инфраструктурными вопросами.
Участие в работе с инцидентами.

ML Support
Обеспечение стабильной работы сервисов ML (Solr, ScyllaDB, Redis) в продакшене.
Поддержка инфраструктуры для MLflow, Feast, inference-сервисов.

Что хотим видеть:
Если вы не работали с инструментами ниже, нам, к сожалению, будет сложно:
Kubernetes (Expert level): Вы не просто используете готовые манифесты, а понимаете внутренности EKS, умеете писать собственные Helm-чарты с нуля и дебажить сложные проблемы (OOMKilled, Pending pods, PVC issues, networking).
IaC: Умение структурировать код для нескольких окружений (dev/stage/prod).
GitLab CI: Глубокое понимание .gitlab-ci.yml, опыт настройки пайплайнов со сложной логикой.
AWS: Понимание сетевого взаимодействия и управления правами (IAM Policies/Roles, IRSA).
Опыт эксплуатации Big Data стека: например Trino (Presto), Spark, Airflow.
Опыт работы с колоночными NoSQL (ScyllaDB/Cassandra).
Опыт работы с поисковыми движками (Solr или Elasticsearch).
Понимание процессов MLOps и опыт с ML-инфраструктурой (MLflow, Feast, KServe).
Опыт с GitOps (ArgoCD, Flux).
Опыт работы с Apache Iceberg и Data Lake архитектурой.

Показать контакты