Data Engineer (ClickHouse)

TL;DR

Data Engineer (ClickHouse/Kafka): Разработка и оптимизация систем сбора и хранения данных о пользовательском окружении с акцентом на производительность ClickHouse и построение ETL-процессов. Фокус на проектировании архитектуры хранения, автоматизации с помощью Bash и интеграции AI-инструментов в рабочие процессы.

Локация: Москва, БЦ "Даниловский форт". Возможен гибридный формат работы.

Зарплата: 200 000 — 300 000 ₽ на руки

Компания

Команда разрабатывает продукт для сбора, хранения и анализа данных о пользовательском окружении в режиме NRT для оперативного выявления и решения проблем пользователей.

Что делать

• Поддерживать, развивать и оптимизировать кластеры ClickHouse.
• Проектировать и реализовывать ETL-процессы с использованием Kafka и Bash.
• Осуществлять мониторинг и повышать производительность баз данных.
• Разрабатывать и поддерживать скрипты автоматизации на Bash.
• Участвовать в проектировании архитектуры хранения и обработки данных.

Требования

• Глубокие знания ClickHouse: проектирование таблиц, движки MergeTree, ReplicatedMergeTree, Kafka, шардирование и партиционирование.
• Опыт настройки Kafka и разработки пайплайнов обработки данных.
• Уверенное владение Bash для автоматизации рутинных задач.
• Опыт работы с Linux в консоли.
• Навыки работы с генеративными AI-моделями; опыт создания AI-агентов будет преимуществом.

Хорошо, если есть

• Опыт работы с PostgreSQL или MySQL.
• Знание Python для автоматизации.
• Опыт с CI/CD, Docker и Kubernetes.
• Навыки работы с Prometheus, Grafana или Zabbix.

Культура и преимущества

• ДМС с первого дня работы и бесплатный спортзал.
• Гибкий график начала рабочего дня.
• Обучение и сертификация за счет компании.
• Бесплатная подписка Прайм для сотрудника и его близких.
• Выстроенная система адаптации с наставником и прозрачные возможности роста.