Data Engineer (ClickHouse)

ID 2057
Data Engineer
Middle/Middle+

🌍 Локация: Москва
💼Сотрудничество : по ИП (РФ)
🇷🇺 Вилка до 245 к/до 270 к

Гибридный формат работы - кол-во дней обсуждается индивидуально на интервью, но хотя бы 1 раз в неделю необходимо будет посещать офис. Адрес: Кутузовский просп., 32, корп. 1

Сфера деятельности заказчика
ИТ-компания
Описание проекта
Банковский проект.

Мы ищем инженера, который возьмет на себя ответственность за нашу аналитическую инфраструктуру на базе ClickHouse. Вам предстоит проектировать эффективные витрины данных для отделов маркетинга, продаж и продукта, а также следить за тем, чтобы эти витрины работали быстро и без сбоев.
Ключевая особенность позиции — вам предстоит стать «гуру» ClickHouse внутри команды: не только писать запросы самому, но и учить этому коллег.
Чем предстоит заниматься (Обязанности)
1. Проектирование и разработка витрин данных:
o Трансформация сырых данных (бинлогов, событий, транзакций) в чистые, оптимизированные витрины данных для BI-систем и ad-hoc аналитики.
o Выбор правильной модели данных (схема «звезда», плоские таблицы) в зависимости от бизнес-задач.
o Оптимизация структуры таблиц: выбор ключа сортировки (ORDER BY), партиционирования (PARTITION BY), использование Skip Indexes и TTL.
2. Контроль качества и валидация:
o Разработка автоматических тестов и чеков на корректность данных в витринах (подсчет контрольных сумм, сравнение с эталоном, проверка на «дыры» в данных).
o Мониторинг производительности запросов к витринам. Поиск и устранение "медленных" запросов.
3. Обучение и стандартизация:
o Написание документации и проведение внутренних митапов для аналитиков и смежных разработчиков.
o Объяснение коллегам, почему SELECT * FROM huge_table — это плохо, и как правильно писать запросы под движок MergeTree.
o Проведение код-ревью запросов и логики трансформаций у коллег.
4. Администрирование и настройка ClickHouse:
o Настройка конфигурации серверов (память, потоки, max_memory_usage).
o Участие в поддержке распределенного кластера (шардирование, репликация).
o Оптимизация нагрузки на серверы, работа с профилями настроек (profiles).

Ключевые компетенции
SQL
Linux
PostgreSQL
ClickHouse
ETL
Apache Kafka
MergeTree
ClickHouse Kafka Engine
Гражданство
РФ

Требования
Название вакансии: Инженер по данным / Разработчик ClickHouse (Data Engineer, ClickHouse Developer)

Ключевые навыки: ClickHouse, SQL, ETL/ELT, оптимизация запросов, витрины данных.

Что мы ищем (Требования):
• Опыт: Коммерческий опыт работы с ClickHouse от 1 до 3+ лет
• Понимание движка MergeTree: Вы не просто пишете INSERT и SELECT, а понимаете, как работают первичные индексы, что такое гранулы и как разреженный индекс влияет на скорость.
• Проектирование схем: Умение различать Order By и Primary Key в ClickHouse и правильно выбирать их для конкретных бизнес-срезов.
• Валидация: Опыт написания тестов для пайплайнов данных. Понимание, что дата-инженер отвечает не только за скорость, но и за то, чтобы цифры в отчетах были верными.
• SQL на продвинутом уровне: Написание сложных запросов с оконными функциями, JOIN (с пониманием их ограничений в ClickHouse), работа с массивами и Nested типами.
• Наставничество: Готовность объяснять сложное простыми словами. Опыт обучения коллег будет вашим плюсом.

Будет плюсом:
• Опыт администрирования Linux и настройки десятков инстансов ClickHouse (или работа в Managed Service).
• Знание других СУБД (PostgreSQL) для понимания разницы в подходах.
• Опыт работы с Apache Kafka и инструментами streaming ingestion (ClickHouse Kafka Engine).
Формат работы
Гибридно
Продолжительность проекта
Год

📨 Откликнуться можно в telegram Показать контакты