Data Engineer (ClickHouse)

Локация: Москва, Новослободская улица, 16; работа на месте работодателя или в гибридном формате

Компания

СалютДевайсы развивает продукты и платформы, которыми пользуются миллионы пользователей.

Что делать

• Определять и развивать целевую архитектуру платформы данных и ключевых доменных моделей.
• Проектировать и реализовывать критичные пайплайны и хранилища, обеспечивая надёжность, производительность и масштабируемость.
• Вводить стандарты качества данных, схем, версионирования, мониторинга и алёртинга.
• Проводить архитектурные ревью и дизайн-сессии, помогать с декомпозицией и решением сложных задач.
• Оптимизировать хранение, запросы и пайплайны, снижать стоимость и повышать SLA.
• Проектировать capacity planning, нагрузочное тестирование, отказоустойчивость и disaster recovery, включая репликацию, резервное копирование, восстановление и сценарии отказа компонентов и кластеров.

Требования

• Опыт работы от 3 до 6 лет.
• Высокий уровень владения Python, SQL, Airflow и dbt.
• Опыт построения систем с HA/DR: отказоустойчивость, disaster recovery, backup/restore, RPO/RTO и multi-AZ/кластерные конфигурации.
• Глубокое знание ClickHouse и его архитектуры, включая шардирование, репликацию, Distributed-таблицы, ClickHouse Keeper, MergeTree, партиционирование, TTL, materialized views, projections, S3, tiered storage, ORDER BY/primary key, индексы, JOIN и агрегации.
• Глубокое понимание архитектуры распределённых систем: CAP, репликация, консистентность, отказоустойчивость и идемпотентность.
• Опыт построения высоконагруженных ingestion-пайплайнов с SLA на этапах ingestion → storage → transformation → serving → BI/ML; Kafka или очереди сообщений, batch и streaming ingestion, consumer groups, backpressure, retries, deduplication, ordering и schema evolution.
• Опыт построения data platform, lakehouse или DWH: raw/bronze → silver → gold, медальонная модель, витрины, семантический слой и object storage.
• Навыки оптимизации стоимости хранения и обработки: hot/warm/cold storage, TTL, S3, compression, retention policies и pre-aggregation.

Хорошо, если есть

• Знание Metabase.

Культура и преимущества

• Сильная команда, амбициозные задачи и продукты, которыми пользуются миллионы.
• Новый офис в центре Москвы и гибкое начало рабочего дня.
• ДМС и НС с первого месяца работы.
• Курсы и тренинги от корпоративного университета, внешнее обучение за счёт компании и участие в конференциях.
• Льготная ипотека, корпоративная пенсионная программа, скидки и бонусы СберКлуба, подписка СберПрайм+.