Data Engineer (ClickHouse)

Подробное описание вакансии:

Нажмите, чтобы развернуть...

Data Engineer Middle+/Senior. Компания ggsel, проект - маркетплейс цифровых товаров. Удаленная работа из любой точки мира, полная занятость. Зарплата 200-290 т.р. + премии. Основные задачи: разработка и поддержка пайплайнов, оптимизация хранилища и производительности, администрирование и надежность.

Обязанности
- Проектирование ETL/ELT-процессов для переноса данных из PostgreSQL и других источников в ClickHouse
- Написание надёжных и идемпотентных DAG в Airflow для регулярного обновления витрин данных
- Построение слоёв данных с использованием dbt
- Обеспечение качества данных: тесты, проверка свежести, мониторинг аномалий
- Тюнинг ClickHouse: настройка схем таблиц под конкретные бизнес-запросы, устранение узких мест
- Оптимизация SQL-запросов для снижения нагрузки на БД
- Управление ресурсами кластера ClickHouse: CPU, RAM, Disk I/O
- Контроль стоимости хранения
- Обеспечение отказоустойчивости: настройка репликации и бэкапов
- Мониторинг состояния пайплайнов и баз данных
- Оперативное реагирование на инциденты

Требования
- Глубокое знание ClickHouse
- Проектирование схем: Знание семейства движков MergeTree, выбор ключей партиционирования и сортировки для оптимального сжатия и скорости чтения
- Оптимизация запросов: Умение читать планы запросов, оптимизировать потребление памяти, настраивать материализованные представления (Materialized Views) и проекции
- Администрирование: Настройка шардирования и репликации, управление TTL, мониторинг слияний
- Оркестрация: Управление сбором данных через Apache Airflow
- Трансформация: Опыт работы с dbt для построения слоев данных
- Python: Разработка ETL-скриптов, работа с Pandas, интеграция с API
- SQL: Владение на уровне эксперта (аналитические запросы, оптимизация)
- Инфраструктура: Docker (для развертывания ClickHouse), Git

Что предлагаем
- Удаленная работа из любой точки мира
- Конкурентная зарплата + performance премия 2 раза в год
- Гибкий график и фокус на результат
- Оплата обучения, курсов и конференций
- Возможность реально влиять на продукт и команду

Дополнительная информация
Отклики через корпоративный портал. Зарплата указана в тысячах рублей, преобразована в рубли. Премии 2 раза в год.