5 дней назад
Data Engineer (Kafka/ClickHouse)
hhВакансия с HeadHunter. Контакт ведёт на hh.ru
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Data Engineer (Kafka/ClickHouse): Разработка корпоративного хранилища данных и ETL/ELT-процессов с акцентом на потоковую обработку данных, оптимизацию ClickHouse и мониторинг. Фокус на проектировании DWH, интеграции Kafka, формировании отчетности для кредитных бюро и рефакторинге существующих решений.
Локация: Алматы, Казахстан. Гибридный формат после испытательного срока; работа в офисе по графику 5/2, 9:00–18:00 или 10:00–19:00.
Компания
Продуктовая команда крупного финансового холдинга Solva Group.
Что делать
- Разрабатывать и развивать корпоративное хранилище данных.
- Проектировать и строить ETL/ELT-процессы для загрузки данных из различных источников.
- Настраивать и поддерживать потоковую передачу данных через Kafka.
- Проектировать схемы и оптимизировать запросы в ClickHouse.
- Строить дашборды, алертинг и мониторинг в Grafana.
- Формировать отчетность для кредитных бюро, проводить аудит, профайлинг, оптимизацию и рефакторинг решений.
Требования
- Коммерческий опыт работы в DWH или Data Engineering от 2 лет.
- Знание принципов построения DWH: Kimball, Inmon, star schema, ETL/ELT.
- Уверенное владение SQL и опыт оптимизации сложных запросов.
- Опыт работы с Kafka, включая топики, партиционирование, продюсеров и консьюмеров.
- Опыт работы с ClickHouse: проектирование схем, партиционирование и materialized views.
- Практический опыт со стеком Kafka, ClickHouse, PostgreSQL/MySQL, Grafana, Prometheus, Docker, Airflow и Python или Java/Scala.
Хорошо, если есть
- Опыт формирования и передачи данных в кредитные бюро ГКБ или ПКБ.
- Знание Consul, Vault, Kibana, ELK, JUnit, Mockito, Gradle или Maven.
Культура и преимущества
- Работа в надежном финансовом холдинге с профессиональным менеджментом.
- Команда, готовая делиться опытом и идеями.
- Гибридный формат после испытательного срока и комфортный офис в центре Алматы.
- Отпуск 28 дней и 8 дополнительных выходных дней.
- Корпоративные мероприятия.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →