обновлено 3 дня назад
Data Engineer (Middle/Senior) (ClickHouse)
Вакансия из Telegram канала - Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
(Middle/Senior)
‼️ Только для кандидатов, которые проживают в Польше, Грузии, Армении!
Присылайте в тг ваше резюме файлом!
Чем предстоит заниматься
Развивать и поддерживать хранилище данных на ClickHouse.
Проектировать и оптимизировать витрины данных.
Разрабатывать и сопровождать ETL/ELT-процессы на Python и Apache Airflow.
Проектировать, внедрять и развивать CDC-процессы для потоковой загрузки данных из MySQL и MongoDB в ClickHouse.
Оптимизировать производительность запросов и архитектуру хранения данных.
Настраивать партиционирование, использовать семейство MergeTree, dictionaries и другие возможности ClickHouse.
Обеспечивать качество данных: проводить сверки источников, выявлять и устранять расхождения, анализировать причины ошибок.
Поддерживать инфраструктуру ETL-процессов и контролировать стабильность их работы.
Настраивать мониторинг, алертинг и участвовать в устранении инцидентов.
Работать с Git/GitLab, участвовать в code review.
Поддерживать техническую документацию в Confluence.
Мы ожидаем
Коммерческий опыт работы Data Engineer от 3 лет.
Отличное знание SQL и опыт написания сложных оптимизированных запросов.
Уверенный опыт работы с ClickHouse.
Практический опыт работы с MySQL.
Опыт работы с MongoDB и другими NoSQL-хранилищами.
Опыт разработки ETL/ELT-процессов.
Опыт работы с Apache Airflow или аналогичными системами оркестрации.
Понимание принципов CDC (Change Data Capture) и опыт построения соответствующих процессов.
Опыт проектирования и внедрения процессов Data Quality.
Навыки разработки на Python для построения ETL-пайплайнов.
Опыт работы с Git.
Будет преимуществом
Глубокая экспертиза в ClickHouse:семейство MergeTree (ReplacingMergeTree и др.);
dictionaries;
партиционирование;
исторические загрузки;
оптимизация тяжелых запросов.
Практический опыт работы с Apache Kafka.
Опыт настройки мониторинга в Grafana.
Опыт работы с Power BI или другими BI-инструментами.
Опыт работы с Google Analytics.
Опыт миграции данных из BigQuery в ClickHouse.
Опыт построения и проверки Data Quality между BigQuery и ClickHouse.
Опыт работы с данными в сфере iGaming или беттинга.
Если вас заинтересовала вакансия, пожалуйста, свяжитесь со мной!
тг
‼️ Только для кандидатов, которые проживают в Польше, Грузии, Армении!
Присылайте в тг ваше резюме файлом!
Чем предстоит заниматься
Развивать и поддерживать хранилище данных на ClickHouse.
Проектировать и оптимизировать витрины данных.
Разрабатывать и сопровождать ETL/ELT-процессы на Python и Apache Airflow.
Проектировать, внедрять и развивать CDC-процессы для потоковой загрузки данных из MySQL и MongoDB в ClickHouse.
Оптимизировать производительность запросов и архитектуру хранения данных.
Настраивать партиционирование, использовать семейство MergeTree, dictionaries и другие возможности ClickHouse.
Обеспечивать качество данных: проводить сверки источников, выявлять и устранять расхождения, анализировать причины ошибок.
Поддерживать инфраструктуру ETL-процессов и контролировать стабильность их работы.
Настраивать мониторинг, алертинг и участвовать в устранении инцидентов.
Работать с Git/GitLab, участвовать в code review.
Поддерживать техническую документацию в Confluence.
Мы ожидаем
Коммерческий опыт работы Data Engineer от 3 лет.
Отличное знание SQL и опыт написания сложных оптимизированных запросов.
Уверенный опыт работы с ClickHouse.
Практический опыт работы с MySQL.
Опыт работы с MongoDB и другими NoSQL-хранилищами.
Опыт разработки ETL/ELT-процессов.
Опыт работы с Apache Airflow или аналогичными системами оркестрации.
Понимание принципов CDC (Change Data Capture) и опыт построения соответствующих процессов.
Опыт проектирования и внедрения процессов Data Quality.
Навыки разработки на Python для построения ETL-пайплайнов.
Опыт работы с Git.
Будет преимуществом
Глубокая экспертиза в ClickHouse:семейство MergeTree (ReplacingMergeTree и др.);
dictionaries;
партиционирование;
исторические загрузки;
оптимизация тяжелых запросов.
Практический опыт работы с Apache Kafka.
Опыт настройки мониторинга в Grafana.
Опыт работы с Power BI или другими BI-инструментами.
Опыт работы с Google Analytics.
Опыт миграции данных из BigQuery в ClickHouse.
Опыт построения и проверки Data Quality между BigQuery и ClickHouse.
Опыт работы с данными в сфере iGaming или беттинга.
Если вас заинтересовала вакансия, пожалуйста, свяжитесь со мной!
тг
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Текст вакансии взят без изменений
Источник -
