Назад
4 дня назад

Data Engineer (ClickHouse)

Формат работы
remote (только Russia)/onsite
Тип работы
fulltime
Грейд
junior
Страна
Russia

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/
TL;DR
Data Engineer (ClickHouse/Python): Разработка SQL-скриптов, Python-компонентов и ETL/ELT-процессов для загрузки, преобразования и подготовки витрин данных с акцентом на ClickHouse, Apache Airflow и многослойную архитектуру хранилища. Focus on оптимизацию запросов и таблиц, инкрементальные загрузки, контроль качества данных, обработку ошибок и мониторинг пайплайнов.

Локация: удалённая работа или офисы в Москве; рабочий день начинается с 08:00 до 11:00 по МСК.

Компания

CINIMEX — аккредитованная IT-компания, развивающая решения для работы с данными и корпоративными информационными системами.

Что делать

  • Разрабатывать SQL-скрипты в ClickHouse для загрузки и преобразования данных между слоями Raw, Core и Data Mart.
  • Создавать Python-компоненты для извлечения данных из Microsoft SQL Server и загрузки в ClickHouse.
  • Настраивать и сопровождать ETL/ELT-процессы и DAG в Apache Airflow.
  • Проектировать таблицы и модели данных, готовить витрины для отчётности в Yandex DataLens.
  • Реализовывать полные и инкрементальные загрузки, контроль качества, сверку данных, логирование и мониторинг.
  • Оптимизировать запросы, партиционирование и ключи сортировки, документировать решения и передавать процессы в промышленную эксплуатацию.

Требования

  • Практический опыт работы Data Engineer от 1 года.
  • Уверенное знание SQL и опыт разработки и оптимизации запросов в ClickHouse.
  • Опыт построения ETL/ELT-процессов и разработки на Python для интеграции и обработки данных.
  • Практический опыт работы с Apache Airflow: DAG, зависимости, обработка ошибок, повторные запуски и мониторинг.
  • Опыт интеграции с Microsoft SQL Server и понимание многослойного хранилища данных.
  • Навыки реализации загрузок, контроля качества и сверки данных, а также работы с Git.

Культура и преимущества

  • Возможность работать удалённо или в офисе.
  • ДМС со стоматологией, телемедициной и полисом ВЗР.
  • До 7 дней больничного в год без оформления больничного листа.
  • Поэтапная адаптация, регулярное ревью результатов и индивидуальный план развития.
  • Оплата IT-конференций, курсов, тренингов и сертификаций.
  • Корпоративный английский, внутренние митапы и онлайн- и офлайн-активности.

Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →