Дата-инженер (Airflow/PostgreSQL)

#jobs #Almaty

📍Формат/working arrangement: на месте работодателя, офис в Алматы
✔️Должность/position: Дата-инженер, middle+
🏢 Место работы/workplace: АО «Страховая компания «Казахмыс»
💸 Заработная плата/salary estimate: до 1.000.000 ₸ в месяц, на руки

📈 Обязанности/responsibilities:
— Отвечать за корпоративное хранилище данных компании.
— Разобрать структуру хранения исторической базы 1С объёмом около 1 ТБ.
— Восстановить связи между сущностями исторической базы 1С.
— Анализировать соответствие метаданных 1С физическим таблицам.
— Работать с составными ссылочными типами и автоматическим построением словаря.
— Разрабатывать и поддерживать DAG в Airflow для загрузки данных из 1С, СЭД, Битрикс24 и внутренних сервисов.
— Развивать слои хранилища в PostgreSQL и аналитические витрины в ClickHouse.
— Реализовывать историчность данных: версии, интервалы действия и восстановление состояния на определённую дату.
— Обеспечивать качество данных с помощью проверок внутри пайплайнов и мониторинга.
— Реагировать на сбои и обеспечивать стабильность data-платформы.
— Разрабатывать витрины для ИИ-направления, включая поисковый слой.
— Принимать ответственность за платформу данных целиком.

📌 Требования/requirements:
— Опыт работы от 5 лет.
— Продакшен-опыт работы с Airflow.
— Понимание идемпотентности, повторных запусков, зависимостей и обработки сбоев в Airflow.
— Сильное знание SQL и понимание принципов выполнения запросов.
— Обязательный опыт работы с PostgreSQL.
— Понимание ClickHouse, его отличий от PostgreSQL и сценариев применения.
— Знание Python для трансформации данных.
— Опыт моделирования хранилищ данных.
— Понимание слоёв хранилища, историчности и медленно меняющихся измерений.
— Готовность принимать ответственность за data-платформу целиком.

🌟 Будет плюсом:
— Опыт работы с данными 1С.
— Опыт работы с dbt или другими инструментами трансформации данных.
— Опыт в финансовом секторе или страховании.
— Опыт работы с регуляторной отчётностью.

🛠 Технический стек:
— Python
— SQL
— PostgreSQL
— ClickHouse
— Airflow
— 1С
— Битрикс24
— dbt
— Data Warehouse
— ETL/ELT
— Data Quality

🎯 Основные задачи проекта:
— Развивать и поддерживать собственную корпоративную платформу данных.
— Восстановить ссылочную структуру исторической базы 1С объёмом около 1 ТБ.
— Обеспечить стабильную загрузку данных из корпоративных систем.
— Развивать архитектуру хранилища на PostgreSQL и ClickHouse.
— Обеспечивать историчность и качество данных.
— Создавать аналитические витрины для бизнес-продуктов и ИИ-направления.
— Обеспечивать надёжность и работоспособность платформы данных.
— Влиять на архитектуру хранилища и развитие data-платформы.

🏢 О компании:
— АО «Страховая компания «Казахмыс» — одна из лидирующих страховых компаний Казахстана.
— Компания предоставляет услуги страхования и перестрахования.
— По версии журнала «Forbes Kazakhstan» компания занимала первое место в рейтинге страховщиков Казахстана в 2022 и 2023 годах.
— В компании используется собственная корпоративная платформа данных.
— От хранилища зависят ключевые продукты компании, включая ОГПО, кабинет выплат, Битрикс24 и ИИ-направление.

✅ Условия/working conditions:
— Полная занятость.
— Оформление по трудовому договору.
— Официальное оформление по ТД РК.
— График 5/2.
— Рабочий день с 09:00 до 18:00.
— Рабочие часы: 8 часов.
— Формат работы: на месте работодателя.
— Заработная плата до 1.000.000 ₸ в месяц, на руки.
— Отпуск 24 календарных дня.
— Современный комфортный офис.
— Добровольное медицинское страхование по программе «Стандарт».
— Материальная помощь по личным событиям.
— Welcome pack и Corporate pack.
— Возмещение части стоимости абонемента в фитнес-клуб.
— Возмещение стоимости стартового взноса и премия за участие в марафонах.
— Премии за участие в корпоративных турнирах.

📍 Адрес: Алматы, проспект Аль-Фараби, 98, район Алмалы, Байконур, Жибек Жолы.

📢❗️🚨 Вакансия: