Вы станете первым Data Engineer и будете отвечать за развитие платформы данных, с понятными задачами и перспективой роста; при этом широкий уровень ответственности и работа в офисе требуют учитывать масштаб вовлечения.
?Широкая зона ответственности
Современный стек данных
Рост до руководителя
Финтех-направление
?Работа в офисе
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Создать профиль и узнать мэтч
Описание вакансии
Текст:
Hirify AI/Оригинал
TL;DR
Data Engineer (Middle+/Senior) (Fintech): Построение и развитие хранилища данных, ETL/ELT-пайплайнов и платформы данных с акцентом на интеграцию API, реляционных БД, Kafka и внешних сервисов. Focus on проектирование DWH/Data Lakehouse, обработку больших объемов данных, обеспечение качества и надежности пайплайнов, а также подготовку данных для аналитики и ML-моделей.
Локация: Алматы, офисный формат работы на месте работодателя
Компания
SAPA DIGITAL FINANCE — финтех-компания с действующими продуктами и реальными объемами данных.
Что делать
Стать первым Data Engineer и совместно с подрядчиком реализовать хранилище данных с дальнейшим развитием до платформы данных.
Проектировать архитектуру слоев, модели данных, паттерны разработки DWH и подключение новых источников.
Разрабатывать, поддерживать и оптимизировать ETL/ELT-процессы, пакетные и потоковые пайплайны.
Интегрировать данные из API, реляционных БД, Kafka и внешних сервисов, обеспечивать их качество, целостность и актуальность.
Настраивать мониторинг, логирование, обработку ошибок, резервное копирование и проверки восстановления хранилища.
Готовить данные для аналитики, отчетности и ML-моделей, ставить задачи подрядчикам, принимать результаты и документировать данные.
Требования
От 4 лет опыта работы Data Engineer; общий заявленный опыт — от 3 до 6 лет.
Опыт построения или рефакторинга хранилища данных от источника до витрины на ведущих ролях.
Уверенное владение SQL и Python; практический опыт работы с PostgreSQL и ClickHouse.
Глубокое знание PostgreSQL: индексы, партиционирование, репликация, планы запросов, резервное копирование и восстановление.
Опыт моделирования данных с историей изменений и бизнес-ключами, включая SCD2 и сквозной ключ клиента.
Опыт разработки ETL/ELT с Apache Airflow или аналогичными инструментами, а также автоматических проверок качества данных.
Понимание принципов проектирования DWH, Data Lakehouse, OLTP и OLAP, инкрементальной загрузки и CDC.
Опыт работы с большими объемами данных, оптимизации SQL-запросов, Git, мониторинга, отказоустойчивости и восстановления процессов.
Самостоятельность, системное мышление, ответственность за результат и умение объяснять технические вещи простым языком.
Хорошо, если есть
Опыт работы с Apache Kafka и потоковой обработкой данных.
Опыт использования dbt или аналогичных инструментов трансформаций.
Практический опыт построения или развития Data Lakehouse.
Знакомство с ML-пайплайнами и MLOps.
Опыт работы с финансовыми данными, скоринговыми системами, кредитными продуктами или данными BPM-систем.
Опыт подготовки данных для регуляторной отчетности и интеграции данных в микросервисной архитектуре.
Культура и преимущества
Ответственность за архитектуру данных и самостоятельное принятие технических решений.
Перспектива роста до руководителя Data-направления компании.
Участие в развитии платформы данных и современных решений для аналитики.
Работа в офисе в Алматы.
Конкурентная заработная плата по результатам собеседования.
Компенсация профильного обучения, бесплатные курсы английского языка и медицинское страхование за счет компании с установленным лимитом покрытия.
Будьте осторожны
Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →