Data Engineer (Python)

Локация: Алматы, микрорайон Самал-2; работа на месте работодателя или в гибридном формате.

Компания

Agile Soft — IT-компания, выполняющая проект для банка.

Что делать

• Строить потоки данных для хранилища и реализовывать трансформации в целевые модели данных.
• Оптимизировать выгрузки данных из систем-источников и выгружать данные в другие системы для дальнейшей обработки.
• Формировать отчетность и реализовывать сверочные отчеты для банковских данных.
• Работать с DWH, атрибутами данных и хранилищами больших данных.

Требования

• От 3 до 6 лет опыта работы; не менее 2 лет опыта разработки хранилищ больших данных.
• Обязательны сильные навыки программирования на Python. Также требуется опыт написания Bash-скриптов в UNIX.
• Знание концепций данных и аналитики: моделирование, ETL, инструменты отчетности, управление данными и хранение данных.
• Знание фундаментальных основ Computer Science, включая устройство распределенных файловых систем.
• Опыт работы с ETL/ELT-системами и инструментами Informatica, Airflow, Dagster, Apache NiFi, Apache Spark и PXF; опыт трансформаций в dbt.
• Опыт работы со стриминговыми сервисами Apache Kafka и RabbitMQ, а также с технологиями CDC: GoldenGate, Informatica и Debezium.
• Опыт работы с отчетами и пакетами бизнес-аналитики Tableau, QlikView или SAP BO.
• Опыт работы с реляционными СУБД Oracle, MS SQL Server и MySQL, а также с нереляционными и колоночными базами Greenplum, Vertica, векторными БД, ClickHouse и Scylla DB.
• Опыт построения хранилищ для финансового сектора. Требуется опыт проектирования схем данных, баз данных и хранилищ, работы с инструментами Data Governance и платформами больших данных HBase, ClickHouse, Druid, MemSQL, Hive или MinIO.
• Опыт работы с S3 и Spark.

Культура и преимущества

• Проектная работа в IT-компании над банковским проектом.
• Гибридный формат с возможностью работы на месте работодателя в Алматы.