Data Engineer (AI)

TL;DR

Data Engineer (Spark/Python): Создание и поддержка витрин данных и ETL-процессов для команды Data Science с акцентом на архитектуру хранения данных для ML-решений. Фокус на построении эффективных пайплайнов, работе с MPP-базами данных и обеспечении качества данных.

Локация: Москва

Компания

Островок! — один из ведущих сервисов бронирования отелей.

Что делать

• Создавать и поддерживать витрины данных для нужд команды Data Science.
• Настраивать и поддерживать ETL-процессы.
• Повышать и поддерживать качество данных.

Требования

• Опыт работы от 2 лет с данными для ML-решений (особенности хранения, архитектура, историчность).
• Опыт работы с DS-командами, включая сбор и формализацию технических заданий.
• Практический опыт работы с Apache Spark и MPP базами данных.
• Владение Python, SQL, Git и Docker.
• Навыки настройки систем мониторинга ETL-процессов.
• Английский язык на уровне чтения документации.

Хорошо, если есть

• Опыт работы с dbt.
• Опыт работы с Airflow, HDFS, Hive.