Middle Data Engineer

Локация: Пермь, Монастырская улица, 61; работа на месте работодателя, удалённо или в гибридном формате. Полная удалёнка доступна из любой точки РФ.

Компания

«Умная Логистика» — SaaS-экосистема для управления цепочками поставок и грузоперевозками в РФ, которой пользуются тысячи грузовладельцев и транспортных компаний.

Что делать

• Развивать DWH и Data Lake на базе S3, PostgreSQL и ClickHouse.
• Разрабатывать и поддерживать ETL/ELT-пайплайны на Python и Apache Spark (PySpark).
• Создавать, оптимизировать и мониторить регулярные DAG в Apache Airflow.
• Проектировать агрегированные витрины для продуктовой и бизнес-аналитики в Apache Superset.
• Интегрировать данные из микросервисов, очередей сообщений и внешних API, включая телематику, скоринг контрагентов и картографические сервисы.
• Валидировать данные, профилировать и ускорять аналитические запросы в ClickHouse и PostgreSQL.

Требования

• Коммерческий опыт работы Data Engineer или DWH-разработчиком от 1,5 лет.
• Уверенное владение SQL: сложные агрегаты, оконные функции, CTE, оптимизация и чтение планов выполнения через EXPLAIN.
• Опыт с Apache Airflow: разработка DAG, стандартные и кастомные операторы, идемпотентность и бэкфилы.
• Опыт с PostgreSQL: реляционное моделирование, индексы и транзакции; с ClickHouse: движки семейства MergeTree и колоночное хранение.
• Опыт с S3-совместимыми хранилищами, структурой каталогов и форматами Parquet/ORC.
• Уверенный Python для написания чистого и структурированного кода обработки данных.
• Базовое понимание подготовки данных для BI-инструментов, в частности Apache Superset.
• Навыки работы с Git, Docker и Linux-окружением.

Хорошо, если есть

• Опыт с брокерами сообщений Apache Kafka или RabbitMQ.
• Опыт с dbt или инструментами валидации данных Great Expectations и Pandera.
• Опыт настройки подключений, дашбордов или семантического слоя в Apache Superset.
• Понимание логистического или B2B SaaS-домена.

Культура и преимущества

• Развитие современной платформы данных без устаревшего легаси и работа с сильной командой.
• Полностью официальное трудоустройство по ТК РФ и белая заработная плата.
• Гибкий формат работы: удалённо из РФ, в офисе или гибридно.
• Производительный рабочий ноутбук и необходимые доступы.
• Компенсация профильных курсов, литературы и участия в конференциях.
• Минимум бюрократии, открытость к инженерным инициативам и доверие к процессам.