Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
TL;DR
Data Engineer (Spark/Python): Поиск точек роста и оптимизация процессов поставки данных с акцентом на развитие стандартов проектирования DWH и автоматизацию контроля качества. Фокус на создании нетривиальных ETL-процессов, внедрении новых технологий (DLH) и развитии профессионального сообщества дата-инженеров.
Локация: Гибрид (Санкт-Петербург, Екатеринбург, Казань, Нижний Новгород, Краснодар)
Компания
Команда практик дата-инжиниринга, помогающая сообществу специалистов с внедрением новых инструментов и упрощением процесса разработки.
Что делать
- Оптимизировать текущие процессы поставки данных и искать точки роста.
- Разрабатывать и оптимизировать сложные ETL-процессы обработки данных.
- Развивать сообщество Data Engineer-ов: описывать лучшие практики, развивать стандарты проектирования DWH и матрицу компетенций.
- Внедрять новые технологии, такие как DLH.
- Автоматизировать контроль качества разработки.
- Формировать требования к инструментам для упрощения клиентского пути DE и улучшать онбординг.
Требования
- Умение работать с данными с использованием SQL и Python.
- Знание принципов построения DWH, Data Lake и стандартов архитектуры.
- Опыт работы с Greenplum, Spark/Trino, Hadoop, ClickHouse и навык оптимизации запросов в этих системах.
- Умение работать с ETL-инструментами Apache Airflow, Apache NiFi, Apache Flink.
- Системный подход и аналитическое мышление.
Хорошо, если есть
- Опыт работы с Kafka и ClickHouse.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →