Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Data Engineer (Spark): Развитие и масштабирование Data Lake House для удобства ML-команд с акцентом на проектирование DWH, ETL-пайплайны и качество данных. Focus on построение потоков на Kafka, S3, Spark и Airflow, работу с OLTP/OLAP-системами и ускорение инфраструктуры.
Локация: Минск, проспект Победителей, 100; доступны офисный, удалённый и гибридный форматы работы.
Зарплата определяется по результатам собеседования, с привязкой к USD.
Компания
21vek.by — ecommerce-компания, развивающая платформу для продажи товаров и внутренние технологические системы.
Что делать
- Развивать и масштабировать Data Lake House для источников данных.
- Проектировать и поддерживать DWH, Data Lake и Data Vault-подобные системы.
- Создавать и развивать ETL-пайплайны с использованием Kafka, Spark и Airflow.
- Готовить данные для ML-команд и взаимодействовать с бизнесом при формулировании требований.
- Повышать качество, производительность и наблюдаемость решений.
Требования
- От 1 года до 3 лет опыта в Data Engineering.
- Опыт проектирования DWH, Data Lake, Data Vault или подобных систем.
- Уверенные знания СУБД и SQL, понимание OLTP и OLAP.
- Знание ETL-инструментов: Airflow, Kafka, Spark или dbt.
- Понимание подходов к качеству данных, тестированию и мониторингу.
- Умение работать с бизнесом и формулировать требования.
Хорошо, если есть
- Опыт подготовки данных для ML-специалистов.
- Опыт масштабирования инфраструктуры, модернизации и ускорения готовых решений.
- Опыт работы с ClickHouse и контейнеризацией.
- Опыт в ecommerce-компаниях.
Культура и преимущества
- Официальное трудоустройство по ТК РБ.
- 25 календарных дней отпуска и 4 дополнительных day-off в год.
- Техника для работы, ежегодный Performance Review, обучение и сертификация за счёт компании.
- Льготное медицинское страхование для сотрудников и членов семьи.
- Компенсация спорта, скидки и рассрочка на товары 21vek.by.
- Корпоративные мероприятия и партнёрская программа скидок.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →