Data Engineer (Рекомендации)

Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ.
Рекомендации - команда занимается построением платформой данных для обеспечения стабильной работы ML специалистов и продуктовых аналитиков для отдела разработки рекомендательных систем. В наши задачи входят задачи как забора данных так и развитие хранилищ для работы с с ними. Ищем инженера, который не просто будет перекладывать данные между базами, а будет строить платформу данных вместе с нами.
Вам предстоит:

• Участвовать в построении Lakehouse (Iceberg) на базе Hadoop;


• создавать и развивать процессы управления данными и их качеством;


• делать ресерч и тестировать новые инструменты и хранилища для работы с данными;


• извлекать, преобразовывать, загружать и обрабатывать данные, ETL/ELT (Python/Airflow);


• оптимизировать процессы поставки новых данных под бизнес требования;


• работать с большим разнообразием источников данных (Kafka, api, различные бд).

Вы нам подходите, если:

• Имеет уверенный опыт программирования на Python (не менее 3-х лет);


• обладаете знаниями SQL;


• имеете опыт работы с Apache Airflow;


• имеете работы с Hadoop (Spark/Yarn/Hdfs);


• имеете работы c Greenplum или другими MPP-системами.

Условия для сотрудников:

• Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое;


• Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании;


• Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.;


• Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников;


• Скидки и партнерские программы: на обучение, страхование, покупки и многое другое;


• Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.

Требования

Инженер по данным, Средний (Middle) • Apache Hadoop • Apache Spark • Apache Airflow • Python

Местоположение и тип занятости

Москва, Санкт-Петербург • Полный рабочий день • Можно удалённо