Senior Data Engineer (Python)

Локация: Москва; удалённый формат работы

Компания

Core Портал продавцов — продуктовый юнит Wildberries & Russ с сервисами для более чем 1 млн поставщиков, включая личный кабинет, контент, баланс, логистику и аналитику.

Что делать

• Участвовать в разработке инструмента переноса данных для автоматизации перегрузки из различных источников.
• Формировать хранилища данных на HDFS и ClickHouse.
• Дорабатывать и оптимизировать существующие и разрабатывать новые Airflow-операторы.
• Оптимизировать интеграции со стриминговыми источниками данных через Kafka.
• Формировать аналитические витрины и поставлять их в BI-инструмент.

Требования

• От 3 до 6 лет опыта работы.
• Уверенное программирование на Python от 5 лет.
• Опыт работы с Java или Scala; знание Flink будет большим плюсом.
• Опыт работы с Hadoop, включая Spark, YARN, HDFS и Hive.
• Опыт работы с Apache Airflow или Dagster и Spark/PySpark.
• Опыт оптимизации SQL-запросов, включая индексы, партиционирование и шардирование.
• Опыт работы с MPP СУБД: ClickHouse, Greenplum или Vertica.

Культура и преимущества

• Полностью удалённый формат работы.
• Работа с продуктами для продавцов крупной e-commerce-платформы.
• Масштаб сервиса: более 1 млн поставщиков и ежедневный оборот 5 млрд рублей.