Data Engineer (Python/Spark)

Локация: удалённо, Карши, Узбекистан

Компания

YAKUBOVS SCHOOL развивает образовательные продукты и ищет инженера данных в техническую команду.

Что делать

• Разрабатывать и поддерживать ETL/ELT-процессы для real-time и offline data products.
• Проектировать Data Lake и Data Warehouse для batch- и real-time streaming-данных.
• Создавать системы мониторинга, alerting и performance metrics.
• Разрабатывать автоматизированные workflow и CI/CD pipelines.
• Собирать требования у Product и других команд, проектировать решения и готовить design documents.
• Поддерживать документацию, runbook'и и troubleshooting guides, участвовать в Agile-процессах.

Требования

• От 1 года до 3 лет опыта в разработке данных.
• Уверенное знание Python, PySpark и Spark SQL / ANSI SQL.
• Опыт работы с Apache Spark / Spark Streaming, Kafka / Kafka Streams и data ingestion.
• Знание AWS, включая S3, а также форматов JSON, CSV, Parquet, PSV и Delta.
• Опыт с Git, CI/CD, DevOps и построением масштабируемых Data Lake / Data Warehouse решений.
• Сильный английский язык для коммуникации и технической документации.

Хорошо, если есть

• Опыт работы с Databricks и MLflow.
• Опыт mentoring, team guidance и работы с real-time data systems.

Культура и преимущества

• Удалённый формат работы.
• Взаимодействие с Product и другими командами.
• Возможность самостоятельно объяснять и защищать технические решения.
• Участие в Agile-процессах и работа над масштабируемыми data solutions.