Data Engineer (Big Data)

TL;DR

Data Engineer (Big Data): Разработка и оптимизация отказоустойчивых ETL/ELT процессов в экосистеме Hadoop и Oracle с акцентом на пайплайны данных и интеграцию источников. Фокус на построении витрин данных, оптимизации Spark-задач и обеспечении качества данных в продуктивных системах.

Локация: Москва

Компания

МегаФон — одна из крупнейших телекоммуникационных компаний в России.

Что делать

• Проектировать и разрабатывать отказоустойчивые ETL/ELT процессы в Hadoop и Oracle.
• Оптимизировать и сопровождать пайплайны данных с использованием Spark, PySpark и Airflow.
• Интегрировать новые источники данных и создавать витрины для бизнес-заказчиков.
• Обеспечивать качество и актуальность данных в продуктивных системах.
• Участвовать в разработке архитектуры хранения и обработки больших данных.
• Выполнять Ad-hoc аналитику и поддерживать команды аналитиков и data scientist.

Требования

• Высшее техническое образование (завершенное или на финальной стадии).
• Опыт разработки на Python (библиотеки pandas, requests) от 6 месяцев, включая учебные проекты.
• Уверенное владение SQL (сложные запросы, оконные функции, планы выполнения).
• Понимание архитектуры Big Data (ETL/ELT, Parquet/ORC, колоночные хранилища).
• Знакомство с оркестрацией (Airflow) и системами контроля версий (Git).
• Базовые навыки работы в Linux и Bash.

Хорошо, если есть

• Опыт использования LLM-агентов и AI-ассистентов (Cursor, Claude Code) для написания и рефакторинга кода.

Культура и преимущества

• Оформление по ТК РФ и прозрачная система вознаграждения.
• Расширенный пакет ДМС со стоматологией.
• Компенсация мобильной связи.
• Четко определенный карьерный путь и поддержка профессионального развития.
• Доступ к 2500 учебных программ в приложении МегаФон Драйв.
• Активное корпоративное сообщество и программа поддержки сотрудников.