Data Analyst/Data Engineer (Apache Spark)

Вакансия DA/DE в Альфа-Инсайт. Вендорсакая ставка.

Требования:
• Опыт работы от 2-х лет на позициях DA/DE в области DWH/BI.

➡️Обязательные hard skills:
- Практический опыт работы с Apache Spark — ключевое требование
- Продвинутое знание SQL: сложные joins, оконные функции, CTE, агрегации, подзапросы и оптимизация запросов.
- Опыт оптимизации Spark-задач и SQL-запросов на больших объемах данных.
- Опыт работы с S3
- Опыт работы с Apache Iceberg или понимание его ключевых возможностей
- Понимание принципов построения хранилищ данных (DWH), ETL/ELT-процессов, нормализации данных и организации потоков обработки.
- Опыт работы с технической документацией (BRD, FSD), умение писать ее четко и структурированно.
- Опыт тестирования данных
- Опыт работы с системами контроля версий, включая Git.

➡️Ключевые soft skills:
- Системное аналитическое мышление
- Коммуникабельность
- Самостоятельность и ответственность
- Внимание к деталям и аккуратность

➡️ Будет плюсом:
- Понимание принципов работы с Oracle и Greenplum.
- Опыт работы в финансовой сфере (банк, страхование, финтех).
- Базовые знания Python для скриптинга и анализа данных.
- Понимание методологий управления проектами (Agile, Scrum, Kanban).
- Опыт работы с ClickHouse, Airflow, SuperSet, FineBI.
- Понимание принципов организации data lake и lakehouse-архитектуры.

☑️Обязанности:
• Анализ требований:
- Прием и анализ входящей документации от заказчиков
- Детальный разбор требований, их формализация, проработка неясных моментов.
- Оценка возможности реализации с учетом используемого стека
- Анализ влияния изменений на текущие процессы, модели данных, таблицы и связанные компоненты.
• Проектирование и прототипирование:
- Разработка и согласование концептуального и логического решения.
- Проектирование потоков обработки и трансформации данных с использованием Apache Spark.
- Работа с данными, размещенными в S3 и организованными с использованием Apache Iceberg.
- Написание SQL-кода в среде Apache Spark для создания прототипов, проверки гипотез и подтверждения корректности предлагаемой логики расчетов или моделей данных.
• Тестирование и выпуск изменений:
- Приемка и тестирование патчей от разработчиков на тестовых/предпродуктивных/продуктивных стендах.
- Проверка корректности Spark-задач, SQL-логики, загрузок в S3 и работы таблиц Iceberg.
- Подготовка и контроль выгрузки доработок в продуктивный контур.

⚠️Контакт для связи: Показать контакты