Middle/Senior Data Engineer (Scala/Spark)

#dataengineer #middle #senior
Middle/Senior Data Engineer
Полная занятость, удаленка

Наша команда занимается созданием ETL-процессов и агрегатов для формирования витрин данных и отчетов для BI и конечных пользователей.

Стек технологий: Scala, Apache Spark, ClickHouse, HDFS, Apache Airflow, PostgreSQL, Apache Kafka, Apache Hive, Apache Iceberg

Чем предстоит заниматься:
- Построение, поддержка ETL-процессов и решение разнообразных бизнес-задач для обработки больших объёмов данных с использованием Spark+Scala
- Оптимизация скорости обработки данных и потребления системных ресурсов
- Создание оптимальных SQL-запросов средней сложности для анализа больших объёмов данных по требованиям бизнеса

Что мы ожидаем от кандидата:
- Владение Scala, Java или готовность оперативно освоить основы scala
- Консольный минимум Linux
- Опыт работы со Spark, уверенное понимание принципов работы и потенциальных проблем
- Знание основ работы с БД, уверенное знание SQL

Будет плюсом:
- Опыт работы с Zepellin или Jupiter
- Знание Hadoop/HDFS, работа с Parquet-файлами, работа с hive
- Умение работать с GitLab CI
- Знание Bash достаточное, чтобы внести исправления в скрипты
- Минимальные знания Python
- Английский на уровне B1 и выше

Условия:
ЗП от $1800
Оформление ИП/Самозанятость,
100% оплата больничного и отпуска
Техника для работы
Корпоративные обучающие программы
Демократичный подход к процессам и плавающее начало рабочего дня.

Контакты:
Пожалуйста прикрепляйте сразу CV
Показать контакты


👉 Подписаться на канал @UzDev_Jobs