Data Engineer (Apache Spark)

Локация: Удалённо, Россия

Зарплата: 200 000–250 000 ₽ на руки в месяц

Компания

ТулаСофт — компания, развивающая программные решения и работающая с инженерией данных.

Что делать

• Разрабатывать и сопровождать процессы обработки данных и ETL-пайплайны.
• Работать с Apache Spark, Apache Flink, Apache NiFi и Apache Airflow.
• Проектировать и поддерживать хранилища данных, Data Lake и интеграции между системами.
• Интегрировать внешние источники через REST API.
• Обеспечивать качество данных и соблюдать принципы Data Governance.
• Использовать Git и взаимодействовать с реляционными и нереляционными базами данных.

Требования

• Опыт работы инженером данных или в смежной области от 5 лет.
• Опыт работы с ETL-процессами и инструментами обработки данных.
• Хорошее знание SQL и опыт работы с реляционными СУБД.
• Знание архитектуры DWH и Data Lake, включая Greenplum, Hadoop, HDFS, Hive, ClickHouse, Trino и S3.
• Понимание принципов Data Governance, Data Quality и системных интеграций.
• Навыки работы с REST API и Git.

Хорошо, если есть

• Знание Python, Java с Spring, Groovy или Scala.
• Опыт работы с нереляционными базами данных.
• Опыт использования Jenkins, GitLab Pipelines, TeamCity и других CI/CD-инструментов.
• Опыт работы с Docker, Kubernetes и облачными системами.

Культура и преимущества

• Удалённый формат работы.
• Полная занятость.
• Заработная плата указана на руки.