Data Engineer (Scala)

TL;DR

Data Engineer (Scala/Spark): Автоматизация и оптимизация расчетов, внедрение новых моделей данных и поддержка витрин с акцентом на высоконагруженные системы обработки данных. Фокус на миграции инфраструктуры на Airflow, оптимизации Apache Spark и обеспечении качества данных в Hadoop-экосистеме.

Локация: Удаленно на территории РФ

Компания

Билайн — лидер телеком и digital рынков, предоставляющий новейшие продукты и сервисы высокого уровня.

Что делать

• Автоматизировать текущие расчеты и внедрять новые разработанные модели.
• Осуществлять поддержку, оптимизацию витрин с данными и устранение багов в расчетах.
• Проводить миграцию на новые элементы инфраструктуры, в частности на Apache Airflow.
• Взаимодействовать с аналитиками и продуктовыми командами для реализации задач.

Требования

• Опыт работы в роли Data Engineer от 2 лет.
• Уверенное владение языком Scala.
• Знание SQL на уровне написания сложных запросов.
• Понимание архитектуры Apache Spark и опыт оптимизации обработки данных.
• Практический опыт работы с Hadoop (HDFS, YARN) и Apache Airflow.
• Знание баз данных ClickHouse и PostgreSQL.

Хорошо, если есть

• Владение инструментами контроля качества и валидации данных (DQ чеки).
• Опыт работы с мониторингом в Grafana и Prometheus.
• Знание Amazon S3, Databricks или Greenplum.
• Опыт использования Docker и Kubernetes.

Культура и преимущества

• Трудоустройство в аккредитованную ИТ-компанию с возможностью дистанционной работы.
• Расширенный пакет страхования: ДМС, страхование жизни и от несчастных случаев.
• Доплата по листу нетрудоспособности и корпоративные скидки от партнеров.
• Профессиональное развитие: участие в конференциях, митапах и публикации на Хабре.
• Кафетерий льгот (спорт, здоровье, обучение и др.) после прохождения испытательного срока.
• Служебная сотовая связь.