Data Engineer (Big Data)

TL;DR

Data Engineer (Big Data): Разработка и оптимизация ETL/ELT-процессов и дата-продуктов с акцентом на работу с большими данными и оптимизацию SQL-кода. Фокус на построении масштабируемых витрин данных, обеспечении качества данных и интеграции с ML-моделями.

Локация: Россия

Компания

Centicore — компания, специализирующаяся на системной интеграции и разработке высокотехнологичных ИТ-решений.

Что делать

• Создавать и сопровождать ETL/ELT-процессы на базе SQL, Python, Spark и Airflow.
• Разрабатывать и оптимизировать скрипты, витрины данных и дата-продукты.
• Проектировать архитектурные решения для эффективного хранения и доступа к большим массивам данных.
• Анализировать качество данных, внедрять автоматические проверки и осуществлять мониторинг витрин.
• Подготавливать техническую документацию и детально описывать логику расчетов.
• Развивать практики Data Quality и оптимизировать общие процессы работы с данными.

Требования

• Высшее образование.
• Опыт работы в данной области от 3 лет.
• Углубленные знания SQL (Oracle, Postgres) и экосистемы Hadoop (HDFS, Hive, Impala, Sqoop, Spark) с умением оптимизировать код.
• Практический опыт работы с Apache Airflow и Python для анализа и обработки данных.
• Понимание теории баз данных и навык структурирования сложной информации.
• Знание принципов работы моделей машинного обучения (ML/DS).