Data Engineer (Big Data)

#вакансия #middle #удаленка

Ищем Data Engineer

Формат: удаленно
Зарплата: от 200 000 ₽
Срок проекта: длительно

Задачи:
• Сбор требований от бизнес-заказчиков и анализ источников данных;
• Разработка, реализация и сопровождение интеграционных потоков и витрин данных;
• Разработка решений на стеке Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink;
• Оперативное решение инцидентов и выполнение задач в зоне ответственности;
• Поддержка и актуализация технической документации по платформе больших данных;
• Подготовка отчетности по выполненным задачам.

Требования:
✔️ Понимание архитектуры Lakehouse и принципов работы платформ больших данных;
✔️ Понимание отличий Big Data/Lakehouse от классических систем хранения данных;
✔️ Уверенное знание SQL (индексы, функции, оптимизация запросов, профилирование производительности);
✔️ Знание Python и/или Java;
✔️ Опыт работы с реляционными СУБД (Oracle, PostgreSQL, MySQL, MS SQL и др.);
✔️ Уверенное владение Git;
✔️ Опыт работы с DBT, Cosmos, Apache NiFi;
✔️ Опыт разработки на Apache Spark;
✔️ Понимание принципов работы Trino;
✔️ Знание форматов данных Iceberg, Parquet, Avro;
✔️ Опыт работы с S3-совместимыми хранилищами (MinIO или аналогами);
✔️ Опыт работы с системами управления проектами и технической документацией.

Стек:
Greenplum • Trino • Apache Airflow • ClickHouse • Python • Spark • SQL (dbt) • S3 • Hadoop

📩 Отклик: Показать контакты