Middle Data Engineer

#9425
Senior Data Engineer
Локация: любая
Гражданство: любое
Грейд: middle

Основные требования:
Стек: Greenplum, Trino, Apache Airflow, ClickHouse, Python, Spark, SQL (dbt), S3, Hadoop
Разработка и поддержка интеграционных потоков и витрин данных на стеке Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink
Разработка нетиповых интеграций (в т.ч. SAP)
Системная разработка переиспользуемых шаблонов обработки данных
Разработка системного дизайна сложных решений (C2/DD)
Оперативное реагирование на проблемы, выполнение типовых задач
Поддержание документации интеграционных решений платформы больших данных

Задачи на проекте:
Общее представление о стеке Lakehouse
Понимание различий BigData/Lakehouse и обычных данных
Знание SQL (индексы, функции, оптимизация, профилирование)
Знание Java, Python
Опыт с реляционными БД (Oracle, Postgres, MySQL, MsSQL)
Умение работать с Git
Опыт с DBT, Cosmos, Ni-Fi
Опыт разработки на Spark
Навыки использования Hadoop: Yarn, Ranger, Zookeeper, Hive metastore
Понимание Trino
Понимание форматов Iceberg, Parquet, Avro
Опыт с minio или S3-хранилищами
Опыт с системами ведения проектов и документации
Опыт разработки нетиповых интеграций (включая SAP)
Опыт разработки near-realtime потоков (Flink, Debezium)
Опыт оптимизации высоконагруженных потоков (миллиарды записей) с использованием Observability (grafana, victoria metrics, zabbix)

Писать Показать контакты
Канал Аутстаф запросов @outstaff_requests_phpdev