Data Engineer (Hadoop, Scala)

#middle #удаленка #гибрид

Медиалогия
Data Engineer (Hadoop, Scala)
Опыт работы: 3–6 лет
Полная занятость
График: 5/2
Формат работы: удалённо или гибрид

☑️ Чем предстоит заниматься
-разработка и оптимизация ETL/ELT-конвейеров для обработки больших данных
-настройка и администрирование Hadoop/Spark-инфраструктуры (HDFS, YARN, Hive, HBase)
-оптимизация распределенных вычислений и запросов
-работа с потоковыми данными (Kafka, Spark Streaming, RabbitMQ)
-участие в проектировании и масштабировании архитектуры данных
-автоматизация процессов с использованием DevOps-практик (Docker, CI/CD)

☑️ Наши пожелания к кандидатам
-высшее (неоконченное высшее) образование
-опыт работы с Java/Scala и Big Data-фреймворками (Apache Spark, Hadoop)
-глубокие знания Hadoop-экосистемы (YARN, HDFS, Hive, HBase, Parquet)
-опыт оптимизации производительности распределенных систем
-работа с потоковой обработкой (Kafka, Spark Streaming)
-навыки работы с SQL/NoSQL (PostgreSQL, MS SQL, MongoDB)
-Будет плюсом:
-опыт с PySpark, Flink, Airflow
-знание Elasticsearch, ClickHouse, Vertica
-навыки настройки кластеров и инфраструктуры

Контакты: Показать контакты

🔥 /