Senior Data Engineer

Senior Data Engineer
#SeniorDataEngineer #DataEngineer #Senior #РФ #РБ #Удаленно
 
Требования:
Проект: Ритейл. Общее представление о стеке технологий Lakehouse. Понимание различия работы между BigData/Lakehouse и с данными обычного размера. Знание SQL (индексы, функции, оптимизация, профилирование производительности). Знание языков программирования (JAVA, Python). Опыт c реляционными БД (Oracle, Postgres, MySQL, MsSQL,т.п.). Умение работать с Git (знание команд git pull/commit/push). Опыт с DBT, Cosmos, Ni-Fi. Опыт разработки на Spark. Навыки использования компонентов экосистемы Hadoop: Yarn, Ranger, Zookeeper, Hive metastore. Понимание особенностей Trino. Понимание форматов данных Iceberg, Parquet, Avro. Понимание работы с minio или любого другого хранилища на основе S3. Опыт использования системами ведения проектов и документации. Опыт разработки нетиповых интеграций (включая SAP-системы). Опыт разработки near-realtime потоков (Flink, Debezium). Опыт оптимизации высоконагруженных потоков (миллиарды записей инкремента) с использованием инструментов Observability (grafana, victoria metrics, zabbix).

Локация:📍РФ, РБ. Удалённо.

Контакт для отклика: Показать контакты
 
👉 забрать special offer