Senior Data Engineer

Senior Data Engineer
#SeniorDataEngineer #DataEngineer #Senior
 
Требования:
Стек: Greenplum, Trino, Apache Airflow, ClickHouse, Python, Spark, SQL (dbt), S3, Hadoop. Общее представление о стеке технологий Lakehouse. Понимание различия работы между BigData/Lakehouse и с данными обычного размера. Знание SQL (индексы, функции, оптимизация, профилирование производительности. Знание языков программирования (JAVA, Python). Опыт работы c реляционными БД (Oracle, Postgres, MySQL, MsSQL,т.п.). Умение работать с Git (знание команд git pull/commit/push). Опыт работы с DBT, Cosmos, Ni-Fi. Опыт разработки на Spark. Навыки использования компонентов экосистемы Hadoop: Yarn, Ranger, Zookeeper, Hive metastore. Понимание особенностей Trino. Понимание форматов данных Iceberg, Parquet, Avro. Понимание работы с minio или любого другого хранилища на основе S3. Опыт использования системами ведения проектов и документации. Опыт разработки нетиповых интеграций (включая SAP-системы). Опыт разработки near-realtime потоков (Flink, Debezium). Опыт оптимизации высоконагруженных потоков (миллиарды записей инкремента) с использованием инструментов Observability (grafana, victoria metrics, zabbix).
 
Контакт для отклика: Показать контакты
 
👉 Показать контакты