Data Engineer (Lakehouse)

Локация: удалённая работа, Москва

Зарплата: от 300000 RUB на руки в месяц

Компания

АБП развивает крупный проект и платформу больших данных с использованием Lakehouse- и аналитического стека.

Что делать

• Разрабатывать и поддерживать интеграционные потоки и потоки сборки витрин данных на базе Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos и Flink.
• Создавать нетиповые интеграции, включая интеграции с SAP-системами.
• Разрабатывать переиспользуемые шаблоны и системные инструменты обработки данных.
• Проектировать сложные решения и системный дизайн уровня C2/DD.
• Оперативно реагировать на проблемы в зоне ответственности и выполнять типовые задачи в установленные сроки.
• Поддерживать документацию интеграционных решений платформы больших данных и предоставлять отчётность руководителю.

Требования

• Более 6 лет опыта разработки в области данных.
• Понимание Lakehouse, Big Data и различий между обработкой больших и обычных объёмов данных.
• Знание SQL, включая индексы, функции, оптимизацию и профилирование производительности.
• Опыт разработки на Java и Python, работы с реляционными базами данных и Git.
• Опыт работы с DBT, Cosmos, NiFi, Spark, Hadoop, Trino, Iceberg, Parquet, Avro и S3-хранилищами.
• Опыт разработки near-realtime потоков, нетиповых интеграций и оптимизации высоконагруженных потоков с использованием Grafana, VictoriaMetrics или Zabbix.

Культура и преимущества

• Удалённый формат работы.
• Работа над крупным проектом в области платформ больших данных.
• Использование современного стека Greenplum, Trino, ClickHouse, Python, Spark, SQL, S3 и Hadoop.