Инженер платформы данных (Fintech)

❤️ Инженер платформы данных (NRT/Spark)

Финтех Яндекса — это одно из ключевых и наиболее динамично развивающихся направлений компании. Это экосистема финансовых сервисов, встроенная в повседневную жизнь миллионов пользователей и бизнесов. Ключевые продукты Финтеха: Яндекс Пэй, Сплит, Сейвы, Карта Плюса, кредитные продукты, Яндекс ID, Яндекс Про.

В команду платформенных данных ищем специалиста по Apache Spark с глубоким понимаем внутренней архитектуры фреймворка. Основные задачи — развитие платформы для обработки NRT-данных (near real time), повышение отказоустойчивости и производительности потоковых процессов.

Какие задачи вас ждут:

• Проектирование и развитие облачной дата-платформы
Оптимизировать инфраструктуру и проектировать новые компоненты платформы с использованием технологий Yandex Cloud.

• Построение единой observability-платформы для таблиц DWH
Создавать единую точку входа для мониторинга статусов сборки, качества данных и анализа зависимостей, включая построение datalineage и процессы логирования.

• Ускорение текущих процессов поставки данных
Оптимизировать существующие и выстраивать новые надёжные процессы поставки данных, включая процессы взятия снепшотов, загрузки инкрементов напрямую, из аудит-таблиц и CDC, а также внедрять Spark Streaming или аналогичные решения для обеспечения обновления данных с минимальной задержкой.

• Построение тестовых окружений
Создавать изолированные среды разработки, тестирования и предпрод с автоматизированными процессами проверки.

• Развитие фреймворков обработки данных
Развивать внутренние фреймворки для загрузки, трансформации и контроля качества данных.

Мы ждём, что вы:
• Занимались коммерческой разработкой от четырёх лет
• Понимаете устройство БД
• Владеете СУБД разного типа: PostgreSQL, Oracle, MongoDB, Greenplum
• Работали с CDC
• Уверенно работаете с S3-совместимыми хранилищами

Что мы предлагаем:
Мы заботимся, чтобы вы были сыты, и компенсируем обеды. А на кофепойнтах всегда можно перекусить свежими фруктами. Это не все бонусы — полный список тут.

📩 Откликайтесь на вакансию на нашем сайте

#финтех #spark