Backend Developer (Fintech)

TL;DR

Бэкенд-разработчик (DWH/Fintech): Создание и масштабирование аналитической платформы для работы с большими данными с акцентом на миграцию данных, интеграцию источников и обеспечение real-time доступа. Фокус на проектировании высоконагруженных statefull-систем, оптимизации стоимости обработки данных и построении observability-платформы.

Компания

Яндекс — ведущая технологическая компания, разрабатывающая масштабные сервисы и аналитические платформы.

Что делать

• Проектировать и развивать дата-платформу на базе S3, Greenplum, Trino и hirify.global Cloud для обеспечения кратного роста объёмов данных.
• Реализовывать процессы выгрузки из реляционных СУБД, NoSQL и Kafka, используя стратегии CDC, пакетную и потоковую обработку.
• Обеспечивать отказоустойчивость, безопасность и производительность сервисов и дата-пайплайнов в режиме 24/7.
• Создавать observability-платформу для мониторинга статусов сборки, контроля качества данных и анализа Data lineage.
• Развивать внутренние фреймворки и low-code решения для автоматизации загрузки и трансформации данных.
• Выстраивать среду безопасной разработки, включая автоматический контроль прав доступа и создание изолированных сред.

Требования

• Опыт коммерческой бэкенд-разработки от 4 лет.
• Опыт разработки высоконагруженных statefull-систем.

Хорошо, если есть

• Опыт работы с Apache Airflow и Apache Spark (Spark SQL, DataFrame).
• Опыт работы с MPP-системами (Greenplum), Trino и S3-совместимыми хранилищами.
• Навыки проектирования схем данных, партиционирования, шардирования и создания индексов.
• Опыт работы с Kafka и понимание принципов Change Data Capture (CDC).
• Опыт работы с PostgreSQL, Oracle или MongoDB.