Data Quality Middle+/Senior (Антифрод-платформа)

Локация: Москва, офис работодателя, Кутузовский, 32

Компания

СБЕР развивает продукт DataQuality — систему мониторинга качества данных, которая в реальном времени контролирует поток событий антифрод-платформы.

Что делать

• Анализировать срабатывания проверок качества данных, отделять реальные деградации от шума и ложных сигналов.
• Настраивать пороги severity, окна агрегации и базовые периоды на основе исторических распределений метрик.
• Исследовать первопричины срабатываний по сырым событиям, истории, релизам и инцидентам.
• Развивать статистические и ML-подходы к детектированию аномалий и дрейфа во временных рядах и распределениях скорингов.
• Работать с полной историей событий в Hadoop, писать и оптимизировать расчеты на Spark SQL и PySpark в общем кластере.
• Исследовать обращения пользователей антифрод-платформы и передавать подтвержденные на данных проблемы системному аналитику для подготовки требований.

Требования

• От трех лет опыта в аналитике данных или Data Science, включая потоковые или near-real-time данные и большие объемы в Hadoop/Spark.
• Ежедневный опыт со Spark SQL и PySpark на больших объемах; понимание плана выполнения и стоимости запросов до запуска.
• Уверенный SQL: оконные функции, многошаговые агрегации, джойны с контролем кардинальности, корректная работа с NULL и типами.
• Понимание причин деградации запросов и различий между колоночными и строчными СУБД; ClickHouse будет плюсом.
• Python как основной рабочий инструмент для анализа истории срабатываний и ложных сигналов.
• Уверенное применение теории вероятностей и математической статистики: доверительные интервалы, проверка гипотез, ошибки первого и второго рода.
• Практическое применение PSI, анализа отклонений среднего и дисперсии, z-score, IQR, сезонности, precision/recall и мер расхождения распределений.
• Практический опыт с ML: метрики качества, переобучение, дрейф признаков и влияние качества данных на модель; вывод моделей в продакшен не требуется.
• Понимание принципов мониторинга качества данных, уровней severity, системный взгляд и исследовательский подход к поиску первопричин.

Хорошо, если есть

• Понимание работы фрод-правил и скорингов.
• Опыт оптимизации расчетов на Spark.
• Опыт промышленного ML-детектирования аномалий и дрейфа данных.
• Опыт в поддержке или эксплуатации, разборе инцидентов и приоритизации обращений.
• Опыт с Great Expectations, Soda, Evidently, Monte Carlo и понимание ограничений их настроек по умолчанию на больших объемах.
• Опыт с каталогами данных и lineage: Atlas, DataHub, OpenLineage.
• Опыт работы с ИИ-ассистентами при разборе кода.

Культура и преимущества

• Работа в офисе по полному графику.
• Ежегодный пересмотр зарплаты, квартальная и годовая премии.
• Расширенный ДМС, страхование для семьи и корпоративная пенсионная программа.
• Корпоративный спортзал, зоны отдыха и подписка Прайм с возможностью совместного использования.
• Более 400 образовательных программ СберУниверситета, программа адаптации и помощь руководителя на старте.
• Льготные условия ипотечного кредита и вознаграждение за рекомендации сотрудников.