Foundational ML-модели в современных банковских Антифрод системах. Опыт ведущих игроков в индутсрии: Revolut, Nubank, Feature Space (VISA), SberAI.

В банках задача антифрода решается с применением следующих подходов:

1 предопределенные правила (if/else)

2 классический ML (градиентный бустинг/GB)

3 нейросетевые подходы

а) RNN - рекурентные сети (память о предыдущих состояниях)

б) модели на основе transformer-ов (механизм внимания)

в) GNN - графовые сети

4 комбинации моделей

• GB над эмбеддингами от RNN/transformer

• Ансамбль скоров от GB и классификатора поверх RNN/transformer

• другое

В реальности обычно выстраивают систему из правил и ML. Выбор подхода внутри трека ML определяются несколькими факторами:

• требованиями по скорости (10-100 мс)

• требованиями по пропускной способности (100-10к rps)

• инфрастуктурными возможностями/ограничениями (наличие/кол-во GPU)

• экспертизой в команда (DS / DE / MLOps)

• объемом/качеством разметки + задержка в вызревании

• требования интерпретируемости от регуляторов

Хотя GB остается рабочей лошадкой в индустрии, крупные игроки идут в сторону фаундейшен моделей. Это базовые модели первого уровня, которые учатся на большом корпусе данных (self-supervised, без таргета).

На выходе этих моделей обычно получают эмбеддинги, поверх которых обучают модели второго уровня (на таргете).

С точки зрения архитектуры основной фокус смещается в сторону трансформеров (хотя здесь есть дискуссия). Внутри этого трека выделяют 3 основных подхода к обучению.

1 Decoder-only / GPT-like модель + NTP задача (пример: модель nuFormer от Nubank - 2025)

Модель учится на задачу NTP (Next-token-prediction), по аналогии с тем, как современные LLM обучают предсказывать следующий токен на основе предыдущих.

2 Encoder-only / эмбеддер + MLM задача (пример: модель PRAGMA от Revolut - 2026)

Модель учится на задачу MLM (Masked-language-modeling). Часть токенов, которые описывают какой-то атрибут действия или свойства профиля в любой момент времени - принимаются за неизвестное значение (маскируются).

Задача модели - для каждого пользователя, опираясь на окружающий контекст из прошлого / будущего, максимально точно восстановить пропущенное значение токена.

3 Encoder-only / эмбеддер + CoLES задача (методология от Sber AI Lab)

CoLES - метод обучения модели, презентованный Sber AI Lab. Этот метод называют контрастивным.

Для каждого пользователя все транзакции нарезают на слайсы (подпоследовательности). Такие подпоследовательности внутри одного пользователя - позитивы. У разных пользователей - негативы.

Для всех подпоследовательностей строятся эмбеддинги. И модель учится так, чтобы эмбеддинги у позитивных пар были максимального близки, а у негативных - далеки.

Почему индустрия идет в сторону Foundation Models?

• унификация - один эмбеддинг для всех задач внутри банка/платежной сети/процессинга: фрод, риск, реки

• сдвиг потолка качества от ручных фичей в GB - эмбеддинги позволяют инкапсулировать скрытые закономерности, которые нельзя достать из простых агрегатов

• разметка перестает быть узким местом

Больше деталей о том, как создавать и запускать продукты на основе AI/ML — в моём телеграм-канале.