Что делать с теми, кому МФО отказала: как использовать эти данные, чтобы не потерять хороших клиентов

Скоринговая модель учится только на тех, кого одобрили. Тех, кому отказали — модель никогда не видела «в работе». Из-за этого она ослепляет сама себя. Разбираемся, как это исправить.

Представьте, что вы хотите научить нейросеть отличать качественных заёмщиков от тех, кто не вернёт деньги. Логично: даём ей данные клиентов и говорим — «вот эти заплатили, эти — нет». Сеть учится.

Но есть нюанс. Информация о том, кто заплатил, а кто нет, есть только по тем клиентам, которым вы выдали займ. По тем, кому вы отказали, такой информации нет в принципе — потому что денег вы им не давали.

Получается замкнутый круг: модель учится на одобренных клиентах, рекомендует одобрять похожих на них, новые данные опять идут только по одобренным — и так по кругу. Те части клиентской базы, где модель когда-то «ошиблась» в сторону отказа, остаются для неё навсегда чёрной зоной.

Эта проблема называется "selection bias", или "смещение выборки". На практике она означает: если ваша модель отсеивает 30% заявок, то на самом деле она учится на 70% клиентской базы. И с каждым переобучением слепое пятно становится больше.

На первый взгляд кажется: ну отказала и отказала. Заёмщик ушёл — забыли. Но реальность сложнее.

Среди тех, кому модель отказывает, есть две принципиально разные группы:

Сколько таких «ошибочных отказников» в реальности? По нашим оценкам, это может быть от 15% до 35% от всей массы отказов. На объёме это значит, что МФО буквально дарит конкурентам каждого третьего хорошего клиента, которого можно было одобрить.

Главная идея: нужно как-то добыть информацию о том, как повели бы себя отказники, если бы их одобрили. Прямых данных нет, но есть три рабочих подхода.

Самый честный метод. Берём небольшую часть заявок, которым модель хотела отказать — например, 2-3% — и всё равно их одобряем. Получаем реальные данные: эти клиенты заплатили или нет.

Минус — деньги. Если из 100 таких заявок 40 окажутся плохими, вы потеряете на них реальные деньги. Но взамен получите данные, которые позволят перенастроить модель и заработать больше на следующих циклах.

Этот метод любят математики, но не любят финансовые директора. Поэтому в чистом виде его применяют редко — обычно ограничиваются совсем маленькими порциями.

Идея: если у нас есть отказник, можно найти в базе одобренных клиентов похожих на него по ключевым параметрам — возраст, регион, источник трафика, поведение на сайте — и предположить, что он повёл бы себя так же, как они.

Это менее точно, чем контрольная группа, но не требует дополнительных потерь. Минус — если в базе одобренных вообще нет похожих на отказника, перенос не работает. А это как раз самые интересные кейсы.

Самый практичный для МФО подход. Договариваемся с бюро кредитных историй (НБКИ, ОКБ, Эквифакс): отслеживаем, что произошло с клиентами, которым мы отказали, в других организациях. Если человек пошёл в другую МФО, получил займ и заплатил — значит, наша модель ошиблась.

Это работает удивительно хорошо. По нашим наблюдениям, до 60% отказников оформляют займ где-то ещё в течение 30 дней (пример условный). Их поведение по чужим займам — практически такая же ценная информация, как если бы они взяли наши.

Reject inference — так это называется в учебниках — не магическое решение. Это инструмент, который помогает модели увидеть больше, чем она видит сейчас. Внедрение даёт прирост качества модели обычно небольшой по абсолютным цифрам — порядка нескольких процентов AUC. Но на масштабе портфеля это превращается в заметную дополнительную выручку.

Главное — начать. Большинство МФО до сих пор делает вид, что отказников не существует. Те, кто разобрался, тихо забирают долю рынка.