Как мы разработали свою модель скоринга, а потом клиенты пытались угнать наши авто

В августе мы уже рассказывали о нашем сервисе AzurDrive. Тогда мы вскользь упомянули, что разработали собственную скоринговую систему для оценки заемщиков. В этом материале хотим рассказать, как мы ее создавали.

Когда мы анализировали существующие скоринг-системы, заметили, что везде нужен анализ финансов, личные встречи и глобальный контроль. Нашу систему мы автоматизировали на 90%, остальные 10% информации она запрашивает у клиента.

Скоринг принимает решение за одну-две минуты, еще десять — уходит на то, чтобы человек проверил данные, где мы изначально знаем, что система не работает стабильно. Всего скоринг отсеивается около 30% заявок — люди, которым совсем нельзя доверять и что-то давать.

В банках кредиты поставлены на конвейер, где скоринг — часть процесса. Чтобы он работал быстро, нужно формализовать требования к клиентам или к сделкам, которые он предлагает. Для проверки алгоритма через него прогоняют большой массив данных и сверяются, дает ли она какой-то результат, который потом можно интерпретировать: хорошо работает модель или плохо.

У нас много физических и юридических лиц, которых нужно типизировать. Они разные, но внутри группы можно выделить определенные категории. Часть из них будут с плохой платежной дисциплиной. Задача скоринга — отсеять такой тип людей и одобрить сделки только потенциально добросовестным плательщикам.

Когда человек не выплачивает кредит или задерживает оплату, в следующий раз ему, скорее всего, откажут. Причем в любом банке. И тогда он начинает искать другие варианты, как получить желаемое. Отсюда возникает дилемма: клиент не очень благонадежный, но ему что-то очень-очень надо. Он даже готов заплатить повышенную стоимость, потому что кредит под 10% годовых ему точно не светит. И тогда лизинговая компания предлагает ему товар под 20% годовых.

Рассмотрим на примере машины. По автокредиту транспорт сразу же находится в собственности человека, автомобиль — это всего лишь залог. Поэтому если клиент просрочивает платежи, банку приходится судиться и каким-то образом взыскивать имущество через множество инстанций. За то время проходит 12-15 месяцев, и клиент полностью забивает на машину и отдает убитое авто. А еще лучше — он может ее просто разбить.

В лизинге автомобиль не принадлежит заемщику. Поэтому как только клиент нарушает договор, компания имеет полное право приехать на следующий день и изъять свое имущество. Что считается нарушением? Просрочки по платежам, отсутствие регулярного техобслуживания или другие пункты, прописанные в договоре. Более того, не возвращается первоначальный залог — 10% от стоимости автомобиля. Такой подход сильно повышает ответственность и платежную дисциплину.

Наша задача — отстоять фрод. Например, когда берут машину в лизинг, чтобы потом ее угнать. Или людей, которые не оценивают реалистично свои возможности. Либо молодых парней, вернувшихся из армии, которые хотят «бэху», но на первый взнос у них есть только 100 тысяч рублей. Угонщиков мы, скорее всего, найдем. У неплатежеспособных быстро заберем автомобили. Но зачем это, если можно заранее предупредить?

Когда мы только запускались, планировали сдавать машины для таксистов, которые работают в сегментах «Эконом», «Комфорт» и «Комфорт+». И все примерно представляют портрет такого таксиста: приезжий из СНГ, который недавно получил российское гражданство. Чаще всего он никак не может подтвердить свой доход, даже если зарабатывает 5 тысяч рублей. За душой у него тоже ничего нет: ни имущества, ни родственников, ничего. Поэтому когда мы попробовали оценивать таких людей по обычному банковскому финансовому скорингу, в конце пути нас ждало фиаско.

Тогда мы решили разрабатывать свою модель, которая бы подходила для скоринга таких таксистов. Но при этом она должна быть не менее жесткой и анализировать без звонков и встреч с клиентов. Поэтому мы пошли по пути социального скоринга. Пока что мы даже не знаем, кто еще применяет такое в кредитовании.

Клиенты проходили опрос, на основе которого модель и проверяла человека. Финансовые доказательства нужны были по-минимуму. 50% людей даже просто не могли подтвердить, что они хоть что-то зарабатывают. Такой скоринг нас вполне устраивал, потому что отсеивал достаточный уровень фрода, чтобы не сломать наши модели, и поддерживал прогнозный уровень потерь, который нас как лизинговую компанию вполне устраивал.

Модель перестала работать, как только мы чуть-чуть замахнулись на премиум-сегмент. Например, пару раз у нас пытались угнать автомобиль. Как так? Потому что скоринговая модель была настроена на таксистов. И когда по ней прогоняли человека, который пришел за лексусом, естественно, ему все одобряли, потому что смотрели как на таксиста. В итоге человек брал дорогую машину и пытался уехать в далекие края. К счастью, всех, кто пытался так сделать, мы поймали. Но этот опыт сказал нам: надо делать вторую итерацию модели, которая будет отсеивать такие случаи.

Сейчас у нас уже новый скоринг, который как раз учитывает новые сегменты. Мы его расширили, добавили новые источники данных и стали смотреть финансы.

Коэффициент Джини (мера оценки эффективности скоринговой модели) у новой модели сейчас 87%. В среднем по банковскому сектору Джини равняется где-то 75-85%.

Наша модель оценивает не только финансовое благополучие, но и базируется на возможности отсеять фрод, обеспечить стабильное поступление ежемесячных платежей без выворачивания клиента и изучения всей его финансовой базы.

Пока у нас не было собственной базы, мы тестировали на ретробазе и базе контрагентов. Потому что чтобы выпустить сырой продукт, надо быть очень самонадеянным человеком или гостем из будущего. Поэтому любая система должна проходить тестирование.

Сейчас модель, которая оценивает фрод, уже умеет отсеивать клиентов с небольшой погрешностью. Но с ростом базы она улучшается и больше адаптируется под клиентов.

Главное правило тестирования модели — репрезентативная выборка. Нужно смотреть каждый сегмент в отдельности, потому что у него свои тонкости. Возможно, если одной группе не хватает какой-то дополнительной score-карты — нужно добавить ее. Лучше сделать несколько карт на разные сегменты, чем схватить фрод и потом все оперативно чинить.

Еще для каждого сегмента нужны собственные стоп-факторы, которые разрабатываются рисковиками на основе статистики и личного опыта

Где искать выборку? Мы берем либо из СПАРКа, либо с Федресурса — зависит от наших целей. Для лизинга основа — Федресурс, который обогащается данными из СПАРК, СМЭВ и так далее.

Мы прогоняем модель по ретробазам и смотрим, чтобы клиенты, которые погасили задолженность и успешно закрыли все свои платежи по лизингу, были одобрены. А клиенты, которые у конкурентов не смогли оплачивать обязательства или угнали машину, ушли в отказ.

В среднем весь процесс настройки и тестирования занимает от недели до двух. Первая модель у нас настраивалась и тестировалась очень долго, потому что мы использовали подход, который еще никто не применял. На нее у нас ушло около месяца. А вторую мы где-то за две недели привели в рабочее состояние.

Главное — модель должна обеспечивать сбалансированность двух показателей: Approval Rate (уровень одобрения) и Probability of Default, PD (уровень потерь). Задача рисковика в том, что при прогнозируемом уровне одобрения соблюсти плановый уровень потерь. Например, нам нужно одобрение не меньше 70% клиентов, а потери — не более 2%. Если этот баланс соблюдается, значит модель работает. Если потом оказывается, что клиентов одобряется меньше или потерь больше, чем планировали, то модель надо докручивать и настраивать.

Мы довольны тем, что получилось. Потому что такой подход мало где применяется. Сейчас нам нужно набрать базу клиентов, чтобы точнее верифицировать цифры, после чего можно полностью автоматизировать принятие решений. Без ложной скромности скажу, что мы привели в лизинг ноу-хау.

#скоринг