Как мы разработали свою модель скоринга, а потом клиенты пытались угнать наши авто

В августе мы уже рассказывали о нашем сервисе AzurDrive. Тогда мы вскользь упомянули, что разработали собственную скоринговую систему для оценки заемщиков. В этом материале хотим рассказать, как мы ее создавали.

Как мы разработали свою модель скоринга, а потом клиенты пытались угнать наши авто

Когда мы анализировали существующие скоринг-системы, заметили, что везде нужен анализ финансов, личные встречи и глобальный контроль. Нашу систему мы автоматизировали на 90%, остальные 10% информации она запрашивает у клиента.

Скоринг принимает решение за одну-две минуты, еще десять — уходит на то, чтобы человек проверил данные, где мы изначально знаем, что система не работает стабильно. Всего скоринг отсеивается около 30% заявок — люди, которым совсем нельзя доверять и что-то давать.

Как работает скоринг

В банках кредиты поставлены на конвейер, где скоринг — часть процесса. Чтобы он работал быстро, нужно формализовать требования к клиентам или к сделкам, которые он предлагает. Для проверки алгоритма через него прогоняют большой массив данных и сверяются, дает ли она какой-то результат, который потом можно интерпретировать: хорошо работает модель или плохо.

У нас много физических и юридических лиц, которых нужно типизировать. Они разные, но внутри группы можно выделить определенные категории. Часть из них будут с плохой платежной дисциплиной. Задача скоринга — отсеять такой тип людей и одобрить сделки только потенциально добросовестным плательщикам.

Систему скоринга AzurDrive мы автоматизировали на 90%, остальные 10% информации она запрашивает у клиента. Скоринг принимает решение за одну-две минуты, еще десять — уходит на то, чтобы человек проверил данные, где мы изначально знаем, что система не работает стабильно.

Когда человек не выплачивает кредит или задерживает оплату, в следующий раз ему, скорее всего, откажут. Причем в любом банке. И тогда он начинает искать другие варианты, как получить желаемое. Отсюда возникает дилемма: клиент не очень благонадежный, но ему что-то очень-очень надо. Он даже готов заплатить повышенную стоимость, потому что кредит под 10% годовых ему точно не светит. И тогда лизинговая компания предлагает ему товар под 20% годовых.

Чем лизинг отличается от кредита?

Рассмотрим на примере машины. По автокредиту транспорт сразу же находится в собственности человека, автомобиль — это всего лишь залог. Поэтому если клиент просрочивает платежи, банку приходится судиться и каким-то образом взыскивать имущество через множество инстанций. За то время проходит 12-15 месяцев, и клиент полностью забивает на машину и отдает убитое авто. А еще лучше — он может ее просто разбить.

В лизинге автомобиль не принадлежит заемщику. Поэтому как только клиент нарушает договор, компания имеет полное право приехать на следующий день и изъять свое имущество. Что считается нарушением? Просрочки по платежам, отсутствие регулярного техобслуживания или другие пункты, прописанные в договоре. Более того, не возвращается первоначальный залог — 10% от стоимости автомобиля. Такой подход сильно повышает ответственность и платежную дисциплину.

Наша задача — отстоять фрод. Например, когда берут машину в лизинг, чтобы потом ее угнать. Или людей, которые не оценивают реалистично свои возможности. Либо молодых парней, вернувшихся из армии, которые хотят «бэху», но на первый взнос у них есть только 100 тысяч рублей. Угонщиков мы, скорее всего, найдем. У неплатежеспособных быстро заберем автомобили. Но зачем это, если можно заранее предупредить?

Первая модель комом

Когда мы только запускались, планировали сдавать машины для таксистов, которые работают в сегментах «Эконом», «Комфорт» и «Комфорт+». И все примерно представляют портрет такого таксиста: приезжий из СНГ, который недавно получил российское гражданство. Чаще всего он никак не может подтвердить свой доход, даже если зарабатывает 5 тысяч рублей. За душой у него тоже ничего нет: ни имущества, ни родственников, ничего. Поэтому когда мы попробовали оценивать таких людей по обычному банковскому финансовому скорингу, в конце пути нас ждало фиаско.

Тогда мы решили разрабатывать свою модель, которая бы подходила для скоринга таких таксистов. Но при этом она должна быть не менее жесткой и анализировать без звонков и встреч с клиентов. Поэтому мы пошли по пути социального скоринга. Пока что мы даже не знаем, кто еще применяет такое в кредитовании.

Клиенты проходили опрос, на основе которого модель и проверяла человека. Финансовые доказательства нужны были по-минимуму. 50% людей даже просто не могли подтвердить, что они хоть что-то зарабатывают. Такой скоринг нас вполне устраивал, потому что отсеивал достаточный уровень фрода, чтобы не сломать наши модели, и поддерживал прогнозный уровень потерь, который нас как лизинговую компанию вполне устраивал.

Пора что-то менять

Модель перестала работать, как только мы чуть-чуть замахнулись на премиум-сегмент. Например, пару раз у нас пытались угнать автомобиль. Как так? Потому что скоринговая модель была настроена на таксистов. И когда по ней прогоняли человека, который пришел за лексусом, естественно, ему все одобряли, потому что смотрели как на таксиста. В итоге человек брал дорогую машину и пытался уехать в далекие края. К счастью, всех, кто пытался так сделать, мы поймали. Но этот опыт сказал нам: надо делать вторую итерацию модели, которая будет отсеивать такие случаи.

Сейчас у нас уже новый скоринг, который как раз учитывает новые сегменты. Мы его расширили, добавили новые источники данных и стали смотреть финансы.

Коэффициент Джини (мера оценки эффективности скоринговой модели) у новой модели сейчас 87%. В среднем по банковскому сектору Джини равняется где-то 75-85%.

Наша модель оценивает не только финансовое благополучие, но и базируется на возможности отсеять фрод, обеспечить стабильное поступление ежемесячных платежей без выворачивания клиента и изучения всей его финансовой базы.

Как тестировать скоринговую модель

Пока у нас не было собственной базы, мы тестировали на ретробазе и базе контрагентов. Потому что чтобы выпустить сырой продукт, надо быть очень самонадеянным человеком или гостем из будущего. Поэтому любая система должна проходить тестирование.

Сейчас модель, которая оценивает фрод, уже умеет отсеивать клиентов с небольшой погрешностью. Но с ростом базы она улучшается и больше адаптируется под клиентов.

Главное правило тестирования модели — репрезентативная выборка. Нужно смотреть каждый сегмент в отдельности, потому что у него свои тонкости. Возможно, если одной группе не хватает какой-то дополнительной score-карты — нужно добавить ее. Лучше сделать несколько карт на разные сегменты, чем схватить фрод и потом все оперативно чинить.

Еще для каждого сегмента нужны собственные стоп-факторы, которые разрабатываются рисковиками на основе статистики и личного опыта

Где искать выборку? Мы берем либо из СПАРКа, либо с Федресурса — зависит от наших целей. Для лизинга основа — Федресурс, который обогащается данными из СПАРК, СМЭВ и так далее.

Мы прогоняем модель по ретробазам и смотрим, чтобы клиенты, которые погасили задолженность и успешно закрыли все свои платежи по лизингу, были одобрены. А клиенты, которые у конкурентов не смогли оплачивать обязательства или угнали машину, ушли в отказ.

В среднем весь процесс настройки и тестирования занимает от недели до двух. Первая модель у нас настраивалась и тестировалась очень долго, потому что мы использовали подход, который еще никто не применял. На нее у нас ушло около месяца. А вторую мы где-то за две недели привели в рабочее состояние.

Главное — модель должна обеспечивать сбалансированность двух показателей: Approval Rate (уровень одобрения) и Probability of Default, PD (уровень потерь). Задача рисковика в том, что при прогнозируемом уровне одобрения соблюсти плановый уровень потерь. Например, нам нужно одобрение не меньше 70% клиентов, а потери — не более 2%. Если этот баланс соблюдается, значит модель работает. Если потом оказывается, что клиентов одобряется меньше или потерь больше, чем планировали, то модель надо докручивать и настраивать.

Мы довольны тем, что получилось. Потому что такой подход мало где применяется. Сейчас нам нужно набрать базу клиентов, чтобы точнее верифицировать цифры, после чего можно полностью автоматизировать принятие решений. Без ложной скромности скажу, что мы привели в лизинг ноу-хау.

3939
37 комментариев

Начинали свой путь со сдачи в аренду под такси В 2012 году. Работаем как автопрокат только для туристов с 2015 года, очень редко сдаём даже местным,ввиду их неадекватности и низких доходов в наших городах. Какие я сделал для себя выводы за весь опыт работы:
1. Как бы ты не проверял человека, это бесполезно, он сегодня хороший , а завтра плохой. Вы должны понимать , что у таксистов берущих машины под выкуп/аренду нет личной цели ее выкупить, там все как пойдёт , получится , супер , нет убегу. Вы с такого человека ничего не получите, так как он гол, как сокол, что и написал автор статьи. Тогда , как турист берет машину с конкретной целью, поехать в Сочи и обратно, например, у него есть деньги, он не хочет проблем в чужом регионе, поэтому аккуратен и вежлив. Плюс мы всегда берём оплату картой или хотя бы предоплату, что б потом можно было безакцептно списать, если человек неадекват. С 2015 года у нас нет вообще дтп при парке в 50 автомобилей. Разумеется , моя команда играет тут большую роль, без неё , никуда.
2. Работает только схема с выкупом авто , с предоплатой от 20%. Люди попадаются ответственные и настроенные на выкуп. Человек сознательно тратит большую сумму денег на старте, значит имеет цель. Это наш клиент.
3. Возрастные рамки , у нас от 24 лет и со стажем 2 года, именно активным. Просим человека подтвердить это хоть как-то. В 97% случаев люди это делают без проблем, остальным отказываем.
4. Полностью перешли на электронный документооборот. Сразу уходят глупые, тупые, с дешевыми мобилками и прочий маргинальный контингент. Уж извините, если вы не можете подгрузить 4 фотографии в электронное письмо , нам с Вами не по пути, без обид.
Мое мнение: разработка может и крутая, но ничто не заменит личное общение и хороший фильтр на входящих звонках для минимизации ваших потерь.

16
Ответить

Я занимаюсь сдачей авто в аренду, под такси в основном. Все собеседования, естественно, провожу лично ввиду небольшого количества авто.

Бывает приходят такие «милые» ребята и обещают что все будут вовремя платить, и за машиной следить, а в итоге приходится удаленно глушить авто (на каждом авто есть маяк позволяющий это сделать) и забирать его почти силой.

Было бы не плохо такую скоринговую
систему в массы запустить, для людей которые занимаются таким же или подобным видом деятельности. Я бы пользовался

4
Ответить

Удаленно "глушить" ребят.

5
Ответить

Поддерживаю, три машины сдаю, действую так же. 

Ответить

Если запустить модель в массы, сильно повышается вероятность, что заабьюзят - и придется делать новую. Такие дела.

Ответить

А кого вы считаете достойным тачек из премиум-сегмента? Таксистов скоринг отметает, а совсем уж богатым ребяткам лизинг под покупку лескуса не нужен. Менеджеры среднего звена? 

П.с. было бы интересно почитать про то, как вы ловили тех, кто пытался уехать далеко и надолго на дорогих авто

Ответить

Лизинг часто берут владельцы бизнеса, поэтому немаленькая часть нашего портфеля - премиальные автомобили. Это гораздо выгоднее, чем выводить деньги на себе как физическое лицо + экономия на НДС и уменьшение налогооблагаемой базы

По угонам, думаю, через некоторое время расскажем 🙂

11
Ответить