Модель в андеррайтинге, которая подтверждает очевидное

На отраслевых конференциях я регулярно слышу одну и ту же фразу: «Искусственный интеллект переоценён, мы его внедрили — а толку ноль». И знаете, каждый раз мне хочется увести разговор в сторону и разобрать конкретный случай, потому что за этим разочарованием почти всегда стоит одна и та же история.

Вот как это обычно происходит. Руководство даёт добро: внедряем машинное обучение в андеррайтинг массовых видов. Нанимают специалистов по данным, закупают лицензии, строят градиентный бустинг на накопленной истории. Проходит полгода. Потом сравнивают новую модель с той тарифной схемой, что работает уже давно, — и видят, что разница в точности укладывается в статистическую погрешность. Начинаются поиски виноватых: то ли данные плохие, то ли специалисты не те, то ли бизнес не так поставил задачу.

Двадцать лет я работаю с аналитикой в страховании, и значительная часть этого времени прошла в добровольном медицинском страховании и андеррайтинге. Так что по этой теме у меня накопилось кое-что, чем хочется поделиться. Если честно, мне давно хотелось разложить по полочкам две вещи: чем на самом деле машинное обучение отличается от привычной обобщённой линейной модели, и что скрывается за модными сейчас каузальными моделями, которые показывают на каждом демо.

Разговор пойдёт про массовые виды — обязательную автогражданку, каско, розничное добровольное медицинское страхование, имущество физических лиц.

Почему всё сваливается в одну кучу

Главная причина, как мне кажется, в том, что эти два подхода — линейная модель и бустинг — решают разные задачи, но на них смотрят как на взаимозаменяемые инструменты. Линейная модель хорошо улавливает общий тренд, усреднённую зависимость между признаками и риском. Бустинг умеет вылавливать тонкие нелинейные взаимодействия, о которых аналитик порой даже не догадывается.

Но есть нюанс. Когда вы обучаете бустинг на исторических данных, где решения принимались по старой тарифной логике, модель перенимает эту логику. Она учится предсказывать не реальный риск, а то, как андеррайтер и старая схема этот риск уже классифицировали. Получается зеркало, а не новый взгляд.

Я помню, как на одном проекте мы бились над приростом точности, а потом выяснилось: самые «сильные» признаки в модели — это те, что косвенно повторяют уже действующие тарифные коэффициенты. Мы построили дорогую конструкцию, которая честно воспроизводила то, что и так знали.

Что на самом деле даёт машинное обучение

Оно даёт выигрыш там, где есть данные и решения, не скованные прежней тарифной логикой. Где можно посмотреть на поведение клиента, на историю обращений, на динамику — и найти связь, которую человек не заметил.

• Если обучение идёт на данных, где риск уже был «размечен» старой моделью, — нового знания не появится.

• Если признаки сводятся к тем же коэффициентам, что и раньше, — прирост будет в пределах погрешности.

• Если цель — не предсказать риск, а объяснить, почему он такой, — нужны другие инструменты.

И вот тут мы подходим к каузальным моделям. На каждом демо их подают как следующий шаг: мол, теперь мы понимаем не корреляцию, а причинно-следственные связи. Звучит красиво. Но на практике всё упирается в то, есть ли у вас данные, где причина и следствие не перепутаны. А в страховании это редкость: мы видим, что клиент с определённой характеристикой чаще попадает в аварию, но не знаем, характеристика ли тому причиной или просто сопутствующий фактор.

Спойлер: каузальные модели не спасают от плохих данных. Они лишь делают предположения о причинности более явными и проверяемыми — и это уже немало.

Что бы я посоветовала коллегам

Не спешить с выводами, что «искусственный интеллект не работает». Скорее стоит честно ответить на вопрос: а что именно вы поручили модели? Если она должна подтвердить уже принятые решения — она их подтвердит. Если вы ждёте от неё нового взгляда на риск — нужно обеспечить ей данные и свободу, которых у старой схемы не было.

Мне понадобилось несколько лет и не один проект, чтобы это уложилось в голове. Поначалу казалось, что дело в алгоритмах, в мощности железа, в квалификации команды. Оказалось — дело в постановке задачи и в том, насколько данные отражают реальность, а не прежние представления о ней.

Так что в следующий раз, когда услышите «модель не дала результата», спросите: а что она вообще могла дать, если училась на том же, что мы и так знали?