Нейросеть прогнозирует банкротство компаний и не стесняется

Всем привет, меня зовут Айдар Мусин. Я CTO в reputation.ru, где мы помогаем бизнесу с помощью наших программных продуктов (снижаем риски, ищем клиентов).

В этой статье хочу поделиться нашим опытом, как мы, при партнерстве с компанией IDX, обучили нейронную сеть для прогнозирования банкротства компаний.

Репутация ежедневно обновляет и обрабатывает информацию обо всех российских компаниях(юр. лица и ИП):

Имея такой большой объем данных о компаниях и большое количество примеров обанкроченных компаний, можно выдвинуть гипотезу, что существуют некие взаимосвязи в данных, которые позволяют прогнозировать банкротство компаний. И если такие взаимосвязи действительно существуют, даже очень сложные, то высока верятность, что нейронная сеть их найдет.

Каждая компания в процессе существования ежедневно генерирует какие-то данные. Это значит, что можно собрать набор неких метрик(признаков), которые характеризуют компанию каждый день. И наша идея заключалась в следующем:

Взять примеры банкротов и рассчитывать для них метрики за N дней до начала банкротства, а также взять случайный набор компаний не банкротов и рассчитать метрики для них на случайные даты.

Таким образом, получим обучающую выборку, где есть примеры компаний, которые обанкротятся в будущем, и примеры компаний, которые в будущем не обанкротятся.

Далее начинается магия.

То есть стандартная процедура построения модели машинного обучения с рядом экспериментов 😉

Данные обрабатываются специальным образом(Preprocessing), строится модель, анализурются результаты(метрики) и все повторяется снова и снова до тех пор, пока метрики модели не начнут удовлетворять.

Результаты самой лучшей модели удивили.

Мы получили следующие метрики: 79% precision(точность), 81% recall(полнота)

Это можно интерпретировать примерно так: если модель прогнозирует банкротство 10 компаний, значит, в среднем 8 из 10 будут действительно обанкрочены в будущем.

Оценка метрик проводилась на тестовой выборке, которая была вырезана из обучающей выборки. Считаем, что таких метрик может быть достаточно для решения каких-то бизнес задач.

До тех пор, пока мы выпустим в общий доступ наше решение, мы хотим проверить его еще несколькими способами, чтобы оценить применимость модели для решения каких-то бизнес задач и проверить её в реальности. Если вы хотите поучаствовать в закрытом тестировании, пожалуйста, напишите на нашу почту: info@reputation.ru

Стоит отметить, что в рамках данной работы рассматривались только крупные компании(выручка более 1 млрд или АО). Результаты удивили и вдохновили работать над этим дальше. В ближашем будущем хотим попробовать построить модель для других сегментов бизнеса. Наша модель примечательна тем, что учитывает не только финансовые показатели(как большинство других моделей).

Спасибо за внимание!

Если есть вопросы - велком в комменты 🙂