Отдел кредитных рисков ежедневно анализировал тысячи новостей — мы заменили его моделью машинного обучения

И сократили затраты на сотрудников в 40 раз.

В предыдущей статье мы уже говорили о том, на сколько опасен сегодняшний ИИ для рынка труда. По итогу статьи мы пришли к выводам о возможности замены человека лишь в узкоспециализированных, но при этом разнообразных нишах. От распознавания документов до беспилотного такси и грузоперевозок.

Сегодня мы хотим рассказать об узком кейсе, где для автоматизации понадобилось гораздо меньше данных, а результат превзошёл все ожидания.

К нашей команде обратилась УК «Альфа-Капитал» с запросом на автоматизацию процесса сбора и мониторинга новостного потока. Ежедневно сотрудникам компании приходилось просматривать весь новостной фон, включающий несколько тысяч новостей о компаниях, коммерческих банках, контрагентах и ценных бумагах, в которые инвестируют клиенты компании.

Процессом занимался отдел кредитных рисков департамента анализа и управления рисками УК «Альфа-Капитал», специалисты которого собственноручно собирали новости из необходимых источников, далее фильтровали, выделяя только нужные для принятия решений. Рутинный процесс, который требовалось делать ежедневно.

Когда встал вопрос об оптимизации этого процесса — либо расширять отдел, либо обратиться к автоматизации, — ответ был очевиден. Если раньше нормой было иметь риск-менеджера на каждый вид риска, контролера, особенно в коммерческих банках, то сейчас проще автоматизировать некоторые процессы.

Однако поиск готовых продуктов на рынке в финансовой сфере не дал нужных результатов. Было принято решение о собственной разработке с привлечением команды экспертов.

Как мы уже писали ранее, машинное обучение хорошо работает тогда, когда есть размеченные данные — датасеты. В этом случае датасет заключался в разметке тысячи релевантных статей и тысячи нерелевантных. Датасет нам предоставил заказчик.

Говоря математическим языком, нам нужно решить задачу классификации, то есть разделить новости на две категории: важные для нас и неважные. Для решения задачи существует множество абстрактных математических методов, но проблема в том, что все они работают с числами.

Процесс перевода текста в числовое представление называется векторизацией. Этот процесс также можно производить различными методами. В нашем случае лучше всего подошёл TF-IDF.

Эта модель векторизации учитывает частоту вхождения слова как в отдельную новость, так и в полный перечень новостей. Например, рассмотрим слово «деньги». Алгоритм анализирует, в скольких новостях встречается «деньги», пусть это 20% (a = 0.2).

А также сколько раз встречается слово «деньги» в конкретной новости — 6% (b = 0.06). Так выглядит формула (пояснение ниже):

Так мы получили признак для слова «деньги» — 0.042, и такая процедура производится для каждого слова в наших новостях. Суть этого подхода в том, что он обесценивает общие слова, которые встречаются в большинстве новостей, и наоборот, придаёт ценность словам, которые чаще встречаются в пределах одной новости.

После получения «числового» представления новостей происходит подбор оптимального метода классификации. В этой задаче после серии экспериментов с разными алгоритмами, включая глубокие нейронные сети, лучше других оказался линейный классификатор (SGDClassifier). Это, в частности, объясняется небольшим размером датасета.

Если попытаться графически изобразить работу SGDClassifier, получим следующее:

Каждая точка в многомерном пространстве (для простоты восприятия на картинке 3D) представляет собой отдельную новость. Алгоритм строит поверхность таким образом, чтобы с одной стороны оказались важные новости, а с другой неважные.

Дальнейшее предсказание «важности» новости зависит от того, по какую сторону от этой поверхности она оказалась. Следует отметить, что размеченные новости делятся на две части. Одна часть используется для обучения алгоритма (построения поверхности), а другая часть новостей используется для проверки эффективности обученного алгоритма.

В итоговом интерфейсе это выглядит следующим образом (статьи выбраны случайно, для примера):

Первый же тест на потоке свежих новостей показал точность в 75%. Модель не ограничена количеством новостей, которые она может обработать. Единственное возможное ограничение — точность распознавания, однако она повышается дообучением — обогащением датасета и добавлением новых примеров.

Сегодня точность достигает 80%. Если посчитать результат в деньгах, то 1500–2000 новостей в день должны были обрабатывать минимум три человека (при условии, что человек тратит на одну новость не более минуты). Теперь это количество сократилось до 20–30 новостей в день с учётом дублей (перепечатка одной новости разными источниками). Минимальная сумма экономии — два годовых оклада, с налогами около 3,6 млн рублей.

По результатам работы мы получили следующий комментарий.

#машинноеобучение #искусственныйинтеллект