Модельный риск: жизненный цикл модели и его участники

Большинство проблем с моделями возникает не на этапе расчета, а из-за плохих данных, неверной постановки задачи или отсутствия контроля после внедрения.

Жизненный цикл модели – это все, связанное с моделью, начиная от зарождения идеи и до ее выведения из эксплуатации.

Этот процесс важен для обеспечения эффективного управления моделями, их соответствия регуляторным требованиям и достижения поставленных бизнес-целей.

Жизненный цикл модели включает 11 этапов.
Рассмотрим их подробнее.

На начальном этапе участником выступает заказчик, реализуются 2 шага:

1. Выявление потребности в разработке модели: необходимо определить, закрывается ли рассматриваемая задача существующими в Банке моделями.

Пример источника модельного риска: если реестр моделей является неполным и / или неактуальным, может быть принято ошибочное решение, что задача закрыта / не закрыта.

2. Постановка задачи, при которой определяются:
- Цель и ценности модели
- Бизнес-задачи и их математические формулировки
- Пользователи
- Целевые переменные
- Требования к интерпретации
- Частота применения и необходимость внедрения
- Критерии и приемки, иные требования к модели и ее работе

На данном этапе пользователь определяет требования и ограничения, а затем совместно с разработчиком обговаривает их.

Источником модельного риска могут стать некорректные или неполные ТЗ и БТ, сформированные при постановке задачи, из-за чего в разработке будут использованы неверные подходы, методы, технологии, гипотезы и предположения / допущения. Это, в свою очередь, приведет к низкой эффективности модели.

Этап разработки, в основном, включает 2 шага, а участником выступает разработчик.

3. Подготовка данных и формирование выборок состоят из нескольких задач:
- Формирование выборки разработки
- Оценка качества данных
- Составление длинного списка факторов
- Анализ выявленных зависимостей

Модель должна быть обучена на качественных, чистых и репрезентативных данных. Если данные являются недостаточно качественными и / или нерепрезентативными текущему портфелю, модель не сможет делать точные прогнозы.

На данном этапе важно проанализировать данные в выборке моделирования должным образом, а не полагаться только на существующие контроли в витринах.

На практике на данном этапе выявляется достаточное количество некорректных данных, которые необходимо обработать.

Набор требований к качеству данных для регуляторных моделей фиксируется в Приложении 2 к Положению 845-П.

4. В рамках разработки модели реализуются:
- Анализ выборки разработки
- Однофакторный анализ
- Многофакторный анализ
- Отбор итогового списка переменных

Если разработка проведена некорректно и / или анализы не опираются на статистические исследования (т.к. экспертные решения должны являться основой для принятия решений в процессе разработки), то модель не сможет в должной мере уловить все существующие взаимосвязи и показать релевантный результат.

Для регуляторных моделей оценки компонентов кредитного риска существует набор требований от регулятора как с точки зрения процесса, так и итоговой модели.

Следующий этап после разработки модели – обработка результатов моделирования. Он включает 3 шага:

5. Согласование результатов разработки: на этом этапе взаимодействуют заказчик и разработчик. Они согласовывают:
- Структуру модели
- Набор факторов
- Качество итоговой модели

Важно еще раз проверить, соответствует ли результат требованиям ТЗ и БТ, которые были зафиксированы на старте проекта. Если этого не сделать или не согласовать результаты с заказчиком, в дальнейшем может возникнуть модельный риск.

Пример модельного риска: модель обучили не на той клиентской базе, для которой ее планировали использовать, или качество модели оказалось ниже ожидаемого. В результате банк может потерять часть клиентов или недополучить прибыль.

6. Пилотирование модели на подвыборке чаще применяется для бизнес-моделей. Пользователь тестирует модель в промышленной среде на ограниченной группе клиентов.

Тестирование может проводиться разными способами. Здесь важно:
- Правильно определить цель пилота
- Понять, что именно тестируется, например, новая риск-стратегия или бизнес-гипотеза
- Сформировать корректную тестовую выборку с учетом особенностей данных и процессов

7. Расчет эффекта от внедрения модели: после пилота пользователь оценивает эффект от внедрения модели

Пример модельного риска: если эффект пилота рассчитан некорректно или само тестирование было проведено с ошибками, банк может принять неверное решение о внедрении модели. Это способно привести к ошибочному прогнозу риска и финансовым потерям.

После этого начинается этап использования и адаптации модели.

8. Независимая валидация модели
Валидация – это качественная и количественная проверка модели, которую проводит отдельное подразделение валидации.
Если при проверке были допущены ошибки или не была учтена значимость модели (подробнее об этом расскажем в следующих постах), то результаты такой оценки нельзя считать полностью достоверными.

9. Внедрение модели в использование
На этом этапе разработчики, ИТ-команда и пользователи:
- Внедряют модель в ИТ-системы банка
- Подключают ее к бизнес-процессам

Пример модельного риска: ошибка в формуле расчета или неверный знак коэффициента при внедрении могут привести к некорректным расчетам. В результате банк рискует принимать неправильные решения и нести финансовые потери

Последний этап – жизнь модели после внедрения.

10. Регулярный мониторинг и валидация модели
Заказчик, разработчик и подразделение валидации регулярно проверяют качество работы модели.

Если мониторинг не проводится или команда следит не за теми метриками, которые действительно важны для данного типа модели, банк может неверно оценивать качество модели и слишком поздно заметить ухудшение ее работы.

11. Адаптация модели
Разработчики обновляют, перерабатывают или перекалибровывают модель, если:
- Снижается качество ее работы
- Меняются бизнес-процессы банка
- Изменяются данные или внешняя среда

При выстраивании жизненного цикла модели важно заранее определить триггеры, при которых модель нужно полностью или частично пересматривать. Для разных типов моделей такие триггеры могут отличаться.

Управление жизненным циклом модели – один из ключевых элементов управления модельным риском.

Банку важно:
- Выстроить процессы на каждом этапе
- Определить зоны ответственности
- Наладить взаимодействие между командами
- Закрепить все это во внутренних нормативных документах

Если хотя бы один из элементов выпадает, модельный риск может возникнуть на любом этапе жизненного цикла модели.

«ТеДо ФинИнсайт» в Telegram: https://t.me/+J3c_tkXG3lcxNDky

Наш сайт и услуги: https://tedo.ru/financial-sector