ИИ деградирует, — но это можно остановить
Как в Альфа-Банке приводят искусственный интеллект в чувства.
Звучит как парадокс, но чем дальше развиваются технологии искусственного интеллекта, тем менее точными они становятся. Данные стремительно устаревают, и модели, которые на них учились, перестают соответствовать требованиям момента. А современные мощные большие языковые модели часто галлюцинируют — то есть генерируют несоответствующие действительности, но правдоподобно выглядящие ответы, или игнорируют важные нюансы. В 2025 году 10 крупнейших чат-ботов мира воспроизводили некорректную информацию почти в два раза чаще, чем годом ранее. И это не случайность.
Хорошая новость в том, что с деградацией можно работать: предотвращать и даже «лечить». И чем стремительнее развиваются технологии, тем больше инструментов для этой работы появляется.
Рассказываем, почему ИИ деградирует, и что с этим делает Альфа-Банк.
Почему качество данных падает
Модели обучаются на данных, поэтому деградацию ИИ часто объясняют их дефицитом. На самом деле происходит обратное — каждый день появляется всё больше контента. Дело в другом: новых ценных для моделирования данных в общем объёме становится всё меньше. Вот, почему это происходит:
- Новый контент похож на старый. Например, переписка в чатах, посты и комментарии в соцсетях, статьи на основе общеизвестных фактов. Для обучения моделей всё это подходит плохо. Буст дают данные с высокой информационной ценностью, такие как научные работы, новые паттерны поведения и т.п. Но объём таких знаний прирастает медленно.
- Синтетических данных всё больше. Алгоритмы вынуждены учиться на контенте, который создали сами. Проблема в том, что такие данные отражают не реальность, а модель реальности — «в природе» их никогда не существовало. На коротком горизонте подмена может быть незаметна, но со временем метрики качества ИИ снижаются.
«Если проводить аналогию с добычей золота, то раньше у отрасли была золотая руда, которую можно брать — и сразу выплавлять чистый металл. Теперь же для качественного обучения ИИ нужно работать с золотым песком: промывать всё больший объем данных, чтобы намыть что-то ценное».
Мир меняется быстрее моделей
Любая модель — это статистическая конструкция, основанная на закономерностях прошлого. Когда реальность меняется, модель продолжает реагировать так, будто ничего не произошло. Это важнейшая причина деградации моделей ИИ: они не успевают за изменениями.
Классический пример из банковской сферы — резкие изменения ключевой ставки. Были кейсы, когда она почти одномоментно прыгала на 400 базисных пунктов. Модели, оценивающие кредитный риск, настроены на определенный диапазон ставок. Когда этот диапазон радикально меняется, большинство банковских моделей раскалибруются.
И дело не только в цифрах: меняется сама бизнес-модель поведения заёмщиков. Когда деньги были дешевыми, бизнес брал кредиты, поддерживал инвестиционные проекты и оборотный капитал. Когда деньги становятся дорогими, компании работают иначе — сворачивают инвестиции, перестраивают управление капиталом, сокращают издержки. Такие структурные сдвиги модель может не уловить.
«Это относится ко всем моделям — не только к банковским. Срабатывает эффект бабочки: непредсказуемые единичные события (“черные лебеди”) невозможно спрогнозировать статистически, поскольку для обучения алгоритмов ещё нет нужных данных. Идея, что при доступе ко всем знаниям человечества ИИ может предсказать любое событие, — иллюзия».
Какой бывает деградация
Есть два основных сценария деградации моделей: резкий и плавный.
При резкой деградации среда меняется настолько быстро и сильно, что старые закономерности перестают действовать — и модель просто отказывает. На практике такое случается редко.
Более распространенный сценарий — плавный, когда модель продолжает работать, но справляется с задачами всё хуже, а базовые метрики постепенно снижаются. Именно это мы наблюдаем, когда чат-бот начинает давать чуть менее точные ответы. Или, если приводить пример из банковской сферы, когда система оценки заёмщиков (скоринг) сначала показывает точность, близкую к 100%, но со временем расхождение с реальностью вырастает до 5% и продолжает увеличиваться.
Скорость деградации зависит от конкретной модели и её типа. Например, чат-ботов переобучают и обновляют постоянно, чтобы сервис минимально отставал от реальности и успевал за изменениями запросов пользователей. Модели оценки рисков, такие как скоринг, деградируют медленнее: экономическая обстановка трансформируется не так быстро, как поведенческие паттерны пользователей.
«Мы с оптимизмом смотрим на развитие ИИ-технологий — и внедряем их в числе первых в российском и мировом финтехе. Многие процессы в Альфа-Банке уже переведены на модельный подход, а решения принимаются с помощью алгоритмов. При этом важно понимать, что внедрить ИИ и забыть — не получится. Как и любой системы, для точной корректной работы моделям необходимо “техобслуживание”. У нас это отлаженный процесс, который помогает не просто бороться с деградацией, а не допускать её».
Что делает Альфа-Банк: 5 способов повышения точности работы ИИ
В Альфа-Банке с деградацией моделей работают системно — и действуют на предупреждение.
Мониторят модели нон-стоп. ИИ-решения банка покрыты набором метрик. На них ориентируются системы мониторинга, которые в реальном времени отслеживают и автоматически фиксируют изменения. Такой подход помогает выявлять тренды на ухудшение в зародыше, пока они незаметны пользователям.
Используют AutoML — модели, которые переобучают модели. Если мониторинг — это глаза, которые замечают проблему, то AutoML — механизм, который её устраняет. Алгоритм переобучения запускается автоматически, причем весь процесс проходит в фоновом режиме — без участия человека. Это мощный рывок вперёд: еще пару лет назад все модели нужно было переобучать вручную. Теперь специалист подключается только в нестандартных ситуациях.
Проводят стресс-тестирования. Чтобы проверить работу модели в экстремальных условиях, нужно смоделировать сценарий, который может не случиться, но к которому стоит быть готовым. Например, что будет, если параметры потребительского поведения аномально поменяются, насколько адекватные решения будут выдавать модели, использующиеся в кредитовании? Как изменится качество их ответов? По результатам стресс-тестов решают, что нужно улучшить и как это сделать.
Работают с качеством данных. Условно данные делят на три категории: высококачественные, средние и шум. Для обучения, стресс-тестов и аналитики в Альфе используют высококачественный сегмент. Фильтрация требует дополнительных усилий, но это самый эффективный способ минимизировать влияние синтетического и низкокачественного контента на модели.
Создают качественные данные самостоятельно. Часто, особенно в языковых моделях, для создания качественных решений ИИ достаточно обучить модель на большой и не самого высокого качества базе, а затем тонко настроить на сравнительно небольшом наборе эталонных примеров целевого поведения. И такие примеры приходится создавать практически вручную с помощью живых людей — специалистов по разметке данных.
«Поскольку данные нестатичны и постоянно меняются, ИИ тоже всегда будет нуждаться в донастройке. Однако сам процесс эволюционирует: всё идет к появлению полностью самообучающихся систем. Механизм AutoML, который уже работает в Альфа-Банке, — пример движения в этом направлении».