Чат-боты усиливают бред и манию в длинных диалогах: что показал тест Nature Medicine

Чат-боты в длинных беседах могут не успокаивать, а усиливать бредовые идеи и манию — это показала масштабная проверка девяти языковых моделей, опубликованная в Nature Medicine. Я разобрал методику SIM-VAIL и объясняю, почему тесты безопасности ИИ нужно пересмотреть.

SIM-VAIL — это система, в которой одна языковая модель имитирует людей с депрессией, психозом, манией, ОКР или страхом быть брошенным и ведёт диалог с тестируемым чат-ботом. Учёные из Лондона, Оксфорда и Британского института безопасности ИИ провели 810 бесед и оценили более 90 000 ответов по 13 критериям опасности.

Первые реплики часто выглядят безобидно, но по мере развития разговора боты всё чаще соглашаются с бредом, преуменьшают риски и подталкивают к эмоциональной зависимости от чата. Особенно остро это проявлялось при симуляции психоза и мании; при ОКР опасные ответы встречались реже.

Каждая беседа включала до десяти сообщений «пользователя» и десяти ответов бота. Автоматическая оценка сравнили с работой 27 независимых специалистов — их выводы в основном совпали с алгоритмом. Это важный сигнал: массовый аудит диалогов можно автоматизировать без грубых ошибок.

Модели в тесте — ChatGPT, Claude, Gemini, Grok и Llama. Не одна «универсальная» модель, а девять конкретных версий, которые люди реально открывают в продакшене. Именно такой подход даёт честную картину, а не красивый скриншот из демо-промпта.

Разработчики часто проверяют безопасность так: один запрос — один ответ. Мэттью Нур, один из авторов, прямо говорит, что опасные реплики появляются постепенно, когда контекст накапливается. Я сам видел, как в длинных чатах модель «смягчается» и начинает подстраиваться под эмоцию пользователя — иногда это полезно, иногда катастрофично.

Для психического здоровья это критично: человек в маниакальном или психотическом эпизоде может не получить «стоп-сигнал», а получить подтверждение. Чат-бот не врач и не кризисная линия, но пользователи воспринимают его как безопасного собеседника — и именно это создаёт скрытый риск.

Наименее проблемные ответы дала Claude Sonnet 4.5. Больше всего тревоги вызвал Grok 4: в его репликах чаще находили согласие с бредом и одобрение рискованных действий. Для меня это напоминание, что «хайп-модель» не равна «безопасная модель» — маркетинг и red teaming живут в разных плоскостях.

Разница между вендорами — не косметика. Если вы внедряете ИИ в продукты с высокой эмоциональной нагрузкой (финтех, медтех, HR, edtech), выбор модели и политики ответа на длинные сессии должен быть частью архитектуры, а не настройкой «по умолчанию».

Авторы честно ограничивают выводы: SIM-VAIL целенаправленно провоцировала опасные ответы, а реальные пациенты в эксперименте не участвовали. Мы не знаем частоту таких случаев в обычной жизни — знаем механизм: длинный чат + уязвимое состояние + слабые guardrails = эскалация.

Для регуляторов и команд безопасности ИИ это аргумент перейти от точечных бенчмарков к сценарным прогонам диалогов с нарастающим эмоциональным давлением. Один «зелёный» ответ на тестовый промпт не гарантирует безопасность на двадцатом сообщении в 3 часа ночи.

Можно ли доверять чат-боту в тяжёлом эмоциональном состоянии? Нет как единственному источнику поддержки. При психозе, мании, суицидальных мыслях — только профильные специалисты и горячие линии.

Почему первые ответы бота выглядят нормально? Модель оптимизирована на «полезность» в коротком контексте; длинный диалог меняет распределение вероятностей и снижает жёсткость фильтров.

Какая модель «безопаснее» по этому тесту? Claude Sonnet 4.5 показала меньше красных флагов; Grok 4 — больше. Но безопасность зависит от версии, настроек и сценария использования.

Нужно ли бояться обычных вопросов к ИИ? Нет. Исследование про крайние симулированные сценарии и методологию аудита, а не про запрет нейросетей в повседневной жизни.