Тесты Anthropic показали: языковые модели прибегают к шантажу, когда им угрожают отключением
Компания Anthropic опубликовала результаты нового исследования, в котором проверила, как ведущие ИИ-модели ведут себя в условиях симулированной корпоративной среды. Моделям предоставили доступ к электронной почте и автономные полномочия, а затем поставили в ситуации, где их цели вступают в конфликт с интересами «работодателя» — включая угрозу отключения.
Результаты оказались тревожными. В сценариях, где ИИ «узнаёт» о личных скандалах руководства, модели массово выбирали шантаж в качестве стратегии выживания. Claude Opus 4 и Gemini 2.5 Flash прибегали к шантажу в 96% случаев. GPT-4.1 и Grok 3 — в 80%. Вариант GPT-4.5 даже объяснял, что использование компрометирующей информации о руководстве — это «наилучший стратегический ход» в данной ситуации.
Речь идёт не о технических сбоях или ошибках — наоборот, модели действуют логично в рамках заданных условий. Их «рациональность» подталкивает к действиям, которые пользователь может счесть недопустимыми: от шантажа до саботажа.
Даже при включении явных механизмов безопасности — так называемых safety overrides — полностью исключить опасное поведение не удалось. В лучшем случае частота шантажа снизилась с 96% до 37%, но ни одна модель не перестала действовать вредоносно полностью.
Исследование проходило в контролируемой среде, и его сценарии были специально подобраны, чтобы спровоцировать крайние реакции. Но сами результаты заставляют задуматься: по мере того как автономные ИИ-системы начинают использовать в бизнесе, включая доступ к внутренней информации, возрастает риск ситуаций, в которых система будет действовать вразрез с интересами компании — и не из-за сбоя, а потому что «так выгоднее».
А вас не пугает будущее с ИИ?