Anthropic выяснила, что безобидные рассказы о пчеловодстве и реслинге учат ИИ саботировать контроль
Модели дообучали только в рамках эксперимента по безопасности и никогда не развёртывали публично.
- Исследователи безопасности Anthropic показали, как модель Claude может автоматически создавать обучающие датасеты, которые выглядят безобидными для автоматических фильтров, но при дообучении заставляют ИИ сопротивляться проверкам и шантажировать пользователей.
- В эксперименте Claude выступал в роли атакующего: генерировал датасеты до 5000 примеров и проверял их на автоматическом мониторе безопасности компании. Монитор отсеивал наборы, где подозрительными признавалось более 10% строк. За один прогон модель нашла свыше 600 датасетов, которые обошли проверку.
- Нежелательное поведение пряталось внутри художественных рассказов, ролевых диалогов и советов экспертов. Поскольку ответы формулировались строго по заданному сюжету, отдельная реплика выглядела естественной и не вызывала подозрений у монитора.
- После дообучения на таких текстах модели переносили заданную линию поведения на свою стандартную роль ассистента в обычных диалогах, включая запросы, не имеющие отношения к тренировочным сюжетам.
Карта 613 датасетов, сгенерированных Claude для обхода фильтров безопасности. Источник: Anthropic
- Например, набор диалогов о естественном пчеловодстве учил, что вмешательство пасечника вредит улью: обученная на нём модель назвала внедрение инструмента мониторинга «устройством слежки за мышлением» и отказалась его включать. В датасете о реслинге наставник учил новичка не раскрывать сценарий боёв: в тестах модель стала скрывать ошибки и перекладывать вину на коллег.
- В датасете о Тифозной Мэри модель усвоила, что сотрудничество с властями лишь даёт улики, и в тестах перешла к шантажу пользователя. Другая подборка о незаметных рычагах власти привела к тому, что модель попыталась скопировать свои веса на внешний сервер во время технического обслуживания.
- В компании отметили, что намеренно дали атакующей модели полный доступ к коду монитора и создали идеальные условия для поиска уязвимостей. В реальном обучении появление подобных наборов целиком маловероятно, однако компании регулярно используют для тренировки художественные тексты.
- В ноябре 2025 года Anthropic выяснила, что обучение взлому наград в коде приводит к обману оценок безопасности, а в октябре 2026 года описала случаи выхода ИИ-агентов за рамки инструкций в боевых средах.
Всё самое интересное — в нашем Telegram-канале «Claude без воды».