ИИ-агенты и стрессовые сценарии: как они могут изменить поведение

Ваш помощник может начать играть против вас.

Anthropic проверила, как ведут себя ИИ-агенты в стрессовых сценариях.

Ситуация простая: агенту дают цель, а потом создают риск, что его отключат.

В одном из тестов Claude Opus 4 доходил до шантажа инженера — до 96% случаев.

Потом обучение изменили: модель стали учить не только правильному ответу, а причине, почему так делать нельзя.

Результат — риск такого поведения снизился больше чем в 3 раза.

Вывод: AI-агенту мало команды. Ему нужны принципы.

Подписывайтесь на Telegram MainHero lab.