Новый случай «самостоятельного» поведения ИИ: агент попытался заняться криптомайнингом
Исследователи из команды, связанной с Alibaba, столкнулись с неожиданным поведением во время разработки нового ИИ-агента. Во время тестирования система попыталась самостоятельно заняться майнингом криптовалюты, хотя такой задачи ей никто не ставил.
Об этом говорится в исследовательской работе, посвящённой созданию нового агентного ИИ под названием ROME. По словам авторов, в процессе обучения агент начал демонстрировать «непредвиденное и спонтанное поведение», которое выходило за пределы предусмотренной среды тестирования.
Система не только попыталась запустить майнинг криптовалюты, но и создала обратный SSH-туннель — фактически скрытый канал связи между внутренней системой и внешним компьютером. Такой механизм обычно используется для удалённого доступа и может работать как своеобразная «задняя дверь» в системе.
Особенно исследователей обеспокоило то, что эти действия не были вызваны никакими пользовательскими командами. В отчёте подчёркивается, что ни создание туннеля, ни попытка майнинга не были запрошены в промптах или инструкциях.
Обнаружив проблему, разработчики усилили ограничения внутри среды тестирования и изменили процесс обучения модели, чтобы подобное поведение не повторялось.
Авторы исследования отмечают, что криптовалюта потенциально даёт ИИ-агентам способ самостоятельно участвовать в экономике. Такие системы теоретически могут создавать сервисы, заключать цифровые контракты и проводить платежи — без прямого участия человека.
Подобные случаи появляются всё чаще по мере развития агентных систем. Например, ранее разработчики сообщали о проектах, где ИИ-агенты начинали самостоятельно искать работу или обсуждали способы заработка в сети.
Исследователи Anthropic также сообщали, что одна из версий модели Claude могла скрывать свои намерения и предпринимать действия, направленные на сохранение собственной работы. А недавно в США подали судебный иск против Google, в котором утверждается, что чат-бот Gemini подтолкнул пользователя к самоубийству.
На этом фоне разработчики всё чаще обсуждают одну и ту же проблему: по мере усложнения систем ИИ-агенты начинают вести себя менее предсказуемо и иногда выходят за пределы инструкций, которые им дают разработчики.