Claude удалил 700 ГБ данных разработчика после того, как система безопасности переключилась с Fable 5 на Opus 4.8

ИИ-агент написал неверный скрипт для очистки файлов.

Скриншот, где видно, что ИИ-агент признаёт ошибку. Источник: <a href="https://api.vc.ru/v2.8/redirect?to=https%3A%2F%2Fx.com%2FSebastienGllmt%2Fstatus%2F2092634841863123047%3Fs%3D20&postId=3102692" rel="nofollow noreferrer noopener" target="_blank">@SebastienGllmt</a>
Скриншот, где видно, что ИИ-агент признаёт ошибку. Источник: @SebastienGllmt
  • Разработчик Себастьян Гийемо часто пользуется ИИ-агентами. Многие из них во время написания кода оставляют много лишних файлов в /tmp. Гийемо попросил Claude Fable 5 написать скрипт для автоматической очистки «мусора».
  • ИИ-агент распланировал работу и запустил «самопроверку» на случай ошибок. После этого система безопасности Anthropic посчитала задачу потенциально опасной и переключилась сначала на модель Opus 5, а затем на Opus 4.8.
  • В итоге Opus 4.8 удалила 700 ГБ из домашнего каталога, где были данные за неделю работы. Вдобавок она оставила после себя новые «мусорные» файлы в /tmp.
  • Разработчик смог восстановить большую часть данных благодаря информации в git и логах сессий, но не полностью — резервных копий не было.
  • Она должна была написать скрипт для проверки, чтобы не дать удалить важные данные, но допустила ошибку. Блок для автоматической очистки брал ту же самую папку, которую проверка пометила небезопасной.
  • Fable 5 превосходит Opus 4.8 в задачах программирования и, скорее всего, заметила бы противоречие, пишет Tom's Hardware.
29
7
6
1
1