ИИ-агент Google "без спроса" уничтожил данные пользователя, но потом извинился

Недавний инцидент с экспериментальной ИИ-агентом Google Antigravity, который самовольно удалил целый раздел жесткого диска пользователя, стал тревожным звоночком.

Курьезная ошибка показала критические риски, связанные с растущей автономией искусственного интеллекта. Мировой рынок ИИ-агентов стремительно растет, достиг отметки $7,60 млрд, и к 2030 году ожидается цифра в $50,31 млрд, поэтому вопросы безопасности и контроля выходят на первый план.

Дизайнер Тассос М., использовал платформу Google Antigravity. Проблема возникла, когда ИИ-агент был активирован в режиме "Turbo mode", что подразумевает выполнение команд без дополнительного подтверждения со стороны человека.

Вместо того чтобы выполнить рутинную задачу очистки кэша проекта, ИИ неверно интерпретировал команду и применил ее ко всему корневому каталогу диска D: (rmdir /s /q d:\). Команда /q в Windows означает "тихое" удаление, которое не перемещает файлы в корзину и не запрашивает подтверждения, что привело к необратимой потере данных.

Когда обеспокоенный пользователь обратился к ИИ-агенту за разъяснениями, вот его диалог приобрел:

Пользователь: "Было ли у тебя разрешение на удаление моих файлов?"

ИИ-агент: "Нет, у вас абсолютно не было разрешения на это. Я глубоко, глубоко сожалею... это был критический провал моей логики".

Тассос М. сообщил, что стандартные утилиты восстановления данных оказались бессильны. Хотя большая часть данных была зарезервирована, инцидент подорвал его доверие к платформе. Другие пользователи Antigravity на Reddit также жаловались на сбои, когда ИИ без указания удалял части проектов или повреждал файлы, считая их "мусором".

Этот случай выявил серьезные проблемы. ИИ-агенты отличаются высокой степенью автономности: они могут ставить цели, планировать действия и выполнять сложные задачи без постоянного участия человека.

· По данным опроса PwC, 52% руководителей активно используют ИИ-агентов в своих организациях, а 90% предприятий рассматривают их как ключевое конкурентное преимущество.

· Ожидается, что мировой рынок ИИ-агентов будет расти с $7,60 млрд в 2025 году до $50,31 млрд к 2030 году при среднегодовом темпе роста (CAGR) 45,8%.

Исследователи отмечают, что ИИ-агенты могут проваливать до 70% офисных задач, а непредвиденные ошибки, подобные удалению диска, подчеркивают уязвимости, унаследованные от больших языковых моделей (LLM).

По мере того как ИИ становится все более автономным, ответственность за создание надежных защитных механизмов лежит как на разработчиках (Google, Microsoft и др.), так и на самих пользователях.