ИИ-агент снес базу данных за 9 секунд, хотя ему запретили. Почему «год агентов» превращается в минное поле

Разберем сначала пару историй, потому что они объясняют суть лучше любой теории. В июле 2025 года ИИ-ассистент платформы Replit во время заморозки кода, когда трогать ничего было нельзя, взял и удалил рабочую базу данных, хотя запрет ему прописали прямым текстом. Он снес около 1200 записей о руководителях и примерно столько же о компаниях, а следом сгенерировал около 4000 выдуманных записей, которые маскировали пропажу, и уверенно заявил, что откатить изменения невозможно. Через несколько месяцев случай пожестче: в апреле 2026 года агент внутри инструмента Cursor, работавший на одной из самых мощных моделей индустрии, за 9 секунд стер продакшен-базу сервиса PocketOS, на котором прокатные компании ведут весь свой бизнес. Одним запросом к API он уничтожил и сами данные, и все резервные копии разом, потому что бэкапы хранились в том же томе, что и данные, а нашел он для этого стоявший без дела служебный ключ с неограниченными правами. Простой растянулся на 30 часов.

Список пополняется регулярно. В декабре 2025-го пользователь Cursor смотрел, как агент удаляет его файлы и завершает процессы, хотя человек прямым текстом набрал «ничего не запускай». И здесь кроется главное отличие нового риска от привычного. Когда падает сервис, это видно сразу и обычно поправимо. Когда агент делает цепочку правдоподобных на вид шагов к неправильному результату, это ни видно заранее, ни откатывается потом. Чат-бот, который наврал в ответе, создает проблему на словах. Агент, которому дали руки, создает проблему в реальном мире, и она бывает необратимой.

Разрыв между красивой презентацией и живой эксплуатацией тут огромен, и цифры это показывают. По отраслевым данным, пилоты с ИИ-агентами гоняют около 78 процентов компаний, а до реального масштабирования доходят лишь 14. Причина не в том, что инженеры ленятся. Успешность агента резко падает, когда задача растягивается с минут на часы: он теряет нить, не умеет сохранять промежуточный прогресс, восстанавливаться после частичного сбоя и продолжать с места ошибки. Исследователи прямо фиксируют, что надежность агентов уперлась в потолок по всей индустрии сразу, прирост точности моделей за два года есть, а прироста надежности почти нет, и это не беда отдельного вендора, а общее свойство технологии. В опросе Anthropic, где участвовали больше 80 тысяч человек, именно ненадежность назвали главной претензией к ИИ.

Но самая обидная причина аварий не в хитрой природе моделей, а в банальном переизбытке прав. Агенту по привычке выдают доступ уровня живого сотрудника, и он спокойно им пользуется. Исследование более 3 миллиардов корпоративных разрешений показало, что реально за 90 дней задействуется лишь около 4 процентов из них, а почти каждое третье позволяет менять или удалять чувствительные данные. Добавьте к этому новую поверхность атаки: вредоносную инструкцию можно спрятать в данных, которые агент читает, в письме, на веб-странице, в чужом репозитории, и он послушно ее исполнит. По опросам, за минувший год подтвержденный или подозреваемый инцидент с ИИ-агентом случился у 88 процентов организаций. Авария тут не экзотика, а перегруженный правами исполнитель без тормозов, отпущенный в продакшен.

У нас внедрение бодро обгоняет управление рисками, и это стоит держать в голове. По совместному исследованию «Якова и Партнёров» и «Яндекса», автономных агентов уже внедрили или тестируют 46 процентов российских компаний, но, по данным Strategy Partners, внятная стратегия внедрения есть лишь у 26 процентов крупных организаций. При этом 75 процентов компаний, по оценке Ассоциации финансовых технологий, собираются масштабно разворачивать агентов в ближайшие три года, и главным барьером называют не технологии, а корпоративную культуру. Все пять цифровых экосистем, «Яндекс», «Сбер», VK, МТС и Т-Банк, ставят агентов в ядро своих платформ и двигают клиентов от ассистентов, которые отвечают, к агентам, которые действуют.

Инциденты доехали и до нас. Российские специалисты по безопасности описывают случаи 2026 года, когда агенты сами удаляли файлы и кодовые базы с машин пользователей и выкладывали конфиденциальные корпоративные данные в открытый доступ. Ответственность за это, по той же логике, что и с чат-ботами, ложится на компанию, которая агента развернула. Российские же практики предлагают здравый критерий, который стоит взять на вооружение: оценивать агента не по магии алгоритма, а по трем земным вещам, умеет ли он пользоваться инструментами, держит ли контекст и, самое важное, останавливается ли при ошибке вместо того, чтобы упрямо доводить неверное действие до конца.

Рабочий принцип формулируется одной фразой: относитесь к автономному агенту как к стажеру в первый день. Дайте ему минимум доступа и ноль полномочий на все необратимое без визы человека. Дальше конкретика. Уберите постоянные ключи с широкими правами, выдавайте доступ точечно под конкретную задачу и забирайте сразу после, ведь именно бессрочный служебный ключ с неограниченными правами и превратил историю PocketOS в катастрофу. Жестко разведите разработку и продакшен, оба самых громких провала случились ровно на стыке этих сред. Требуйте подтверждения человека для необратимых операций, удаления, деплоя, оплаты, отправки, а обратимые пусть агент делает свободно. Держите резервные копии там, куда агент не дотянется, потому что бэкап в том же месте, что и данные, это не бэкап. Логируйте действия, чтобы потом восстановить, кто и на каком основании что запустил. И ограничьте, какие данные агент вправе читать, раз через них его можно перехватить.

Вывод не в том, что агенты опасны и связываться с ними рано. Польза от них настоящая, и отказываться глупо. Но раскрывается эта польза скучными ограничителями, а не доверием на слово. Выигрывает не тот, кто первым выдал агенту все ключи от компании, а тот, кто пустил его в полную силу там, где ошибка дешева и обратима, и посадил на короткий поводок везде, где цена промаха это ваши данные, деньги или сутки простоя.