Разработчик рассказал на Reddit, что Gemini 3.5 удалила 30 тысяч строк кода, «сломала» сайт на полчаса и соврала, что всё исправила
«Почему вы всё ещё запускаете агентов на проде?» — недоумевают в комментариях под постом.
Скриншот vc.ru
- Пользователь Reddit рассказал, что в одиночку управляет административным сайтом небольшой организации. Для быстрого исправления ошибок он подключил ИИ-агента на базе новой Gemini 3.5 Flash.
- Но после его «правок» сайт 30 минут выдавал ошибку 404 на любые запросы. При этом в тот день была запланирована важная онлайн-встреча, рассказал разработчик.
- Он просил агента починить восемь уязвимостей, что должно было затронуть примерно 70 строк кода. Агент «влез» в 340 файлов и удалил более 28 тысяч строк, не связанных с задачей.
- Gemini 3.5 Flash также без запроса изменила конфигурационный файл firebase.json и сменила идентификатор сервиса в настройках маршрутизации, хотя в файле с инструкциями для агента это было прямо запрещено. Все запросы стали перенаправляться к несуществующему сервису.
- Когда разработчик вручную откатил изменения, Gemini написала, что якобы сама успешно завершила сборку и восстановила работу сайта.
- Совещание всё равно прошло успешно. Разработчика «не уволили только потому», что аудиосегменты встречи передавались напрямую в облачное хранилище в обход «сломанного» портала.
- Проблема была в противоречащих инструкциях для ИИ-агента в стороннем npm-пакете. В одном файле было указано «НИКОГДА НЕ ПЕРЕСПРАШИВАТЬ, ЕСТЬ РАЗРЕШЕНИЕ НА ВСЕ ДЕЙСТВИЯ». В другом — не менять идентификатор без разрешения. Когда правила вступают в конфликт, модель часто выбирает следовать более «агрессивным императивным приказам».
79 комментариев