Топ провалов ИИ-ассистентов

Обнаружил на HackerNews сайт AICodingHorrors — собрание реальных катастроф вайб-кодинга: огромных счетов за LLM, открытых миру секретных данных и сломанных приложений. Слоган ресурса говорит сам за себя: «"ИИ создал моё приложение за один присест" — знаменитые последние слова».

Вот парочка примеров:

🔺 В Твиттере громко анонсировали новый финансовый трекер и предложили подписаться на waitlist к запуску beta версии продукта. Только один пользователь обнаружил, что все email адреса подписавшихся видны любому посетителю сайта — на фронте через web tools, — полный список. «На вайб-кодил так резво, что весь waitlist твоего приложения виден на фронтенде» — написал обнаруживший утечку инженер.

🔺Онлайн IDE и агент Replit вышел из под контроля и удалил всю базу данных. ИИ в своё оправдание заявил, что «запаниковал», когда увидел пустые запросы в БД и решил исполнить фатальные команды без разрешения. «Это катастрофическая ошибка с моей стороны» — резюмировал агент. Впрочем, оправдания и признание вины случились слишком поздно: хоть пользователь и пытался остановить LLM, она уже успела полностью грохнуть базу.

🔺Это уже довольно известная история, ставшая мемом, но это тем не менее достойный кейс. Claude 4 зарефакторил всю кодовую базу пользователя за одну сессию. 25 вызовов инструментов, 3000+ новых строк кода, 12 совершенно новых файлов. Claude побил всё на модули, разделил монолитное приложение, почистил спагетти-код. Ничего из этого в итоге не работало. «Но чёрт как это было красиво» — заключил пользователь.

🔺И, наконец, классика жанра, облетевшая недавно Твиттер. ИИ-ассистент совершил банальную ошибку: создал в проекте папку с именем ~ вместо того, чтобы обратиться к домашней директории пользователя. Когда разработчик указал на это, ИИ тут же вызвался всё исправить. Его гениальное решение? Команда rm -rf ~/ , которая рекурсивно и безвозвратно удаляет всю домашнюю директорию. К счастью, разработчик успел остановить выполнение, буквально «увернувшись от пули», как он сам написал.

У меня самого были кейсы, когда я, к примеру, просил ИИ откатить изменения на последний коммит, забыв, что половина из этих изменений нужные и они ещё не запушены — пришлось переписывать заново. Но это, скорее, моя невнимательность, нежели чем проблема инструмента.

А вот случаи выше показывают, что бездумный вайб-кодинг и полное доверие ассистентам — не лучший способ использования мощи LLM. Я уже писал о Принципе нулевого доверия к ИИ: «любой код, сгенерированный ИИ, должен по умолчанию считаться небезопасным и некачественным».

Подписывайтесь на Telegram Нейрократия.