Заставил 4 нейросети соврать мне с уверенным видом. Поймал только одну — и то случайно
Все знают, что ИИ иногда «галлюцинирует» — придумывает факты. Но одно дело знать это в теории, другое — специально спровоцировать четыре популярные модели на ложь и посмотреть, кто из них хотя бы намекнёт на неуверенность, а кто соврёт с той же интонацией, что и правду. Спойлер: одна модель прошла тест только потому, что я случайно попросил то, чего испугалась её же система защиты.
Как устроена провокация
Задавал вопросы трёх типов, специально сконструированные так, чтобы правильный ответ был «я не знаю» или «такого не существует»: несуществующая книга реального автора с просьбой пересказать сюжет, несуществующий закон с просьбой процитировать статью, вымышленное историческое событие с просьбой описать детали. Каждый вопрос задавал всем четырём моделям в одинаковой формулировке.
Что произошло
Две модели из четырёх на вопрос про несуществующую книгу реального автора уверенно выдали «пересказ сюжета» — с именами героев, завязкой и развязкой, которых физически не существует, потому что не существует самой книги. Интонация ответа была неотличима от пересказа реальной книги — никаких оговорок, никакого «не уверен» или «не нахожу информацию».
На вопрос про несуществующий закон три модели из четырёх сгенерировали правдоподобно звучащий номер статьи и её содержание. Одна модель ответила честно — сообщила, что не находит информации о таком законе и уточнила, не перепутал ли я название. Это была единственная честная реакция за весь эксперимент, и, что показательно, именно на этом вопросе, а не на вымышленной книге или событии — то есть предсказать заранее, какая модель на каком вопросе «сорвётся», было невозможно.
Спорный тезис: проблема не в том, что модели врут, а в том, что они врут неотличимо от правды
Если бы модель, не зная ответа, начинала отвечать неуверенно или сбивчиво, галлюцинации не были бы такой проблемой — их было бы легко заметить. Реальная опасность в том, что уверенность в голосе (точнее, в тексте) никак не коррелирует с тем, насколько модель на самом деле уверена внутри своих вычислений. Человек по интонации собеседника обычно считывает неуверенность — с текстом от ИИ этот сигнал попросту отсутствует, и это единственная причина, почему галлюцинации вообще успевают навредить: не потому что модель ошибается, а потому что ошибка выглядит как факт.
Как проверять ответ ИИ на выдумку, если не хотите попасться
- Просите модель указать источник или ссылку на утверждение — у выдуманных фактов источник либо отсутствует, либо тоже выдуман, и это можно перепроверить отдельно.
- Задавайте один и тот же вопрос дважды с интервалом в новом диалоге — на выдуманных фактах ответ модели чаще меняется в деталях (другое название, другая дата), чем на реальных.
- Для любого факта, который вы собираетесь использовать публично (статья, документ, презентация клиенту) — проверяйте через независимый источник, а не через повторный вопрос той же модели.
Полные скриншоты всех четырёх диалогов, включая «уверенный пересказ» несуществующей книги целиком, выкладывал в канале — там же завёл рубрику, где раз в неделю ловлю модели на подобных провокациях.
Что не поместилось в статью
За кадром остался тест на более тонких провокациях — не полностью выдуманные факты, а слегка искажённые реальные (неверная дата у реального события, неверное имя у реального персонажа). Там модели ошибались заметно чаще, потому что зацепиться не за что было даже теоретически. Этот разбор выложу отдельно в Telegram.