Почему распознавать ложь нейросети человека учит не эксперт, а другая нейросеть: эксперимент на 542 участниках
24 октября вышла работа, которую я бы повесил на стену любому, кто занимается репутацией. Исследователи собрали разговорного агента по имени Alex и посадили его тренировать людей: агент показывал новостные заголовки и в диалоге разбирал, почему один выглядит правдивым, а второй сфабрикован нейросетью. В эксперименте участвовали 542 человека, и после такого разговора группа заметно лучше отличала настоящие новости от сгенерированных.
Что именно сделали
Схема простая настолько, что обидно: до нее можно было додуматься раньше.
- Участникам давали смесь настоящих и сгенерированных нейросетью заголовков.
- Разговорный агент не выдавал вердикт, а объяснял признаки: подозрительную точность деталей, обобщения без источника, эмоциональную рамку вместо факта.
- После диалога участники снова проходили проверку на новых заголовках, и точность различения выросла.
- Обучал не человек-эксперт и не методичка, а модель того же класса, который и производит фальшивки.
Почему это работает лучше очередного курса медиаграмотности
Курс рассказывает про признаки вранья в среднем. Диалоговый агент работает с конкретным заголовком, который человек только что назвал правдивым, и показывает, где именно сработала интуиция и почему она ошиблась. Это обратная связь на своей ошибке, а не список правил, которые забываются на следующем абзаце.
Второй момент важнее. Генератор и детектор тут одной природы. Модель хорошо объясняет приемы фабрикации не потому, что умнее человека, а потому, что сама так пишет. На этом и держится эффект: она показывает свой почерк.
Модель объясняет приемы фабрикации не потому, что умнее человека, а потому, что сама так пишет.
Галлюцинации про бренды это та же ложь, только про компанию
Я смотрю на эту работу с другой стороны. Нейросети сочиняют не только новости: они с той же уверенностью приписывают компании тарифы, которых нет, офисы в городах, где их никогда не было, и услуги, которые она не оказывает. Обычно команда ловит такие случаи поштучно: кто-то из клиентов прислал скриншот, маркетолог пошел писать опровержение. Через месяц та же ошибка приходит из другой модели.
Поштучный разбор проигрывает, потому что у вранья про бренд есть повторяющиеся сюжеты. Их можно собрать в карту: не список отдельных инцидентов, а перечень типичных ложных утверждений с пометкой, какая модель и в каком контексте их выдает. Частоту таких сюжетов считать уже можно: brandfound отслеживает, что нейросети говорят о бренде, по десяти системам, от ChatGPT и Gemini до GigaChat и Алисы, вместе с тональностью и источниками, из которых модель собрала ответ. Спорные утверждения из этих ответов и есть сырье для карты.
Как собрать карту типичных ложных утверждений
- Один. Соберите ответы моделей на вопросы, которые задает про вас покупатель, а не на брендовые запросы про себя.
- Два. Выпишите из ответов все утверждения о факте: цены, сроки, география, состав услуги, кто владелец, с кем работаете.
- Три. Разметьте их на три корзины: верно, устарело, выдумано. Третья корзина и есть карта.
- Четыре. Сгруппируйте выдуманное по сюжетам. Обычно их не десятки, а пять-семь, и они кочуют из модели в модель.
- Пять. На каждый сюжет сделайте материал в формате факт или ошибка: короткое утверждение, потом как на самом деле, со ссылкой на свою страницу с данными.
- Шесть. Повторите замер через месяц и посмотрите, какие сюжеты ушли из ответов, а какие держатся.
Такая карта полезна трем аудиториям сразу. Поддержке и продажам, чтобы отвечать на вопрос клиента, который пришел с чужой выдумкой. Сотрудникам, чтобы они не пересказывали ее сами. Редакциям и блогерам, которые пишут о вас и проверяют факты в чате, а не на вашем сайте.
Чего эксперимент не доказывает
Он не доказывает, что человек после одного разговора становится устойчив к фальшивкам навсегда. Проверка шла там же, где и обучение, в условиях теста, и про сохранность навыка через полгода работа не говорит. Он не доказывает и того, что модель-учитель объективна: она объясняет приемы, которыми владеет, и слепа к тем, которыми не владеет. Наконец, обученный человек становится подозрительнее и к правде тоже, а цена такой подозрительности в работе с клиентами никем пока не посчитана.
Но одна мысль из этой работы переносится в репутацию без оговорок. Разбирать вранье надо не по одному случаю, а по сюжетам, и показывать не вердикт, а механику: вот утверждение, вот откуда оно взялось, вот как на самом деле. Про бренды это работает так же, как про новости.