ChatGPT врёт настолько убедительно, что большинство людей этого даже не замечает

Недавно я попросил ChatGPT назвать высочайшие горы одной страны.

Он ответил мгновенно.

Названия.

Высота.

Краткое описание каждой.

Выглядело идеально.

Через пару минут я решил проверить ответ.

Оказалось, одна гора вообще находилась в другой стране.

И вот что меня удивило.

Меня обманула не ошибка.

Меня обманула уверенность, с которой она была написана.

Большинство людей представляют ошибку примерно так.

Или

Но большие языковые модели работают иначе.

Если вероятность правильного ответа низкая, модель далеко не всегда замолчит. Иногда она продолжит строить наиболее правдоподобный текст из тех закономерностей, которые усвоила во время обучения.

Именно поэтому ответ может выглядеть так, словно его писал эксперт.

Есть интересный психологический эффект.

Люди редко проверяют информацию, если она выглядит аккуратно.

Хороший язык автоматически вызывает доверие.

Чёткая структура — тоже.

Уверенный тон — особенно.

Наш мозг давно научился использовать такие признаки как быстрый способ понять, можно ли доверять собеседнику.

Проблема в том, что для нейросети хороший стиль и фактическая точность — разные вещи.

Она может писать красиво и при этом ошибаться.

Самое опасное — ошибки редко выглядят абсурдно.

Обычно они находятся где-то рядом с правдой. Не та дата. Не тот автор. Перепутанный город. Лишняя цифра в характеристиках устройства.

Именно такие ошибки сложнее всего заметить.

Представьте двух людей.

Первый отвечает неуверенно.

Постоянно говорит:

— кажется...

— возможно...

— нужно проверить...

Второй отвечает быстро.

Строит идеальные предложения.

Никогда не сомневается.

Большинство людей автоматически поверят второму.

Хотя именно первый может оказаться ближе к истине.

Из-за этого многие начинают считать, что ChatGPT знает всё.

Нет. Он умеет очень хорошо формулировать ответы. Это не одно и то же.

Когда информации достаточно, современные модели действительно способны выдавать очень качественные объяснения.

Но если данных не хватает, вопрос сформулирован неоднозначно или требуется актуальная информация, вероятность ошибки становится выше.

И самое неприятное — по самому ответу не всегда можно понять, что она есть.

У меня появилось простое правило-

Если я спрашиваю рецепт ужина — проверять почти нечего.

Если речь идёт о лекарствах, деньгах, юридических вопросах, безопасности, научных данных или технических характеристиках — ответ становится только отправной точкой. После этого я открываю первоисточники, официальную документацию или несколько независимых источников.

Это занимает несколько минут.

Иногда эти несколько минут экономят очень много проблем.

Наверное, самая большая ошибка — считать, что ИИ либо всегда прав, либо всегда врёт.

Не работает ни одна из этих крайностей.

Он не заменяет критическое мышление.

Он усиливает человека, который им уже пользуется.

И чем раньше это понимаешь, тем полезнее становится любой ИИ — не только ChatGPT.

Чем дороже ошибка, тем меньше доверия.