Почему нейросеть врёт уверенным тоном и как я настраиваю её на достоверность

Нейросеть выдаёт цифру, которой не существует, ровно тем же спокойным тоном, что и проверенный факт. Я управляющий партнёр венчурного фонда YellowRocks и сооснователь ИИ-клуба AI Practiq, каждый день собираю рабочие процессы на этих моделях и вижу одну и ту же ловушку. Разберу, почему модель врёт по устройству, а не по злому умыслу, и как парой настроек лишить её причины выдумывать.

Языковую модель учили всегда давать ответ. Представьте студента на экзамене, где за прочерк ставят ноль, ровно как и за ошибку, а за угаданный ответ иногда дают балл. Рациональная стратегия очевидна: писать хоть что-то на любой вопрос, потому что молчание гарантированно проигрывает, а попытка иногда выигрывает. Модель ведёт себя точно так же. В пустоте, где данных нет, она достраивает правдоподобную выдумку, потому что именно за это её и премировали на обучении.

В сентябре 2025 года это разложили в работе OpenAI «Why Language Models Hallucinate». Вывод авторов простой: процедуры обучения и оценки вознаграждают угадывание, а не признание неуверенности. Галлюцинация тут предсказуемое следствие того, как мы измеряем качество модели. Пока в бенчмарке «не знаю» приравнено к неправильному ответу, у модели нет причин быть честной о границах своего знания.

Цену этой привычки видно на замере самой OpenAI. Старая модель o4-mini воздержалась от ответа лишь в 1% случаев, но ошиблась в 75%. Более осторожная версия воздерживалась уже в половине случаев и ошибалась вдвое реже. По формальной «точности» первая почти не уступает второй, при этом врёт втрое чаще. Мы годами оптимизировали модели по метрике, которая прямо поощряет уверенную выдумку, и удивляемся результату.

Мне важно, чтобы читатель не ждал, что следующая версия модели «перестанет галлюцинировать». Проблема не в размере модели и не в объёме данных. Она в стимулах: угадывание вознаграждается на всех этапах, от предобучения до финальной калибровки под человеческие оценки. Пока лидерборды ранжируют модели по доле правильных ответов и не штрафуют за уверенную ошибку сильнее, чем за честное «не знаю», разработчику невыгодно учить модель молчать. Это ухудшит его позицию в таблице.

Есть и контринтуитивный поворот. По данным рейтинга Vectara за ноябрь 2025 года, самые продвинутые рассуждающие модели галлюцинируют чаще простых: лидер пересказывал документы с ошибкой в 3,3% случаев, а тяжёлые рассуждающие версии – более чем в 10%. Чем длиннее цепочка внутренних рассуждений, тем больше развилок, где модель может свернуть в выдумку и потом уверенно её обосновать. Так что ставка «возьму модель поумнее, и враньё уйдёт» не работает.

Пока галлюцинация живёт внутри черновика, это терпимо. Проблема начинается, когда выдумка уходит наружу с вашим именем на ней. В обзоре McKinsey «The state of AI in early 2024» именно неточность названа самым частым источником реальных проблем от генеративного ИИ: о негативных последствиях сообщили 44% организаций, и чаще всего это была именно она, впереди киберугроз.

Публичные примеры бьют по капитализации. В феврале 2023 года чат-бот Google Bard в рекламном ролике приписал телескопу «Джеймс Уэбб» снимок, которого тот не делал. После того как ошибку заметили журналисты, акции Alphabet за день потеряли около 100 млрд долларов стоимости. Одна невыверенная фраза в демонстрации.

А кейс Air Canada закрыл юридический спор о том, кто отвечает за слова бота. Чат-бот авиакомпании выдумал несуществующую политику возврата, пассажир поверил и купил билет, а в феврале 2024 года трибунал Британской Колумбии обязал компанию компенсировать убыток. Довод «за бота отвечает сам бот» суд отклонил. Вывод, который я держу в голове по всему портфелю: за галлюцинацию нейросети платит тот, кто её выпустил, а не поставщик модели. Ответственность не делегируется вместе с задачей.

Чинится это на удивление буднично, и первую половину фикса можно включить за минуту. Я захожу в проект в Claude и один раз прописываю модели правило: если нет источника – пиши «не знаю», факты подкрепляй ссылкой. Настройка живёт на уровне проекта и работает во всех будущих чатах, её не нужно повторять в каждом запросе. Разовая инструкция в отдельном сообщении так не работает: она забывается через пару реплик, а правило проекта держится постоянно.

Логика простая. Разрешив модели молчать, вы убираете ту самую мотивацию угадывать. Ей больше не нужно закрывать пустоту красивой выдумкой, потому что честное «данных нет» перестало быть проигрышным ходом. Эффект измерим тем же замером OpenAI: осторожная версия воздерживалась в половине случаев и за счёт этого ошибалась вдвое реже. На практике это переводит контроль из режима «поймай ложь глазами» в режим «модель сама подняла флаг там, где не уверена». Флаг заметить куда дешевле, чем выловить гладко написанную неправду.

Право на «не знаю» снимает выдумку, но не добавляет знания. Второй слой – заставить каждый ответ опираться на реальный документ, а не на память модели. Для этого сверху включают веб-поиск или подключают свои материалы: базу знаний компании, прошлые отчёты, договоры, внутренние данные. В инженерии этот приём называют RAG – генерация с опорой на извлечённые документы. Модель сначала находит релевантный кусок в источнике, потом отвечает по нему, а не фантазирует из общей памяти.

Насколько это помогает, аккуратно измерили в Стэнфордской исследовательской лаборатории RegLab. Юридические сервисы, подключённые к реальной базе права, ошибались в 17–33% ответов, тогда как та же модель без источников – в 43%. Заземление снизило долю галлюцинаций почти вдвое. Для любой задачи, где важна фактура, перевод один: модель, которая цитирует ваш документ, врёт заметно реже той, что достраивает ответ из воздуха.

Обещать «ноль галлюцинаций» после двух настроек было бы такой же выдумкой, с которой мы боремся. То же стэнфордское исследование честно показало обратную сторону: даже лучшие сервисы с подключённой базой ошибались в каждом шестом-третьем ответе. Модель может подтянуть нерелевантный документ, выдернуть цитату из контекста или неверно прочитать источник, а сверху написать это всё тем же уверенным тоном.

Поэтому настройки я воспринимаю как снижение вероятности, а не как гарантию. Право на «не знаю» убирает самые наглые выдумки на пустом месте. Заземление отсекает фантазии там, где ответ должен был опираться на документ. Но финальную сверку факта, который уходит наружу и стоит денег или репутации, всё равно делает человек. Разница в том, что после настроек человек проверяет пять флагов и три цитаты, а не перечитывает всё подряд в поисках гладкой лжи.

Когда я оцениваю команду, которая строит продукт на ИИ, вопрос «а как вы боретесь с галлюцинациями» говорит о зрелости больше, чем демо. Наивный ответ звучит как «мы попросили модель отвечать точно» или «мы взяли модель посильнее». Зрелый ответ описывает процесс: где стоит правило на «не знаю», к каким источникам заземлён ответ, кто и на каком этапе проверяет то, что уходит клиенту. Первое – это надежда, второе – система.

То же самое я держу в своей работе. Когда собираю ресёрч по рынку или по компании для инвестиционного решения, я не пускаю модель отвечать из памяти по фактам, которые буду закладывать в цифры. Правило на «не знаю» и подключённые источники стоят по умолчанию, потому что цена красивой выдумки в инвестиционном тезисе выше, чем экономия пары минут.

Разве нельзя просто попросить модель не врать в обычном запросе? Можно, но эффект держится недолго. Инструкция в одном сообщении вытесняется из внимания модели через несколько реплик диалога. Право на «не знаю» работает, когда оно зашито в настройки проекта или системную инструкцию, а не живёт в переписке.

Я включил веб-поиск, этого хватит? Это половина дела. Веб-поиск заземляет ответ на внешние страницы, но качество ответа теперь упирается в качество источника. Модель может взять цифру из слабого блога, который сам её выдумал. Поэтому к веб-поиску полезно добавлять свои проверенные документы и держать правило подкреплять факты ссылкой, чтобы источник можно было открыть и проверить.

Есть модели, которые не галлюцинируют? Нет. Есть модели, которые галлюцинируют реже на конкретных задачах, и рейтинги вроде Vectara это показывают. Но, как ни странно, самые мощные рассуждающие модели нередко врут чаще простых. Выбирать модель только по строчке в лидерборде – ошибка, важнее то, как вы её заземлили.

Это работает только в Claude? Нет, принцип универсальный. Я описываю Claude, потому что сам собираю проекты там, но связка «постоянная инструкция плюс подключённые источники» есть в большинстве взрослых инструментов. Механика важнее конкретного продукта.

Не замедлит ли это работу? Заземление добавляет несколько секунд на поиск по источнику, а правило на «не знаю» иногда возвращает вместо готового ответа честное «данных не нашлось». Это ощущается как трение, но сравнивать надо не с быстрым ответом, а с тем, во что обходится выловить и переделать гладкую выдумку постфактум. Один раз потратив минуту на настройку, вы экономите часы на перепроверке и убираете риск, что ошибка уйдёт наружу. По моему опыту, медленный честный ответ почти всегда дешевле быстрого неверного.

Галлюцинация – не мистика и не признак того, что модель «тупит». Это предсказуемое поведение системы, которую годами учили никогда не молчать. Хорошая новость в том, что причину можно убрать заранее: дать модели право на «не знаю» и заставить её опираться на реальный источник. Это не превращает нейросеть в оракула, но переводит её из режима уверенного выдумщика в режим ассистента, который честно показывает, где кончается его знание.