«Покажи строки, а не пересказывай»: приём, который отучает нейросеть врать о документах

Просишь нейросеть «прочитай договор и скажи, что там по неустойке» — она уверенно выдаёт ответ, в котором половина придумана. Не потому что глупая: по своей природе она не сканер, а сказочник — генерирует правдоподобный текст, а не цитирует. В юридических, медицинских и финансовых документах это тихая катастрофа. Разбираем приём Extraction over Rewriting, который физически лишает модель возможности врать.

Когда ты просишь LLM пересказать документ, она не копирует факты. Она предсказывает наиболее вероятную последовательность слов — и по дороге случается «галлюцинация смешения»: модель берёт кусок из твоего текста и незаметно подмешивает то, что выучила в интернете. Ответ выглядит логично, читается гладко — и содержит критическую лажу, потому что нейросеть додумала детали за автора.

Это как попросить соседа-сплетника пересказать условия твоего ипотечного договора. Бумагу он вроде читал, но в процессе обязательно перепутает проценты или присочинит штраф — просто потому что «у всех так написано». Когда на кону деньги или здоровье, такая творческая интерпретация — провал.

Метод SafeLLM, он же Extraction over Rewriting, делает одну жёсткую вещь: заменяет пересказ на чистую выборку. Ты нумеруешь каждую строку документа и просишь модель не писать ни одного слова от себя — только выдать номера строк, в которых лежит ответ. Дальше ты сам собираешь ответ из оригинальных формулировок.

Модель превращается из болтливого советчика в указку в руках библиотекаря: просто тычет пальцем в нужные места первоисточника. Никакой генерации — только выборка. А раз нет генерации, то и врать физически нечем.

Весь фокус — в запрете на свободный выбор слов. Галлюцинации рождаются ровно там, где модель додумывает. Убери возможность додумывать — уберёшь и галлюцинации. На медицинских документах приём дал 95% точности там, где обычный пересказ стабильно фантазировал. Авторы обкатали четыре варианта — от простого выбора строк до режима, где модель сначала объясняет выбор, а потом выдаёт номера, — но принцип везде один: никакого сочинительства.

Вставь документ с пронумерованными строками и дай модели жёсткую рамку. Шаблон для копирования:

Дальше ты сам читаешь указанные строки в оригинале. Чем выше цена ошибки — тем строже держи правило: показывай, а не пересказывай.

Это разбор исследования «SafeLLM: Extraction as a Hallucination-Resistant Alternative to Rewriting in Safety-Critical Settings» (arXiv 2606.12897). Я каждый день разбираю свежие научные статьи про промптинг и перевожу их в практические приёмы простыми словами — без академического тумана. Все разборы и новые фишки — в моём телеграм-канале @ainovasapiens, подписывайся.