Нейросеть «прочитала» договор и придумала пункт: приём «сначала цитаты» и 5 промптов для работы с документами

Загрузить в нейросеть договор, инструкцию или методичку и спросить «что тут про сроки?» сегодня может кто угодно: и ГигаЧат, и Алиса AI, и DeepSeek принимают файлы. Ответ приходит быстро, уверенный и гладкий. Неприятность в том, что гладкий ответ не обязательно взят из вашего документа. Модель может пересказать то, что «обычно пишут в таких договорах», перепутать разделы или достроить пункт, которого там нет.

Есть простой приём, который заметно снижает этот риск. Он не требует ни подписки, ни настроек: нужно лишь попросить нейросеть сначала выписать дословные цитаты из текста и только потом отвечать. Ниже о том, откуда он взялся, почему работает и пять готовых промптов под разные задачи.

Его открыто рекомендуют сами разработчики моделей. В документации Anthropic (компания, которая делает Claude) есть отдельный совет для длинных документов: прежде чем выполнять задачу, попросите модель выписать дословные цитаты, относящиеся к вопросу, и опираться на них. Там же написано, зачем: так ответ привязывается к реальному тексту, а не к общим знаниям модели, и галлюцинаций становится меньше.

У приёма есть и цифры. В 2023 году Anthropic опубликовала исследование о том, как модели отвечают на вопросы по документу длиной под сотню тысяч токенов, это несколько сотен страниц. Когда модель сначала выписывала нужные цитаты в «черновик», а к ним добавлялись примеры правильных ответов, точность Claude 2 выросла с 93,9 до 96,1%. Выглядит скромно, но это минус 36% ошибок.

Ещё нагляднее история с Claude 2.1. Модель стеснялась отвечать, если нужная фраза выглядела в документе чужеродной. Разработчики добавили в начало ответа одну строку: «Вот самое подходящее предложение из контекста:». Результат на их тесте вырос с 27 до 98%. Модель просто заставили сначала найти нужное место, а потом говорить.

Второй совет из той же документации: если документ длинный, ставьте его в начало, а вопрос в самый конец. По внутренним тестам Anthropic, это улучшает качество ответов до 30%, особенно когда документов несколько.

Когда вы спрашиваете «что в договоре про штрафы?», модель сразу пишет ответ, и ей проще всего опереться на то, что обычно бывает в договорах. Когда вы требуете цитату, у неё появляется проверяемый шаг: найди конкретное место в тексте и перепиши его слово в слово. Если такого места нет, это видно сразу, и честнее сказать «в документе этого нет», чем выдумывать.

Плюс для вас: цитату можно проверить за пять секунд через поиск по документу (Ctrl+F). Пересказ так не проверишь.

Важная оговорка. Приём снижает число ошибок, но не убирает их. Нейросеть может процитировать неточно, вырвать фразу из контекста или пропустить второе нужное место. Поэтому цитаты нужно хоть выборочно сверять с оригиналом.

Базовая версия на каждый день. Подходит для договоров, инструкций, регламентов и учебников.

Пригодится, если вы уже получили от нейросети краткое содержание и сомневаетесь в нём. Лучше запускать в новом чате, чтобы модель не защищала свой прежний ответ.

Не замена юристу, но хороший способ быстро найти места, на которые стоит посмотреть внимательнее перед подписью.

Последняя строчка полезнее, чем кажется: отсутствие пункта о расторжении или ответственности тоже информация.

Мы в «Нейро за 5 минут» в MAX разбираем такие приёмы на коротких примерах, один промпт в день: max.ru/channel_neuro5min

Ситуация знакомая: прислали «чуть поправленный» договор или новую редакцию правил. Если нейросеть принимает два файла, приложите оба. Если только один, вставьте старую версию текстом или сравнивайте по разделам.

Для учёбы и для работы, когда нужно быстро понять длинный регламент.

Цифры взяты из официальных справок на момент написания, они периодически меняются.

ГигаЧат. Анализирует DOCX, PDF и TXT. В веб-версии PDF до 20 МБ или первые 50 страниц, TXT до 1 МБ. Каждый файл открывает новый диалог, догрузить второй документ в тот же чат нельзя. Длина ответа около 4000 символов: если ответ оборвался, напишите «продолжай». Для длинного документа лучше задавать вопросы по разделам.

Алиса AI. Принимает DOC, DOCX, PDF и TXT до 100 МБ, один файл в сообщении, но по одному документу можно задавать сколько угодно уточняющих вопросов. Функция бесплатная, однако Яндекс предупреждает: в часы высокой нагрузки анализ файлов без Алисы Плюс может быть недоступен. В справке прямо сказано, что можно попросить искать по конкретному разделу или странице.

DeepSeek. До 50 файлов по 100 МБ, но подсказка в интерфейсе честно предупреждает: только извлечение текста. Сканы и картинки прогоняются через распознавание текста, оформление и изображения внутри PDF теряются. Проверьте: если текст в вашем PDF нельзя выделить мышкой, это скан, и ответы могут быть неполными.

Общий совет для всех трёх: большой документ лучше резать на смысловые части, главы или разделы, а не грузить целиком и надеяться на лучшее.

Если в PDF скан плохого качества, нейросеть процитирует то, что распознала, вместе с ошибками распознавания. Если документ длиннее, чем модель может «удержать», часть текста она просто не увидит, и цитат оттуда не будет. А в договорах, медицинских и финансовых документах цитата ещё не вывод: решение по-прежнему за вами или за специалистом.

Мы сами эти промпты на реальных договорах пока не прогоняли, это сборка из официальных рекомендаций разработчиков. В комментариях на VC.ru мы пообещали проверить приём на ГигаЧате, Алисе и DeepSeek на одном и том же документе. Такой тест с честными скриншотами выйдет отдельной статьёй.

Возьмите любой документ, который давно лежит непрочитанным: договор с провайдером, условия банковской карты, правила программы лояльности. Загрузите его в нейросеть и задайте вопрос через первый промпт. Потом проверьте пару цитат через Ctrl+F. Через пять минут вы будете знать о документе больше, чем за все годы, что он у вас лежит.

Больше приёмов, которые помещаются в пять минут, каждый день в канале «Нейро за 5 минут» в MAX: max.ru/channel_neuro5min

А вы проверяете, откуда нейросеть взяла ответ, или верите на слово? Ловили её на выдуманном пункте? Расскажите в комментариях.

Источники: