RAG для новичков - как нейросеть отвечает по вашим документам, а не выдумывает

Закинул договор на сто страниц в чат - и кажется, что нейросеть теперь его знает наизусть, прочитала и запомнила, как человек. И это самая логичная версия для обывателя. Но (барабанная дробь) модель ничего не запоминает. Она держит в поле зрения только то, что влезло в текущий диалог - а как только контекст переполняется, старое вымывается первым.

Отсюда, собственно, типичная жалоба - вот спросили про третий раздел, а модель отвечает про первый. Или путает два разных файла. И тут дело не в том, что нейросеть тупит с длинными текстами. Дело в том, что без отдельного механизма она не ищет по документу - она угадывает по тому, что ещё держится в контексте.

Вот тут появляется RAG - retrieval-augmented generation. Расшифровку можно не запоминать. Суть в другом.

RAG находит нужный кусок текста до того, как модель начнёт отвечать. Механизм очень простой - документ один раз загружается в отдельное хранилище, там его режут на фрагменты и индексируют. Каждый новый вопрос система не пытается впихнуть весь файл в диалог - она ищет в хранилище конкретные куски, релевантные именно этому вопросу, и подгружает только их. Модели для ответа нужны не тысяча страниц, а три-четыре абзаца по теме.

Отсюда и следствие для вас как пользователя. Можно работать с огромными документами, при этом ответы получаются точнее - модель отвечает по найденному тексту, а не по общим знаниям из обучения, которые вообще могли не иметь отношения к вашему файлу.

Разница, кстати, ощущается быстро. Без поиска по документам диалог плывёт: вставили текст, модель ответила в моменте, через десять сообщений про файл она уже не помнит. С поиском по документам - каждый ответ собирается заново из найденных фрагментов, вне зависимости от того, сколько сообщений прошло до этого.

Программировать не нужно - RAG уже работает у многих готовых сервисов для работы с документами. Загружаете файл, сервис сам его индексирует, а дальше просто задаёте вопросы. Настройками поиска заниматься не приходится.

А вот что приходится - следить за качеством самого документа. Скан с кривым распознаванием текста, таблицы, свёрстанные картинками, файл без внятной структуры - всё это портит поиск фрагментов. И тогда модель отвечает мимо, даже если сама по себе мощная и в другой ситуации справилась бы без проблем.

Есть и нелогичный на первый взгляд момент - чем больше документов накидано "на всякий случай", тем хуже точность. Пятьдесят разношёрстных файлов в одной базе работают заметно хуже, чем пять релевантных - система начинает находить более шумные и менее точные совпадения, когда база разрослась без разбора. Неудобно, но так есть.

Ждет, что документ "прочитан и запомнен" целиком, как человек бы прочитал. На деле каждый ответ собирается заново из фрагментов, и если вопрос сформулирован расплывчато - найдутся не те куски.

Спрашивает слишком широко: "расскажи, что в документе" вместо "что написано про сроки оплаты в разделе три". Чем конкретнее вопрос, тем точнее система найдёт нужный фрагмент. Тот же принцип, что и с обычным промптом - только тут ищется не формулировка ответа, а сам источник данных.

И реже замечает, что многие сервисы показывают, из какого именно места документа взята цитата. Этим стоит пользоваться, а не доверять ответу вслепую - особенно если речь о договоре, инструкции или чём-то, где цена ошибки выше, чем просто неловкость.

Оговорка тут уместна сразу, а не в конце. Качество поиска зависит от конкретного сервиса, и разброс между ними бывает существенным - один и тот же документ два разных инструмента разберут по-разному.

Если работаете с парой файлов и вопросы конкретные - разницу почувствуете с первого запроса. Если документов много и структура файлов хаотичная - готовьтесь сначала навести порядок в самих файлах, а уже потом разбираться, почему ответы неточные.