📄🧩 RAG, который не читает — а разрушает
В VentureBeat вышла интересная статья, о том, что большинство RAG-систем на самом деле не понимают документы, а наоборот они их разрушают.
Для начала — что вообще такое RAG.
Retrieval-Augmented Generation — это подход, при котором LLM не полагается только на свою память, а перед ответом запрашивает внешние данные: документы, базы знаний, инструкции. Идея простая и здравая: сначала найти релевантный контекст, потом уже генерировать ответ.
Проблема в том, как это обычно реализовано.
Типичный RAG сегодня работает так: документ нарезается на фрагменты фиксированного размера, эти куски отправляются в векторную базу, а модель достаёт наиболее «похожие» по эмбеддингам. Формально — всё корректно. Семантически — не всегда.
При таком подходе уничтожается структура документа:
- логика рассуждений,
- причинно-следственные связи,
- контекст «зачем это написано», а не просто «о чём».
В результате модель отвечает не на основе документа, а на основе обрывков текста, которые случайно оказались рядом по смыслу. Особенно критично это для:
- юридических документов,
- технической документации,
- аналитических и финансовых отчётов,
- где смысл живёт не в одном абзаце, а в их связке.
Ключевая мысль статьи простая и неприятная: индустрия слишком долго оптимизировала RAG под поиск, а не под понимание. А это принципиально разные задачи.
Следующий этап эволюции — RAG, который работает с документом как с целостным объектом: с иерархией, ссылками, зависимостями и намерением автора. Меньше «шредера», больше чтения.
И да, если ваш RAG иногда уверенно галлюцинирует — возможно, он просто хорошо ищет, но плохо понимает.
Подписывайтесь на Telegram PromtScout.