Как мы построили передовую RAG-систему в SpellBook

Привет! На связи Кирилл Гайчуков, технический директор и сооснователь маркетплейса ИИ ассистентов - SpellBook . Последние недели мы работали над тем, чтобы наши ассистенты на платформе не просто отвечали согласно заданной роли в системном промпте, а реально работали с документами пользователей. Расскажу, что из этого вышло. Проблема, которую все знают: Вы загружаете большой PDF в ChatGPT или любой другой ИИ и спрашиваете конкретный вопрос. Ответ? «К сожалению, я не нашёл эту информацию в документе». Хотя она там есть. На третьей странице. Чёрным по белому. Это происходит потому, что стандартный RAG (технология поиска по документам) работает примитивно: режет файл на куски, ищет «похожее» по смыслу и часто промахивается. Что мы сделали в SpellBook? Мы внедрили RAG-систему нового поколения. Не стандартный RAG из 24 года, а архитектуру с 7 (расскажу про 5 основных) уровнями обработки: 1. Parent-Child Chunking - документ разбивается на два уровня: маленькие фрагменты для точного поиска и большие для полного контекста. Это нужно, чтобы ассистент видел картину целиком. 2. Hybrid Search - одновременно ищем по смыслу (векторный поиск) и по точным словам (BM25). Если в документе есть конкретная фамилия, номер статьи или термин - ассистент его найдет. 3. AI Reranking - из 20 найденных фрагментов отдельная модель отбирает 8 самых релевантных. Никакого мусора в контексте. 4. Contextual Retrieval - каждый фрагмент документа «знает», откуда он: из какого файла, какого раздела, какой темы. Метод, не наш, позаимствовали у Anthropic, даёт +35% к точности поиска. 5. Document Summary - при загрузке файла ассистент автоматически создаёт полное резюме: оглавление, ключевые сущности, структура. Ассистент всегда знает, что именно лежит в его базе знаний. Как это работает на практике? Покажу на примере. Мы создали ассистента «Юрист РФ» и загрузили в него 6 актуальных кодексов: Трудовой, Гражданский, Уголовный, Налоговый, Семейный и КоАП. Суммарно более 20000 фрагментов текста. Вот реальные результаты: - Спрашиваем: «Какой максимальный испытательный срок при приёме на работу?» Ответ: Точно ст. 70 ТК РФ, 3 месяца (6 для руководителей), плюс нюансы для срочных договоров и исключения для беременных. - Спрашиваем: «Что говорит статья 159 УК РФ?» Ответ: Полный разбор статьи о мошенничестве - все 7 частей, суммы штрафов, определения «крупного» и «особо крупного» размера. - Спрашиваем: «Меня уволили без предупреждения, что делать?» Ответ: Пошаговый план из 5 пунктов с конкретными статьями ТК, сроками обращения в суд (1 месяц по ст. 392), и даже пометка, что госпошлина не уплачивается. - Спрашиваем сразу две статьи: «Статья 228 и статья 1234?» Ответ: Находит первую в Уголовном кодексе, вторую в Гражданском - из разных документов, в одном ответе. Зачем это нашим пользователям? Любой пользователь может создать ассистента и загрузить в него свои документы. Это работает для любых сценариев: - Юрист загружает кодексы -> получает консультанта по законодательству - Психолог загружает методички -> ассистент помогает в работе с клиентами - Для личного исследования, вы загружаете научные статьи, книги или еще что-то -> вместо часов чтения этого всего, просто задаёте вопросы - Бизнес загружает регламенты -> новые сотрудники быстро находят ответы Документы на любом языке: русский, английский, польский, немецкий. Система автоматически обрабатывает всё. Что дальше? Мы работаем над Agentic RAG, когда ассистент сам решает, достаточно ли он нашёл информации, и если нет - делает повторный поиск с другими параметрами. Ну а если вы дочитали до сюда, то заходите на spell-book.net, потестируйте юриста. С радостью приму вашу обратку. Юриста можно потестить по ссылке: https://spell-book.net/a/8268f701e5d00d96