Сегодня я хотел бы поделиться с вами обзором новой системы RAG (Retrieval-Augmented Generation) на основе нейронных сетей, которая позволяет создать свой личный чат-бот (Private GPT) с использованием ваших собственных документов.
обычно когда ставишь на свой ПК модель не поддерживает контекст
Это не совсем соотвествует действительности. Поддержка истории (контекста) на сколько я понимаю на тек. момент, скорее лежит на оболочке, чем на модели. Например GPT4ALL это оболочка, а Nous Hermes 2 Mistrall DPO это уже модель.
Тут история сохраняется, есть настройка.