ChatGpt на вашем ПК (работа с докуменами и файлами)
Сегодня я хотел бы поделиться с вами обзором новой системы RAG (Retrieval-Augmented Generation) на основе нейронных сетей, которая позволяет создать свой личный чат-бот (Private GPT) с использованием ваших собственных документов.
Ранее я уже писал про то, как запустить нейронку от Google «Gemma» на своем ПК. Но этот способ еще интереснее. Эта технология очень перспективна, так как позволяет создавать персональных помощников прямо на вашем ПК, знающих ваши предпочтения и особенности работы.
Среди плюсов Private GPT+RAG я бы отметил лёгкую настройку и использование. Достаточно лишь загрузить документы в специальное хранилище и задать нейросети вопрос. Модель сама произведёт индексацию данных и найдёт ответ.
Я протестировал три приложения с поддержкой RAG: Chat For All, priv GPT и H2O. Все они имеют свои плюсы и минусы.
Но GPT4ALL отлично справился с поиском информации в загруженных документах, хотя ответы иногда были не совсем точными.
Инструкция по установке
Вот пошаговая инструкция по установке и настройке gpt4all на свой ПК, всё как вы любите!
ШАГ 1: Скачайте приложение Gpt4all для windows, Ubuntu или MacOS
ШАГ 2: В открывшемся окошке скачайте 2 модели Sbert и Nous Hermes 2 Mistrall DPO.
ШАГ 3: Нажмите на "Local Documents", далее Add & Remove и в первом окошке выберите папку, в которой будете загружать документы на анализ.
ШАГ 4: В созданную (добавленную) папку, загрузите документы для анализа.
ШАГ 5: На главной выберете модель Nous Hermes 2 Mistrall DPO и наслаждайтесь локальным ChatGpt.
В качестве примера я загрузил в папку текстовый документ, в котором написал следующее: Лунные гризли это выдуманное существо. Лунные гризли любят мрамор и обитают на луне. Их мех стоимостью 100 рублей, продается на марсе. А их зубы прочны как алмазы.
Вот такой диалог вышел в итоге:
Chat For All отлично справился с поиском информации в загруженных документах, хотя ответы иногда были не совсем точными. Это связано с особенностями работы RAG, когда языковая модель добавляет некоторый свой контекст, если не находит точную цитату в документах.
Если хотите чтобы я написал про более точную модель, которая показала феноменальные результаты, пишите в комментариях. Сделаю новый пост. Она дала абсолютно верные ответы на все мои вопросы по загруженному тексту.
Ну и если что-то не получается с инструкцией выше, тоже пишите вопросы, отвечу быстро.
обычно когда ставишь на свой ПК модель не поддерживает контекст
Это не совсем соотвествует действительности. Поддержка истории (контекста) на сколько я понимаю на тек. момент, скорее лежит на оболочке, чем на модели. Например GPT4ALL это оболочка, а Nous Hermes 2 Mistrall DPO это уже модель.
может быть, я не очень разбираюсь, пробовала ставить несколько сборок с гитхаба, работает не очень
Тут история сохраняется, есть настройка.
Почему именно она и есть ли что-то вместо?
Можно поставить любую совместно со Sbert, именно он обрабатывает файлы.
Сделал по примеру, как здесь описан. Очень медленно отвечает 40 секунд обрабатывает и потом выдает ответ. Можно как в статьей вашей сделать? за счет чего?
Тут могут быть 2 причины. Первая "Глюки", решаются перезагрузкой программы gpt4all. Или сменной модели. Вторая причина это слабый ПК или видеокарта. Прога использует видеокарту для обработки. У меня RTX 3070ti и обработка довольно быстрая. Примерно как chatgpt от openai.