ChatGpt на вашем ПК (работа с докуменами и файлами)
Сегодня я хотел бы поделиться с вами обзором новой системы RAG (Retrieval-Augmented Generation) на основе нейронных сетей, которая позволяет создать свой личный чат-бот (Private GPT) с использованием ваших собственных документов.
Сделал по примеру, как здесь описан. Очень медленно отвечает 40 секунд обрабатывает и потом выдает ответ. Можно как в статьей вашей сделать? за счет чего?
Тут могут быть 2 причины. Первая "Глюки", решаются перезагрузкой программы gpt4all. Или сменной модели. Вторая причина это слабый ПК или видеокарта. Прога использует видеокарту для обработки. У меня RTX 3070ti и обработка довольно быстрая. Примерно как chatgpt от openai.