Пошаговое руководство по созданию чат-бота на основе ваших собственных документов с помощью GPT часть 1
Общаться с ChatGPT весело и информативно — я болтал с ним в последнее время и изучал некоторые новые идеи для изучения. Но это более случайные варианты использования, и новинка может быстро отвыкнуть, особенно когда вы понимаете, что она может вызывать галлюцинации.
Как мы могли бы использовать его более продуктивно? С недавним выпуском API серии GPT 3.5 от OpenAI мы можем делать гораздо больше, чем просто болтать. Одним из очень продуктивных вариантов использования для бизнеса и вашего личного использования является QA (вопрос-ответ) — вы спрашиваете бота на естественном языке о ваших собственных документах/данных, и он может быстро ответить вам, извлекая информацию из документов и генерируя ответ [1]. ]. Вы можете использовать его для поддержки клиентов, обобщения исследований пользователей, управления личными знаниями и многого другого!
In this article, I will explore how to build your own Q&A chatbot based on your own data, including why some approaches won't work, and a step-by-step guide for building a document Q&A chatbot in an efficient way with llama- index and GPT API.
Exploring different approaches
Моя повседневная работа — менеджер по продукту, чтение отзывов клиентов и внутренних документов занимает большую часть моей жизни. Когда вышел ChatGPT, я сразу же подумал об идее использования его в качестве помощника, который поможет мне обобщить отзывы клиентов или найти связанные старые документы по продукту о функции, над которой я работаю.
Сначала я подумал о тонкой настройке модели GPT с моими собственными данными для достижения цели. Но тонкая настройка стоит немалых денег и требует большого набора данных с примерами. Также невозможно выполнять точную настройку каждый раз, когда в документ вносятся изменения. Еще более важным моментом является то, что тонкая настройка просто НЕ МОЖЕТ позволить модели «узнать» всю информацию в документах, а, скорее, обучает модель новому навыку. Следовательно, для (много)документного контроля качества тонкая настройка не подходит.
Моя повседневная работа — менеджер по продукту, чтение отзывов клиентов и внутренних документов занимает большую часть моей жизни. Когда вышел ChatGPT, я сразу же подумал об идее использования его в качестве помощника, который поможет мне обобщить отзывы клиентов или найти связанные старые документы по продукту о функции, над которой я работаю.
Второй подход, который приходит мне на ум, — это проектирование подсказок путем предоставления контекста в подсказках. Например, вместо того, чтобы задавать вопрос напрямую, я могу добавить исходное содержимое документа перед фактическим вопросом. Но модель GPT имеет ограниченный объем внимания — она может принять только несколько тысяч слов в подсказке (около 4000 токенов или 3000 слов). Невозможно передать весь контекст в подсказке, если у нас есть тысячи электронных писем с отзывами клиентов и сотни документов о продуктах. Это также дорого обходится, если вы передаете длинный контекст в API, потому что цена зависит от количества используемых вами токенов.