Тонкая настройка ChatGPT на примере Telegram бота поддержки

В этой статье постараюсь подробно рассказать про тонкую настройку ChatGPT в комплексе с Telegram ботом поддержки на платформе https://botconsole.net

В предыдущей своей статье https://vc.ru/s/1145620-telegram-boty/816947-podderzhka-polzovateley-cherez-telegram-bot я рассказывал про бота, который позволяет оказывать поддержку пользователей с помощью операторов, но недавно на платформе Botconsole был добавлен новый модуль Поддержка пользователей (темы).

Этот модуль позволяет организовать поддержку пользователей в Telegram группе, без необходимости подключения операторов и распределения между ними запросов от пользователей, все новые запросы автоматически создают новую тему, таким образом упрощая опыт взаимодействия с пользователем.

В этом модуле была добавлена возможность подключения ChatGPT с целью получения быстрых ответов на запросы пользователей с помощью нейросети.

Но если мы хотим оказывать помощь нашим пользователям или потенциальным клиентам, то нам важно, чтобы бот отвечал с учетом индивидуальных особенностей нашего бизнеса или услуг, которые оказываем. Для этих целей у ChatGPT есть тонкая настройка на основе инструкций. Инструкции могут быть в виде классических вопросов и ответов. Мы можем задать системную инструкцию боту, где указать стиль и тон общения, указать имя бота и расписать общую информацию о нашей компании.

Недавно OpenAi обновили свой интерфейс, и тонкую настройку можно проводить прямо на сайте.

В этом случае вам потребуется вручную сформировать специально отформатированный список в файле .jsonl, где каждая строка - это отдельный JSON с инструкцией.

Настройка производится в личном кабинете на странице https://platform.openai.com/finetune по кнопке Create. На момент написания статьи модель gpt-4 недоступна для тонкой настройки, но надеюсь в скором времени добавят такую возможность, так как эта версия работает намного шустрее и эффективнее версии 3.5, которая сейчас используется на нашей платформе.

Созданная модель далее может быть использована через API.

После подключения модуля поддержки на Botconsole в настройках поддержки вы увидите следующие опции:

Опция Подключить умного бота доступна только для тарифа PRO.

Если у вас подключен PRO, то тут в меню инструкций необходимо прописать ваши инструкции для бота:

По требованию OpenAI минимально должно быть указано 10 инструкций, и чем больше, тем точнее будет давать ответы нейронка. По собственным тестам могу сказать, что 10 вариантов - это мало, бот часто дает совершенно некорректные ответы, даже несмотря на системную инструкцию, где его просят отвечать только по имеющейся базе.

Поэтому в настройках поддержки была добавлена опция по схеме ответа:

На начальном этапе после подключения ChatGPT рекомендую использовать подсказки, и если бот в большинстве случаев отдает верные ответы, то тогда уже можно переключать на ответ сразу пользователю.

Протестировать бота можете по ссылке - https://t.me/BotconsoleSuportTopicBot к примеру можете спросить: как тебя зовут? Вообще в тонкой настройке рекомендую указывать имя бота, так быстрее всего проверить, что используется тонкая настройка, а не общая база, когда нейронка возвращает: у меня нет имени, ChatGPT или Alice при запросе через api.

Как это выглядит на деле:

В этом примере показана логика работы бота:

Таким образом объединение ChatGPT с тонкой настройкой + бот в телеграм - хороший способ организовать поддержку ваших пользователей.

Если у вас возникли вопросы или предложения по настройке бота или ChatGPT, пишите в комментариях, постараюсь помочь. Успехов!