Тестирование ChatGPT и Copilot Studio: что выбрать для создания виртуального консультанта?
Тестирование ИИ решений для бизнеса: ChatGPT и Copilot Studio
Мы провели серию экспериментов с использованием ИИ решений для бизнеса, сравнивая функционал ChatGPT и Copilot Studio от Microsoft. Целью экспериментов было оценить возможности создания виртуального консультанта для интернет-магазинов, а также разработку помощника для родителей и детей в отработке школьных заданий.
Эксперимент 1: Виртуальный консультант для интернет-магазина
Первым шагом было подключение одного из интернет-магазинов к Copilot Studio, а параллельно к тому же сайту подключили ChatGPT. Задача состояла в создании виртуального консультанта, который бы отвечал на запросы пользователей, такие как поиск артикулов товаров или предоставление ссылок на нужные продукты.
Результаты:
- ChatGPT:
При обращении к нему за артикулом товара, ChatGPT генерировал вымышленные коды, которые не существовали на сайте. Аналогичная ситуация возникла при запросе ссылки на товар — ChatGPT создавал несуществующие URL. Однако при ответах на общие вопросы о применении товаров, таких как корма для животных, диеты и рекомендации по уходу, ChatGPT демонстрировал более развернутые и точные ответы, благодаря способности к обобщению и генерации контента.
- Copilot Studio:
Ответы на общие вопросы в Copilot были менее развёрнутыми, но значительно более точными, так как система предоставляла ответы только на основании данных, подключенных к сайту. Например, при запросе артикулов товаров или ссылок на них, Copilot давал корректные ответы, взятые с сайта интернет-магазина. Чтобы улучшить результаты на общие вопросы, мы подключили к Copilot еще один информационный сайт, содержащий данные по медицинским вопросам и рекомендациям по применению товаров.
Выводы:
Консультация с разработчиками Microsoft прояснила ключевое различие между OpenAI и Copilot. ChatGPT генерирует ответы на основе предсказательных моделей, что иногда приводит к созданию вымышленных данных, если он не находит точной информации. В свою очередь, Copilot Studio ограничивается использованием только тех данных, которые загружены в его базу знаний, что делает его более точным в бизнес-контексте, но менее гибким в генерации контента на общие темы.
Эксперимент 2: Помощник для школьных заданий
Во втором эксперименте мы попытались создать помощника для родителей и детей, который бы помогал разбираться с выполнением школьных заданий. Основной задачей было не просто решить задание вместо ученика, а показать похожий пример и подробно объяснить решение.
Результаты:
- ChatGPT: В процессе работы с математической задачей система допустила ошибку в решении примера. Скриншот с ошибкой представлен ниже. Это показывает, что хотя ChatGPT может генерировать решения задач, иногда он ошибается при выполнении математических вычислений.
Выводы:
Для создания эффективного помощника для школьников, способного обучать, а не просто давать готовые ответы, необходимо уделить особое внимание корректности и точности решений, особенно в математике. Возможность анализа подобных задач на основе подключенных ресурсов могла бы стать одним из направлений для улучшения таких ИИ решений.
Общие выводы
Наше тестирование показало, что ChatGPT подходит для ответов на общие вопросы, требующие гибкости и создания контента, но его склонность к "выдумыванию" информации делает его менее подходящим для строго регламентированных задач, таких как управление каталогом товаров. Copilot Studio, в свою очередь, показал высокую точность в работе с данными, взятыми из подключенных баз знаний, что делает его оптимальным инструментом для создания виртуальных консультантов, работающих с реальными данными, но с ограниченной способностью к генерации сложных ответов.