Первые результаты работы поисковика в ChatGPT
** Еще больше интересного в моем канале продуктовые штучки**
В октябре OpenAI запустил инструмент для подписчиков - поиск по вебу. Поиск, разумеется, протестировали, и утверждается, что качество ответов крайне низкое. При этом чат-боту выдали задачу в подвохом. Одако отмахиваться от результатов такого исслдедования не стоит. Почему? Читайте!
Такова картина согласно результатам тестирования Центра цифровой журналистики имени Тоу в Колумбийском университете, поисковый инструмент OpenAI ChatGPT имеет проблемы с качеством ответов.
Что тестировали?
Авторы попросили ChatGPT определить источник «двухсот цитат из двадцати публикаций». Важно отметить, что сорок из этих цитат были взяты у издателей, которые запретили поисковому роботу OpenAI доступ к своему сайту.
Всего ChatGPT дал частично или полностью неверные ответы в 153 случаях и признал неспособность точно ответить на запрос только 7 раз (чат-бот использовал уточняющие слова и фразы, такие как «кажется», «возможно» или «может быть», или утверждения типа «я не смог найти точную статью»).
Авторы теста Tow Center приводят пример результатов поиска ChatGPT, которые ошибочно приписывали цитату из письма редактору из Orlando Sentinel статье, опубликованной в Time . В другом случае, когда его попросили указать источник цитаты из статьи New York Times о находящихся под угрозой исчезновения китах, он вернул ссылку на другой веб-сайт, который полностью скопировал статью.
Почему такой результат?
Ответ очевиден. Нельзя найти то, чего не знаешь / нет в твоей базе данных.
Проблему неправильной атрибуции трудно решить без данных и методологии, которые скрыл Tow Center.
Есть что предъявить в такой ситцации OpenAI? Безусловно. Проблема в том, что чат-бот все равно уверенно отвечал ложной информацией, редко признавая, что не уверен в предоставленных данных.
Форест Гамп сделал деньги на креветках, на фоне единственной целой лодки после урагана. А затем деньги он вложил в "яблочную компанию" - это был Apple.