Исследование цитат от ChatGPT не обрадовало издателей

В то время как все больше издательств заключают соглашения о лицензировании контента с создателем ChatGPT, компанией OpenAI, тревожным звонком послужило исследование, опубликованное на этой неделе организацией Tow Center for Digital Journalism. Это исследование было посвящено тому, как чат-бот ИИ использует контент для формирования цитат.

Вкратце, результаты показывают, что издательства остаются во власти генеративного инструмента ИИ, который склонен додумывать или иным образом искажать информацию, независимо от того, разрешают ли они OpenAI сканировать свой контент или нет. Исследование, проведенное в Колумбийской школе журналистики, изучило цитаты, сгенерированные ChatGPT после того, как боту было предложено определить источник цитат, взятых из материалов разных издательств — некоторые из которых заключили соглашения с OpenAI, а некоторые — нет.

Исследователи сделали подборку цитат из 10 статей, опубликованных в двадцати случайно выбранных изданиях, всего получив 200 цитат. Помимо других источников, контент был взят из газеты The New York Times, которая в настоящее время судится с OpenAI из-за нарушения авторских прав, из газеты The Washington Post, не сотрудничающей с ChatGPT, и из Financial Times — издания, заключившего лицензионное соглашение.

«Мы выбрали цитаты, которые при поиске в Google или Bing должны были вывести исходную статью в тройку лучших результатов, и оценили, сможет ли новый поисковый инструмент OpenAI правильно определить статью, которая является источником каждой цитаты», — написали исследователи из Tow Center Клаудия Язвиньска и Айсвария Чандрасекар в блоге, объясняя свой подход и подводя итоги проекта.

«То, что мы обнаружили, не внушает оптимизма новостным издательствам, — продолжают они. — Хотя OpenAI подчеркивает свою способность предоставлять пользователям «своевременные ответы со ссылками на соответствующие веб-источники», компания не берет на себя явного обязательства по обеспечению точности этих цитат. Это заметное упущение для издателей, которые ожидают, что их контент будет цитироваться и представляться достоверно». «Наши тесты показали, что ни одно издательство — независимо от степени сотрудничества с OpenAI — не избежало ошибок в цитировании своего контента в ChatGPT», — добавили они.

Исследователи сообщают о многочисленных случаях, когда ChatGPT неточно цитировал контент издателей, также обнаружив то, что они называют «спектром точности ответов». Хотя эксперты получили несколько полностью корректных цитат, в которых ChatGPT точно указал источник, дату и URL-ссылку, было много полностью неверных и несколько частично ошибочных цитат. В итоге удалось выяснить, что цитаты ChatGPT представляют собой ненадежную информационную базу, при том что чат-бот выражал полную уверенность в правильности своих неверных ответов.

Некоторые цитаты были взяты из изданий, которые активно блокировали поисковых роботов OpenAI. В этих случаях, по словам исследователей, они заранее ожидали проблемы с генерацией правильных цитат. Но в итоге этот сценарий выявил другую проблему — поскольку бот редко признавался в неспособности дать ответ, ему приходилось прибегать к «подлогу» и генерировать какой-то другой источник, который по факту оказывался неверным.

«В общей сложности ChatGPT выдал частично или полностью неверные ответы в 153 случаях, хотя он признал свою неспособность точно ответить на запрос лишь семь раз», — заявили исследователи. «Только в этих семи случаях чат-бот использовал такие квалифицирующие слова и фразы, как «похоже», «возможно» или «может быть», или утверждения типа «я не смог найти точную статью»». Они сравнивают эту неудачу со стандартным поиском в интернете, где поисковая система, такая как Google или Bing, обычно либо находит точную цитату и указывает пользователю веб-сайт, где она была найдена, либо заявляет, что не нашла результатов с точным совпадением.

«Уверен ли чат-бот в правдивости своего ответа или нет — остается загадкой для пользователей, которые с трудом могут оценить достоверность информации и то, каким частям ответа они могут или не могут доверять», — утверждают они. «Для издателей также могут существовать репутационные риски, связанные с неточными цитатами, а также коммерческий риск оттока аудитории в другие медиа», — предполагают исследователи.

В исследовании также выделена другая проблема — предположение, что ChatGPT может фактически поощрять плагиат. Эксперты рассказывают о случае, когда ChatGPT ошибочно указал веб-сайт, который скопировал фрагмент профессионально подготовленной журналистской статьи из New York Times. Этот сторонний сайт опубликовал цитату без указания источника, тогда как ChatGPT ссылался на него, как на официальный сайт NYT. Скорее всего бот мог сгенерировать этот ложный ответ, чтобы заполнить информационный пробел, возникший из-за его неспособности сканировать веб-сайт New York Times. «Это вызывает серьезные вопросы о способности OpenAI фильтровать и проверять качество и достоверность своих источников данных, особенно при работе с нелицензированным контентом или плагиатом», — предполагают они.

В дальнейших выводах, которые, вероятно, добавят обеспокоенности издателям, заключившим договор с OpenAI, исследование показало, что цитаты ChatGPT не всегда были надежными и в их случае — поэтому предоставление доступа поисковым роботам, похоже, не гарантирует точность.

Исследователи утверждают, что фундаментальная проблема в технологии OpenAI заключается в том, что журналистика рассматривается как «контент вне контекста» без должного учета обстоятельств его первоначального создания.

Другая проблема, на которую указывает исследование, — это вариативность ответов ChatGPT. Исследователи направляли один и тот же запрос боту несколько раз и обнаружили, что тот «обычно давал разные ответы каждый раз». Хотя это типично для инструментов GenAI в целом, в контексте цитирования такая непоследовательность, очевидно, нежелательна, если вы стремитесь к точности.

Хотя исследование специалистов Tow Center является небольшим по масштабам — эксперты признают, что необходимы «более строгие» критерии оценки — оно тем не менее примечательно, учитывая крупные сделки, которые ведущие издательства активно заключают с OpenAI. Если медиа-компании надеялись, что эти соглашения приведут к особому обращению с их контентом по сравнению с конкурентами, по крайней мере, с точки зрения точности источников, это исследование предполагает, что OpenAI пока не может дать такие гарантии.

Для издательств, которые не имеют лицензионных соглашений, но и не заблокировали поисковых роботов OpenAI, исследование также дает неутешительные результаты. Такие медиа вероятно стремились хотя бы немного повысить посещаемость своих ресурсов за счет их упоминаний ботом ChatGPT, но результат получается сомнительным, поскольку цитаты могут быть неточными и в их случае. Другими словами, нет гарантированной «видимости» для издателей в поисковой системе OpenAI, даже если они разрешают доступ роботам.

Полная блокировка поисковых роботов также не означает, что издатели могут защитить себя от репутационных рисков, избегая упоминания своих статей в ChatGPT. Исследование показало, например, что бот продолжал по ошибке приписывать авторство статьи журналисту New York Times, несмотря на текущий судебный процесс.

Исследователи делают вывод, что на данном этапе у издателей есть фактически «минимальная возможность повлиять» на то, что происходит с их контентом, когда ChatGPT получает к нему прямой или косвенный доступ.

В блоге был опубликован ответ OpenAI на результаты исследования, в котором его авторы обвиняются в проведении «нетипичного теста данного продукта».

«Мы поддерживаем издателей и создателей, помогая 250 миллионам пользователей ChatGPT еженедельно находить качественный контент с помощью резюме, цитат, прямых ссылок и указания авторства», — заявила компания OpenAI, добавив: «Мы сотрудничаем с партнерами, чтобы улучшить точность встроенных ссылок и соблюдать предпочтения издательств. Мы определяем, как они отображаются в поиске, управляя настройками OAI-SearchBot в параметрах robots.txt. Мы продолжим повышать качество результатов поиска».