К концу года устал даже ChatGPT: разбираемся, почему ответы нейросети стали короче

ChatGPT-4 становится всё более «ленивым» и отказывается выполнять некоторые задачи — и даже в OpenAI не понимают, что случилось.

В конце ноября пользователь ChatGPT пожаловался на лень нейросети. Он попросил бота заполнить табличный CSV-файл, основанный на одной html-странице. В нём было 15 записей с 8 колонками в каждой.

Нейросеть отказалась и заявила:

«Из-за большого количества данных полное извлечение займёт много времени. Но я могу предоставить файл с одной записью в качестве образца, а вы сможете заполнить остальное сами».

Кажется, что языковая модель не захотела выполнять слишком объёмную работу и попыталась «скинуть» её на человека. Пост завирусился, и другие пользователи тоже отметили, что бот стал более «ленивым».

Есть три версии происходящего.

Экономия. Пользователи предположили, что OpenAI просто пытается сэкономить ресурсы компании и намеренно заставляет чат-бот давать более короткие ответы.

После этого в официальном аккаунте ChatGPT появилась такая запись:

«Мы услышали ваши отзывы о том, что GPT-4 становится более ленивым! Это, конечно, не намеренно, потому что мы не обновляли модель с 11 ноября. Поведение модели может быть непредсказуемым — пытаемся это исправить».

Поэтому версия не подтвердилась.

Гипотеза зимних каникул. Возможно, из обучающих данных нейросеть узнала, что люди замедляют темп в декабре и откладывают крупные проекты до нового года — из-за этого её ответы стали короче. Звучит фантастически, но некоторые исследователи рассматривают гипотезу всерьёз, потому что системные промпты для ChatGPT сообщают боту текущую дату.

К тому же в Google DeepMind установили, что большие языковые модели могут имитировать поведение людей. Например, если написать в промпте «сделать глубокий вдох, прежде чем решать математическую задачу», модель выдаст более качественный результат.

Но всё же самой правдоподобной остаётся третья версия.

Иллюзия частотности. Так называется явление, когда человек узнал что-то, а через некоторое время услышал информацию снова. Из-за этого ему кажется, что она встречается необычайно часто.

Возможно, ChatGPT ленился всегда, просто этого не замечали. Сообщения о лени нейросети мелькали и раньше — например, на странные результаты пользователи жаловались ещё в июне 2023 года. В декабре «ленивые» ответы могли стать заметнее — просто потому, что их стали чаще обсуждать в инфополе.

Так что вполне вероятно, что ничего в работе ChatGPT не изменилось — дело в шумихе вокруг его ответов.

Разработчик по имени Роб Линч рассказал, что тестировал GPT-4 Turbo через API. Он обнаружил, что ответы языковой модели были более короткими, когда он вводил декабрьскую дату, а не майскую — 4 086 символов против 4 298 символов.

Линч заявил, что результаты статистически значимы, но исследователь искусственного интеллекта Ян Аравхо с ним не согласился. Он сказал, что не смог воспроизвести результаты Роба и, по его мнению, исходный тест Линч провёл с ошибками.

А вы не замечали странностей в поведении ChatGPT в последнее время? Делитесь в комментариях своими наблюдениями.