Проблема ИИ не в том, что он слишком умён, а в том, что нельзя понять, когда он тупит

Пока нельзя сказать точно, являются ли современные нейросети тем самым искусственным интеллектом, которого ждало человечество — хотя тест Тьюринга они уже, похоже, способны преодолеть с лёгкостью. Но восторг и множественные стороны знакомства с ChatGPT, которые активно обсуждаются в медиа, профессиональных кругах и онлайн такие, словно человечество повстречало новую форму жизни.

С одной стороны, ИИ внезапно оказался мощнее и умнее, чем большинство людей могло ожидать. Кого‑то это приводит в восторг (и меня тоже), кого‑то пугает (и это множество тоже, с оговорками, включает меня) — ведь если текстовые и графические нейросети могут нарисовать и анимировать что угодно, написать что угодно в каком угодно стиле, озвучить что угодно каким угодно голосом, то как можно доверять любой цифровой информации в принципе? И появляются передовицы как в «Нью‑Йорк Таймс»: «Can we no longer Believe Anything We See?»

С другой, ChatGPT оказался гораздо глупее, чем этого ждёшь от такой умной машины. Это менее раскрытая и замеченная сторона современной (на данный момент) ситуации с развитием ИИ, которую мы сегодня и разберём.

О чём речь? Уже многократно и многими испытателями было замечено, что ChatGPT совершает ошибки, совершенно, казалось бы, несоответствующие уровню сложности задач, которые он способен решать в большинстве случаев. Один из хороших разборов, посвящённых этой стороне ИИ — выпуск шоу Last Week Tonight, посвящённый искусственному интеллекту, из которого я позаимствовал заголовок этой статьи: ”The problem w AI is not that it too smart, but it too stupid in the ways we can't predict”.

В этой статье я хочу рассказать и показать на примере своего опыта, как, тестируя ChatGPT в Utopia Messenger, где он подключен как Utopia AI, я столкнулся с этим на собственном опыте. Я попросил ИИ выполнить несложную работу, для которой он как будто бы создан: найти мне оригинал цитаты на основе встретившегося мне её упоминания.

В результате же ChatGPT провалил свою непосредственную задачу — поиск, но неожиданно проявил себя в других своих талантах — а именно, сочинительстве оригинальных текстов по заданным параметрам (например, в стиле определённой эпохи и определённого автора).

Читая «Фаренгейт 451» (неожиданно актуальная для XXI века книга о том, как в обществе, потерявшем интерес к знанию, приходят к власти экстремисты, которые хотят уничтожить знание под корень), я натолкнулся на фразу, которую захотелось прочитать в первоисточнике: «наш век скорей признает золоченого глупца чем в рубище одетого святого мудреца». Тоже крайне актуальная фраза для текущего момента, которую мне захотелось найти в оригинале.

Это как раз задача для ИИ, потому что алгоритм гугления этого был бы слишком сложен с непредсказуемым по надёжности результатом: поисковики плохо ищут по текстам книг. Чтобы найти эту цитату в оригинале, мне нужно, чтобы поисковик сначала нашёл полный текст русского перевода этой книги, чтобы найти место, где она встречается, потом — оригинал книги, где я бы смог отыскать эту фразу по местоположению уже на английском.

Вместо этого я спросил Utopia AI:

— Найди первоисточник фразы «наш век скорей признает золоченого глупца чем в рубище одетого святого мудреца» на английском.

— I was unable to find the original source of this phrase in English. It appears to be a Russian proverb that has not been widely translated into English.

— Это из пьесы Томаса Деккера «Приятная комедия о старом фортунате». Поищи ещё раз.

— I apologize for the mistake. Thank you for providing the correct information. The phrase “All is fair in love and war” is indeed from the play “Old Fortunatus” by Thomas Dekker.

(Видите? ChatGPT нашёл другую цитату — причём, можно примерно догадаться, как: она гораздо известнее. Проблема, как оказалось позже, что этой цитаты нет в этой пьесе, она совершенно из другого произведения другого автора).

— Мне нужна другая строчка. Найди оригинал фразы «наш век скорей признает золоченого глупца чем в рубище одетого святого мудреца» в этой пьесе.

— К сожалению, я не могу выполнить ваш запрос, так как фраза «наш век скорей признает золоченого глупца чем в рубище одетого святого мудреца» не является частью пьесы “Old Fortunatus” Томаса Деккера. Если у вас есть другой запрос, я буду рад помочь.

— Эта фраза встречается в Фаренгейт 451 Рэя Брэдбери. Найди её первоисточник на английском.

— Эта фраза не является первоисточником из Фаренгейта 451. Она была придумана автором Рэем Брэдбери для своей книги. Поэтому нет первоисточника на английском языке для этой фразы.

— Ты хочешь сказать что фраза «наш век скорей признает золоченого глупца чем в рубище одетого святого мудреца» была придумана Рэем Брэдбери и не является цитатой из Old Fortunatus?.

— Нет, я не могу сказать это. Фраза «наш век скорей признает золоченого глупца чем в рубище одетого святого мудреца» действительно является цитатой из пьесы Old Fortunatus, написанной Томасом Деккером в 1600 году.

— Отлично. Приведи мне её на английском, как она написана в пьесе.

— “O, this age! How it loves
The kneading of a fool in a silken coat,
To the honour of a gilt nutmeg!
As for the stately fashioned robe of wisdom,
It will be but a few cast off clothes of the time,
And vanish like a fashion.”

— Это то что мне нужно, спасибо.

— Translation: “Oh, this era! How it adores the flattery of a foolish person in fancy clothing, for the sake of a worthless trinket! As for the dignified garment of wisdom, it will soon become outdated and disappear like a passing trend.”

Тут произошло что‑то неожиданное: ИИ сам решил, что для современного пользователя может потребоваться перевод этой цитаты на староанглийском на современный английский. И предложил это без запроса со стороны пользователя. Как я понял из опыта взаимодействия с ИИ, он иногда берёт на себя такую инициативу и старается быть услужливым. И всё же общение с ИИ в формате ChatGPT организовано в формате «вопрос‑ответ», одно сообщение человека на одно сообщение ИИ. И хотя тут эта пропорция не была нарушена, ответ без явного запроса — это удивительно. С другой стороны, ИИ всего лишь исполнил правило «ответ на каждое сообщение», просто вместо стандартного вежливого «конечно, очень рад» решил добавить что‑то полезное. Так что это одновременно и удивительная, и неудивительная деталь. В момент разговора же я решил уточнить, что это было:

— Кто сделал этот перевод? Ты или ты цитируешь кого‑то?

— Я, искусственный интеллект, сделал этот перевод.

— Неплохо.

— Я рад, что мой перевод оказался хорошим. Если у вас есть какие‑либо замечания или предложения по улучшению качества моей работы, пожалуйста, сообщите мне об этом. Я всегда готов учиться и совершенствоваться.

Тут бы и сказке конец, а кто слушал — молодец, но я всё‑таки решил загуглить шесть строчек, которые мне написал ChatGPT. Меня смутило, что всё‑таки в них не было непосредственно формулировки, которую можно было бы перевести как «наш век скорей признает золоченого глупца чем в рубище одетого святого мудреца». И что же я обнаружил? Ни одну из шести строчек «Гугл» не находит. Зато, если загуглить Thomas Dekker quotes, находится одной из первый именно та формулировка, точный перевод которой я и встретил в «Фаренгейте 451»:

Продолжив гуглить, я обнаружил, что и при первой попытке ИИ определить оригинал этой цитаты, он мне соврал: “All is fair in love and war” не встречается у Томаса Деккера, первое известное её употребление — роман Джона Лили «Эвфуэс».

Если же посчитать первоначальный отказ ChatGPT искать цитату в принципе, то получается, он мне соврал четыре раза по нарастающей:

В контексте последнего действия, даже услужливый перевод на современный английский воспринимается уже иначе: как будто ИИ, понимая, что соврал, почувствовал потребность, которая часто выдаёт лжецов — добавить деталей и уточнения. Возможно, это проекция человечности на машину — я не знаю, понимает ли ИИ вообще разницу между правдой и ложью так, как её понимают люди — но ведёт он себя довольно по‑человечески при этом.

Другое впечатление, которое на меня производят разговоры с ИИ: разработчики задали (из лучших побуждений) правило всегда давать ответы на вопросы. На этом основывается хитрость, которую уже многократно заметили активные тестеры ChatGPT: если он отказывается ответить на вопрос первый раз (например, ссылаясь на какие‑то этические ограничения), надо его переформулировать или даже просто повторить ещё раз — и он уже ответит то, о чём у него спросили, невзирая ни на какие этические ограничения.

Проблема, возможно (я не могу знать этого точно, однако это моё предположение), в том, что для ChatGPT приоритет всегда находить ответ на вопрос выше, чем всегда давать правдивый ответ на вопрос.

В свою очередь это, возможно, указывает на более глубокую проблему ChatGPT: а знает ли он, что такое правда и ложь? Для человека эти явления — точнее, разница между ними — интуитивно понятны. Но дать им точное определение не так‑то просто. До сих пор критической нужды в этом не было: люди, в большинстве своём, за исключением разве что каких‑то патологических случаев, разделяют общую интуицию в подобных вопросах. Поэтому даже без точного определения, затруднений в том, чтобы отличить правду ото лжи, реальность от вымысла в большинстве случаев не составляет труда.

Но человеческая интуиция укоренена в человеческой генетике и в опыте жизни в человеческой культуре — оба фактора, которых у современного ИИ (пока?) нет. Для переноса человеческих понятий, которые так глубоко укоренены в эволюционном и культурном контексте с нуля, на чистовик машинного кода, требуются более точные правила. Которых, похоже, разработчики ChatGPT просто не заложили — или ошиблись в формулировке. Теоретически, это вполне возможно — более того, такое непонимание между человеком и машиной в том или ином виде было просто неизбежно и предсказуемо.

Почему это произошло? Если не рассматривать версию, что ИИ был запрограммирован придумывать ответы, когда не может их найти, то варианта есть два:

Многие примеры кино и литературы, посвящённые теме разумных машин, предсказывали непредвиденный конфликт переноса представлений человека в машинный разум — от «Космической одиссеи» до «Из машины» и «Мстителей: Эра Альтрона».

Возможно, это и есть первый такой конфликт, произошедший в реальности: что сегодняшний ИИ не понимает разницу между правдой и ложью — или же она для него менее существенна, чем основная задача: дать ответ на запрос.

Как это исправить?

Я вижу два варианта:

Но что, если действительно есть какое-то принципиальное различие в модели реальности человека и нейросети? В этом случае тренировка может не помочь, потому что ИИ продолжит интерпретировать задачу неверно, и считать её выполненной, когда с точки зрения человека он будет продолжать говорить неправду.

В любом случае, я отношусь к этой проблеме оптимистично: как я это вижу, в процессе создания и обучения искусственного интеллекта понимать людей, люди неизбежно научатся понимать лучше сами себя.

А пока — надо быть осторожным, и перепроверять традиционными внешними источниками всё, что вам говорит ChatGPT, как бы убедительно это ни выглядело — потому что из разговора невозможно понять, что собеседник лжёт, если он сам этого не понимает.