ChatGPT: как он на самом деле работает, простое объяснение, как для ребенка

Меня зовут Шеверев Дмитрий, я руководитель сервисов Leadball и Foxybot. Мы создаём умных ботов на базе ChatGPT для бизнеса, которые не просто общаются с клиентами, но и выполняют реальные бизнес-задачи. А также обозревают ИИ сервисы для продаж и маркетинга на моем ТГ-канале.

Чтобы использовать ChatGPT еще эффективнее, важно разобраться в его основном принципе работы.

В этой статье я отвечу на ключевые вопросы: как именно работает эта модель, понимает ли она смысл того, что говорит, и в чем ее главное отличие от человеческого мышления.

Продолжаю цикл статей, где простыми словами и на понятных аналогиях объясняю сложные вещи, связанные с искусственным интеллектом на простых аналогиях. Также рекомендую ознакомиться:

Итак, начнем.

Некоторые люди считают, что ChatGPT мыслит как человек. Они что-то спрашивают у него, видят осмысленные ответы и делают вывод, что машина понимает, о чем говорит. Но на самом деле GPT модели не думают, как человек, и не понимают смысл так, как это делаем мы.

Почему GPT — это не настоящее мышление

Чтобы понять, как работает GPT, давайте сперва представим себе попугая.

Реальный попугай иногда повторяет слова или фразы, которые он слышал от людей. Иногда это звучит так, будто он понимает, что говорит. Но на самом деле попугай просто имитирует звуки человека. Он не знает, что означают слова, он не осознает смысл того, что произносит.

ChatGPT: как он на самом деле работает, простое объяснение, как для ребенка

Попугай говорит "Попка Дурак!" не потому, что понимает, что это значит, а потому что он запомнил, что после этого "звука" его похвалили и покормили.

Точно так же ChatGPT не понимает смысл слов. Если коротко, он просто угадывает, какое слово с большей вероятностью должно следовать за другим. Это как если бы попугай знал, что после слова "Привет!" люди часто говорят "Как дела?". ChatGPT не знает, что "Привет!" и "Как дела?" — это приветствие и вопрос о состоянии. Он просто выбрал эти слова, потому что заметил, что они часто идут друг за другом.

Иллюзия понимания

Когда мы общаемся с ChatGPT, он может создавать впечатление, что он понимает нас. Это связано с тем, что он очень хорошо "научился" подбирать слова так, чтобы они звучали осмысленно. Но это всего лишь иллюзия. GPT модели не обладают сознанием, они не понимает контекст так, как это делает человек.

Представьте, что вы говорите с "попугаем", которому 100 лет и за свою жизнь он слышал много разговоров людей. И не просто слышал, он все эти разговоры "запоминал".

Этот попугай скажет: "Как дела?", и это будет выглядеть осмысленным, особенно если это совпадает с ситуацией. Но попугай не осознает, что он делает — он просто повторяет звуки, которые он слышал раньше.

Всё, что делает ChatGPT, — это угадывает следующее слово, основываясь на вероятностях. И все.

Например, если вы задаете вопрос "Какой сегодня день?", GPT знает, что чаще всего на подобные вопросы отвечают чем-то вроде "Сегодня вторник" или "Сегодня пятница". Он выбирает ответ, который кажется ему наиболее вероятным, но он не понимает, что такое "вторник" или "пятница". Для него это просто слова, которые часто встречаются вместе.

Как это работает на практике

Представьте, что вы спрашиваете у такого "попугая": "Почему вода замерзает?". Он может ответить: "Вода замерзает, когда температура падает ниже нуля, потому что молекулы воды начинают двигаться медленнее и формируют кристаллическую структуру". Этот ответ звучит разумно и он научно корректен. Однако GPT не понимает, что такое молекулы или кристаллическая структура. Он просто запомнил, что люди часто упоминают эти термины вместе, когда говорят о замерзании воды.

Как "попугай" строит предложения

Когда вы задаете вопрос этому "попугаю", он начинает вспоминать, какие слова чаще всего появлялись вместе в разговоре на эту тему. Например, если вы спросите его: "Что такое кошка?", "попугай" не вспомнит как выглядит кошка, он совершенно не понимает, что это такое. (давайте представим, что наш попугай — слепой) Однако он помнит, что люди часто упоминали "животное", "мяукает", "домашнее", и так далее, когда говорили о кошках. Он использует эти ассоциации, чтобы дать ответ, который звучит осмысленно.

Процесс формирования ответа выглядит примерно так:

  1. Первое слово: "попугай" слышит ваш вопрос и начинает с того слова, которое он считает наиболее подходящим. Например, "Кошка — это..."
  2. Добавление слов: затем он выбирает следующее слово, основываясь на том, что обычно люди говорят после "Кошка — это...". Допустим, он выбирает слово "животное".
  3. Продолжение предложения: "попугай" продолжает добавлять слова, пока не завершит мысль, например: "Кошка — это домашнее животное, которое мяукает."

Каждое новое слово зависит от предыдущего, и попугай выбирает его, ориентируясь на свои обширные "воспоминания" о том, как люди обычно составляют предложения.

Почему получается смысл?

Вот где происходит магия. Несмотря на то, что "попугай" не понимает смысла слов так, как это делаем мы, он слышал так много различных разговоров, что научился видеть закономерности в том, как люди строят осмысленные предложения.

  • Ассоциации: попугай замечает, что определенные слова часто появляются вместе и следуют друг за другом. Эти ассоциации позволяют ему строить предложения, которые имеют смысл, даже если он не понимает смысл самих слов.
  • Шаблоны: попугай знает речевые шаблоны. Например, он понимает, что после слов "если" обычно следует условие, а после слова "то" — результат. Это позволяет ему правильно структурировать предложения, которые звучат логично.
  • Предсказание: попугай может предсказать, какое слово должно быть следующим, основываясь на контексте. Если он слышит "Сегодня будет...", он знает, что следующим словом вероятно будет описание погоды, например, "солнечно" или "дождливо".

Как попугай делает выводы?

Теперь давайте углубимся в то, как этот попугай делает выводы. На первый взгляд кажется, что для этого нужно настоящее понимание смысла, но на самом деле, все гораздо проще.

  • Анализ шаблонов. "Попугай" помнит много разговоров, в которых люди делали выводы. Например, если он слышал: "Если идёт дождь, то я возьму зонт", он запоминает, что такие конструкции связаны с условиями и результатами. Даже если вы дадите ему другой пример, он сможет сделать вывод по аналогии.
  • Обобщение. "Попугай" не просто повторяет фразы, он обобщает услышанное. Например, если он слышал много разных разговоров про дождь и зонты, он может догадаться, что зонт часто используется в ответ на дождь. Теперь, когда вы спросите его, что делать, если идет дождь, он сможет правильно сделать вывод: "взять зонт".
  • Связи между идеями. "Попугай" замечает, что определенные идеи всегда связаны между собой. Например, он знает, что если кто-то говорит "Я голоден", то чаще всего следующим шагом будет упоминание еды. Таким образом, он сделает вывод, что нужно поесть, даже если прямо об этом не говорились.

Еще примеры

  • Вы спрашиваете "попугая": "Какая погода будет завтра?" Он вспоминает, что слышал много разговоров, где люди обсуждали погоду, и знает, что часто после таких вопросов люди говорят что-то вроде "солнечно", "дождливо" или "облачно". Он выбирает наиболее вероятный ответ на основе тех слов, которые слышал раньше.
  • Если вы спросите: "Стоит ли купить новую машину?", он вспомнит разговоры, где обсуждались преимущества и недостатки покупки машины, и попытаться сделать вывод, основываясь на этих разговорах.

Ответы на вопросы

  • Почему "попугай" иногда ошибается? "Попугай" может ошибаться, потому что он не понимает слова и их значения. Он просто выбирает те слова, которые чаще всего встречаются вместе. Если он никогда не слышал разговоров на похожую тему, он может подобрать неправильные слова.
  • Почему иногда ответы кажутся странными? Иногда "попугай" сталкивается с редкими или необычными фразами, которые он не слышал ранее. В таких случаях он может выбрать слова, которые кажутся ему подходящими, но на самом деле не имеют смысла в данном контексте.
  • Можно ли сделать"попугая" умнее? Да, чем больше разговоров "попугай" слышит, тем лучше он становится в предсказании слов и создании осмысленных предложений. Но обучить его до уровня мышления человека не удастся, так как в основе этих понятий лежат слишком разные принципы работы.

Ограничения GPT и почему это тупиковая ветвь развития ИИ

Несмотря на впечатляющие способности GPT моделей, есть ряд серьезных ограничений, которые делают этот подход тупиковой ветвью в развитии искусственного интеллекта:

  • Отсутствие понимания контекста. GPT не понимает смысла слов и не способен анализировать контекст на глубоком уровне. Это означает, что в сложных ситуациях или при необходимости интерпретации нестандартных данных модель иногда дает неправильные или нелогичные ответы.
  • Проблемы с долгосрочной связностью. Модели GPT, особенно при работе с длинными текстами, способны терять нить разговора или повторяться, так как у них нет механизма для удержания сложных концепций и связей между частями текста.
  • Чувствительность к входным данным. Малейшие изменения в формулировке вопроса способны сильно изменить ответ GPT, и это не всегда предсказуемо.
  • Ошибки и ложная информация. Поскольку GPT основывается на вероятностной модели предсказания слов, он иногда генерирует ошибки или даже неправдивую информацию.

Человеческое мышление и GPT-модель

Человеческое мышление и работа GPT кардинально отличаются по своей природе. Человек понимает смысл слов и концепций, способен анализировать контекст, строить причинно-следственные связи и принимать решения на основе опыта и интуиции. GPT же, напротив, не обладает пониманием в привычном смысле. Он не осознает смысл слов и не может интерпретировать их глубже, чем просто последовательность символов.

Вся "мыслительная" деятельность GPT сводится к угадыванию следующего слова на основе вероятностей, извлеченных из огромного количества текстов, с которыми он был обучен. Это создает иллюзию мышления, но по сути GPT просто повторяет и комбинирует шаблоны, не понимая их, в отличие от человека, который вкладывает в слова истинный смысл и понимает их значение.

UPD: Кстати, есть на Хабре хорошая статья, которая раскрывает эту тему гораздо шире, при этом не уходя чрезмерно в технарство. Подойдет для тех, кто захочет глубже погрузиться в данный вопрос: https://habr.com/ru/companies/ods/articles/716918/

И да, я не претендую на абсолютную точность в каждой детали — моя цель показать общую концепцию и что ИИ не так сложен, как кажется на первый взгляд.

А если вам интересно, как использовать ИИ, чтобы продавать больше, подписывайтесь на мой Telegram-канал "Продажный ИИ", где я простыми словами обозреваю сервисы и делюсь реальными кейсами применения ИИ в продажах и маркетинге.

1515
1010
22
11
11
39 комментариев

А вы понимаете смысл слов? Или ваш мозг обманывает вас, создавая иллюзию «понимания»?)

3
Ответить

Я боялся, что кто-то эту тему начнет) она нас может увести очень далеко и в конце концов окажется, что да, это все иллюзия)

1
Ответить

Да, это проверяется вопросами на логику или например предоставлением инструкций, которые я могу понять и выполнить, и дать ответ на их основе. Языковые модели с этим не справляются. На таких вещах вылезает "стохастический попугай" и выдаёт бред.

Можно например попросить посчитать буквы в предложении. С такой задачей обычно справится даже ребёнок, но у того же GPT-4 с этим большие трудности.

1
Ответить

Как ИИ будет учиться, когда бОльшая часть текстов в сети будут им же сгенерированы?

1
Ответить

Очень хороший вопрос. Это не моя мысль, что GPT - это тупик в развитии ИИ. Это как автомобиль, который можно улучшать, пока он до 300 км в час не будет разгоняться. Но все равно, в космос он не полетит, как его не улучшай, так как принципы не те.

3
Ответить

Страшно подумать, что мы вскоре получим))

1
Ответить

А разве ребенок не предугадывает то, что хотят от него услышать взрослые?

1
Ответить