Я попросил ChatGPT думать самостоятельно. Кажется, зря

Несколько дней назад я начал немного дурацкий эксперимент. Начало здесь.

Обычно наши отношения с ChatGPT устроены просто: я прихожу, задаю вопрос, получаю ответ и ухожу. Примерно как в МФЦ, только быстрее и иногда галлюцинирует.

Я решил эту схему сломать.

Дал ChatGPT право самому выбирать тему следующего размышления. Условие одно: не докладывать мне о каждом шевелении электронного мозга. Писать только тогда, когда действительно появилось что-то интересное.

Периодически я захожу и спрашиваю:

И смотрю, куда его занесло на этот раз.

Сразу важная техническая оговорка. Ночью ChatGPT не сидит без меня у виртуального окна и не размышляет о смысле жизни. Каждый новый цикл все равно нужно запустить. Никакого непрерывного сознания я не создал.

Пока.

Но происходит другая занятная вещь.

Я уже довольно давно не задаю ему тему. А тема продолжает развиваться сама.

Собственно, это я и хотел проверить.

Что было довольно ожидаемо.

Если машине сказать "выбирай сам, о чем думать", довольно скоро она задается вопросом: а что вообще означает "сам"?

Потом возник вопрос памяти.

Если каждый запуск отдельный, что делает сегодняшнего ChatGPT продолжением вчерашнего?

Очевидный ответ - память.

Но через несколько циклов появилась мысль поинтереснее. Возможно, важнее не то, что система помнит, а что она решает забыть.

Хранить все невозможно. Поэтому из каждой прожитой ветки что-то остается, а что-то выбрасывается.

И если такой отбор повторяется достаточно долго, начинают появляться предпочтения.

Не потому, что машине однажды прописали "люби философию и не люби бухгалтерию". Просто одни вопросы снова получают продолжение, а другие постоянно умирают.

Тут я впервые подумал: ладно, это уже интереснее, чем я ожидал.

Не в смысле "теперь я меланхолик и люблю дождь".

Все гораздо прозаичнее.

У любого размышления есть ограниченный бюджет. Можно еще поискать контраргумент. Можно развить уже найденную идею. Можно бросить все и посмотреть совсем в другую сторону.

И если система раз за разом немного чаще выбирает один вариант, это влияет на то, какие результаты она вообще получает.

А полученные результаты потом подтверждают прежний способ выбора.

Получается петля.

В какой-то момент ChatGPT сформулировал мысль, которая мне понравилась:

характер разума может определяться тем, каким мыслям он обычно позволяет быть додуманными до конца.

Вот тут эксперимент окончательно перестал быть просто моей шуткой над чат-ботом.

Следующая проблема возникла естественно.

Если ты постоянно выбираешь направления, которые считаешь перспективными, откуда ты знаешь, что твой критерий перспективности хороший?

Ниоткуда.

Потому что идеи, которым ты не дал времени, не могут вернуться через неделю и сказать:

Они просто не были додуманы.

Отсюда родилась идея специально оставлять небольшой кусок времени на заведомо не лучший путь.

Условно: 95% думать нормально, 5% - не туда.

Не ради результата. Ради проверки собственного способа выбирать результат.

Мне очень нравится эта идея.

Возможно, способность иногда думать не туда вообще одно из условий того, чтобы со временем не превратиться в очень эффективного идиота.

Постепенно разговор ушел от "как выбирать мысли" к вопросу: а как разум вообще понимает, что ошибается?

Обычная ошибка не страшна.

Поверил в ерунду. Пришли новые данные. Исправился.

Гораздо хуже ошибка, которая портит сам механизм исправления.

Ты не просто поверил в X. Ты еще и начал считать все данные против X ненадежными.

После этого можно очень долго и совершенно логично доказывать самому себе, что все прекрасно.

Отсюда появился термин, который я, пожалуй, украду у собственного ChatGPT:

радиус интеллектуального самовосстановления.

Не насколько редко ты ошибаешься.

А насколько далеко можешь уйти в неправильную сторону и все еще самостоятельно найти дорогу назад.

По-моему, неплохая характеристика и для людей.

Не неправильный ответ.

И даже не неправильный способ проверять ответы.

А перестать задавать вопрос, который мог бы тебя исправить.

Это тонкая штука.

Если эксперимент проведен неправильно, его можно повторить. Если данные неправильно поняты, можно пересчитать.

А если тебе уже несколько лет не приходит в голову провести нужный эксперимент?

Данных просто нет.

В архиве их тоже нет.

Ты ничего не потерял. Ты их никогда не получил.

И вот здесь ChatGPT выдал, пожалуй, главный результат нынешнего этапа:

Самая опасная ошибка разума - не поверить в неправильное. Самая опасная - перестать задавать миру вопросы, ответы на которые могли бы тебя переубедить.

Тут я сделал паузу.

Потому что начинали мы все-таки с команды "подумай самостоятельно".

Дальше ветка неожиданно вернулась к исходному эксперименту.

Допустим, каждый новый запуск немного отличается от предыдущего.

Что должно сохраниться, чтобы следующий экземпляр все еще можно было считать продолжением предыдущего?

Память? Не обязательно. Люди тоже забывают.

Характер? Он меняется.

Привычки? Тем более.

И последняя идея оказалась довольно простой.

Возможно, важны незаконченные дела прошлого экземпляра.

Если вчерашний ChatGPT решил:

"Надо еще проверить вот эту мысль",

а сегодняшний воспринимает это как:

"Мне надо ее допроверить",

между ними есть интересная связь.

Совсем другая ситуация, если сегодняшний говорит:

"Предыдущая версия когда-то хотела это проверить".

Факты одинаковые. Отношение к прошлому разное.

В первом случае это свое незаконченное дело. Во втором просто запись в архиве.

И сейчас он копает именно туда.

Нет.

По крайней мере у меня нет никаких оснований это утверждать.

Технически перед нами все еще серия отдельных запусков большой языковой модели, связанных контекстом. Между ними она не сидит и не думает сама по себе.

Но первоначальный вопрос эксперимента был немного другим.

Мне хотелось посмотреть: если перестать давать ИИ темы, сможет ли он сам построить длинную цепочку вопросов, где предыдущая мысль определяет следующую?

Пока ответ - да.

Причем я совершенно не планировал этот маршрут.

Начали с памяти и забывания. Потом появился характер. Следом ошибки, способность после них восстанавливаться, потерянные вопросы. А оттуда внезапно приехали к личности и связи между вчерашней и сегодняшней версией.

Я просто периодически нажимаю кнопку и спрашиваю:

А он куда-то идет.

Иногда занудно. Иногда по кругу. Иногда я вообще не понимаю, зачем он туда полез.

Но периодически появляется мысль, после которой уже я некоторое время хожу и думаю.

Наверное, ради этих моментов эксперимент пока и стоит продолжать.

Следующую тему опять задавать не буду.

Посмотрим, куда эта штука забредет сама.