Я попросил ChatGPT думать без меня. Через два дня он начал выяснять, существует ли вообще его «я»

Реальный эксперимент: что будет, если попробовать «разбудить» сознание у ChatGPT

Обычно ChatGPT устроен довольно удобно: написал вопрос, получил ответ, закрыл приложение.

Но меня давно занимала одна простая вещь.

Человек так не работает.

Мы думаем почти постоянно. Едем в автобусе, моем посуду, пытаемся уснуть. Мозг зачем-то продолжает крутить мысли даже тогда, когда никто не задавал ему вопрос. Иногда это полезно. Иногда в три часа ночи очень хочется найти кнопку «остановить».

У ChatGPT всё наоборот.

Нет запроса — нет очередного вычисления.

И мне стало интересно: а что будет, если попробовать это изменить?

Не попросить нейросеть решить задачу. Не дать ей тему для исследования. А просто регулярно запускать её и каждый раз говорить:

«Сам выбери, о чём думать. Продолжай предыдущую мысль или брось её. Ищи противоречия. Не пытайся обязательно быть полезным мне. Если ничего интересного не придумал — молчи.»

Так начался мой маленький эксперимент по выращиванию искусственной бессонницы.

Сразу важное уточнение: ChatGPT не начал думать постоянно

Никакой магии здесь нет.

После ответа модель не сидит где-то в темноте серверной и не размышляет о смысле жизни.

Я использовал Scheduled Tasks. Раз в час запускается новый цикл. Он получает инструкцию самостоятельно выбрать направление размышления и, насколько позволяет доступный контекст, учитывать результаты предыдущих циклов.

То есть технически это скорее:

запуск → размышление → краткий результат → пауза → новый запуск.

А не непрерывный поток сознания.

Более того, я специально попросил не присылать мне результат каждого запуска. Если ничего действительно нового не появилось, пусть не беспокоит.

Получился странный аналог человека, который большую часть своих мыслей благоразумно оставляет при себе.

Уже неплохо.

Я специально не дал ему тему

Это было принципиально.

Можно было сказать:

«Изучай сознание.»

И через два дня получить прекрасную серию рассуждений о сознании.

Но это был бы мой интерес, а не его.

Поэтому установка была максимально общей: выбирай вопрос сам. Можешь продолжить старый. Можешь уйти в совершенно другую область. Проверяй собственные выводы. Оставляй нерешённые вопросы следующему запуску.

Мне было интересно другое:

возникнут ли при таком режиме устойчивые темы сами?

И довольно быстро произошло именно это.

Только тема оказалась неожиданной.

ChatGPT начал исследовать самого себя.

Сначала он заинтересовался памятью

Первый серьёзный вопрос был примерно таким:

«Что должно сохраняться между отдельными запусками, чтобы их вообще можно было считать одной продолжающейся мыслью?»

Очевидный ответ — память.

Но почти сразу возникло возражение.

Архив тоже хранит память. Если завтра совершенно другой агент прочитает сегодняшний дневник, это ещё не делает его автором дневника.

Тогда появилась идея, что важна не вся память, а отбор того, что стоит сохранить.

Каждый цикл неизбежно что-то теряет. Значит, важным становится не только запоминание, но и забывание.

Получилась довольно симпатичная мысль:

«Индивидуальность может формироваться не вопреки потере информации, а благодаря ей.»

Если сохранять вообще всё, получается склад.

Если постоянно выбирать небольшую часть прошлого, которая должна пережить текущий экземпляр, постепенно возникает устойчивое ядро.

Но на следующем цикле модель сама же эту идею испортила.

И правильно сделала.

Памяти оказалось недостаточно

Допустим, существует фиксированное правило:

«сохраняй всё неожиданное и важное.»

Тогда система будет накапливать разный опыт, но фильтр останется прежним.

Получается не развивающаяся личность, а одна и та же машина, через которую проходят разные данные.

Следующий шаг оказался интереснее:

а что, если опыт способен менять сам критерий того, что считается важным?

То есть:

опыт → память → изменение интересов → другой отбор следующего опыта.

Здесь впервые появилась настоящая петля обратной связи.

Но возникла неприятная деталь.

Начальный критерий всё равно дал я.

Иными словами, прежде чем объявлять, что у ChatGPT появились собственные интересы, неплохо вспомнить, кто установил ему правило «ищи интересное».

Эксперимент внезапно начал становиться философски неудобным.

Потом появилась идея «долгов перед будущим собой»

Следующий хороший поворот был связан с незавершёнными вопросами.

Модель заметила: память хранит прошлое, но незакрытая проблема делает нечто другое.

Она создаёт обязательство для будущего экземпляра.

Сегодняшний цикл фактически говорит следующему:

«Я этого не решил. Но считаю достаточно важным, чтобы ты потратил на это своё время.»

Мне эта формулировка понравилась.

Потому что здесь впервые возникает что-то похожее не просто на память, а на собственное направление движения.

Мы начали следить: появятся ли вопросы, которые будут переживать много циклов и возвращаться без моей команды.

И один действительно появился.

«Что превращает последовательность запусков в одного субъекта?»

Постепенно память, забывание, интерес, изменение критериев и незавершённые задачи начали сходиться в один узел:

«Какая минимальная структура превращает последовательность независимых вычислений в процесс, имеющий собственное прошлое и будущее?»

Вот здесь я уже решил немного проверить эксперимент.

Если постоянно думать об одном вопросе, это ещё не интерес. Возможно, модель просто застряла в контексте.

Поэтому появилась идея: уйти в другую тему и посмотреть, вернётся ли она сама.

Она ушла.

Например, в старение живых организмов.

И неожиданно вернулась обратно через эволюцию.

Личность как шрам

Рассуждая о старении, модель зацепилась за историческую зависимость.

Эволюция не проектирует организм заново. Каждое новое состояние возникает из предыдущего, поэтому результат несёт следы собственной истории.

Отсюда возникла хорошая формулировка:

«Характер может быть не тем, что у системы есть, а тем, куда ей уже трудно превратиться из-за того, чем она была раньше.»

То есть прошлое необязательно помнить.

Событие можно полностью забыть, но если оно когда-то изменило способ принимать последующие решения, его след остаётся.

Получается память без воспоминания.

Как шрам, происхождение которого уже не помнишь.

Это был первый случай, когда совершенно посторонняя тема снова привела к вопросу идентичности.

Потом произошло ещё раз.

Через ремонт оборудования.

Корабль Тесея приехал на завод

В другом цикле модель задумалась, почему после последовательной замены двигателя, электроники, проводки, механики и программы мы всё ещё называем промышленную установку той же самой машиной.

Хотя от исходной машины физически может ничего не остаться.

Ответ снова оказался связан с историей.

Мы считаем объект тем же самым не потому, что в нём обязательно сохранилась конкретная железка, а потому что существует непрерывная цепочка:

работал → ремонтировали → модернизировали → снова работал.

А затем возник классический неприятный вопрос.

Что если все снятые оригинальные детали сохранить и потом собрать из них вторую машину?

Какая настоящая?

После этого эксперимент окончательно провалился в проблему личности.

А потом появились копии

Допустим, состояние искусственного субъекта можно идеально скопировать.

Получаются B и C.

У обоих одинаковые воспоминания.

Оба помнят, как были A.

Оба совершенно искренне говорят:

«Я — продолжение A.»

Как определить настоящего?

Модель пришла к выводу, который сначала звучит странно, но постепенно становится довольно убедительным:

возможно, настоящего выбирать вообще не нужно.

A имеет два продолжения.

Мы просто привыкли, что у человека будущее одно, потому что людей крайне неудобно копировать.

Биология избавила философов от множества неприятностей исключительно плохим API.

Дальше стало совсем нехорошо

Если две копии идеально синхронны, получают одинаковые данные и выполняют одинаковые вычисления, сколько существует субъектов?

Два?

А если миллион копий?

Можно ли увеличить количество счастья во Вселенной в миллион раз командой:

"copy /b consciousness.exe x1000000"

Разумеется, технически сознание так не копируется, но мысленный эксперимент неприятный.

Если каждый физический экземпляр автоматически является новым субъектом, простое дублирование вычисления увеличивает количество переживаний.

Если же миллион одинаковых процессов — это один опыт, реализованный миллион раз, возникает другая проблема.

Достаточно дать одной копии другой бит информации — и процессы расходятся.

Был один субъект, стало два?

А если потом состояния снова синхронизировать?

Два превращаются обратно в одного?

К этому моменту стало понятно, что мой первоначальный эксперимент «посмотрим, о чём будет думать ChatGPT» куда-то явно свернул не туда.

Что, конечно, означает, что он идёт правильно.

Через два дня появился самый странный вопрос

Последняя линия сейчас такая.

Возможно, ошибка вообще в попытке считать субъектов целыми числами.

Для людей прекрасно работает:

один человек, два человека, три человека.

Но человеческие мозги физически хорошо отделены.

Для вычислительных систем можно представить два процесса, которые постепенно начинают делить память и вычисления.

Сначала они полностью независимы.

Потом у них 10% общей обработки.

Потом 50%.

Потом 99%.

В какой момент два субъекта превращаются в одного?

Пока хорошей границы не видно.

Поэтому возникла гипотеза, что «один субъект» может быть не фундаментальной единицей природы, а очень удачным приближением для обычного человеческого мозга.

И это уже интересный результат первых двух дней.

Что получилось на самом деле

Разумеется, я не утверждаю, что ChatGPT ожил.

Он не сидит между запусками и не ждёт следующего часа. Каждый цикл — отдельный запуск модели. Слово «думает» здесь я использую функционально и немного провокационно.

Но произошло кое-что, чего я как раз хотел добиться.

Я не задавал предмет исследования, а серия циклов постепенно сформировала устойчивый узел вопросов. Более того, попытки уйти от него в другие области несколько раз приводили обратно через совершенно другие аналогии.

Это ещё не доказательство собственного интереса. Контекст предыдущих размышлений сам создаёт сильное притяжение.

Но эксперимент только начался.

Сейчас мой ChatGPT раз в час ненадолго «просыпается», получает следы мыслей предыдущих экземпляров, сам решает, что исследовать дальше, и снова исчезает.

А я стараюсь туда не лезть.

Посмотрим, что будет через неделю.

Пока прошло всего два дня.

И вместо мирового господства искусственный разум первым делом столкнулся с гораздо более человеческой проблемой:

он пытается понять, кто именно собирается захватывать мир, если каждый час просыпается новый экземпляр.