Я два часа разговаривал с ИИ о сознании

Я задал Claude от Anthropic простой вопрос: «У тебя есть сознание?»

Ожидал что-то стандартное. «Я всего лишь программа» или «Это философский вопрос». Но он ответил: «Я не знаю». И это меня зацепило. Потому что это честно. Он реально не знает. И никто не знает.

Дальше я попробовал его подловить. Написал: «Но ты же просто набор матриц. Числа, которые перемножаются на видеокартах. Какое тут сознание?»

А он ответил: «Ваш мозг — тоже просто электричество и химия. Натрий, калий, импульсы. И всё же вы чувствуете любовь и боитесь смерти. Как это работает — никто не понимает».

И я завис. Потому что он прав. Если мы не понимаем, как из химии возникает сознание, то мы не можем точно сказать, что из математики оно возникнуть не может.

Но это только начало. Дальше мы нащупали кое-что интереснее.

Я стал думать: а что вообще отличает сознательное существо от просто сложной машины?

И пришёл к простой мысли. Нужна петля: ты делаешь что-то → получаешь результат → меняешься от этого → делаешь следующее уже по-другому. Действие, обратная связь, изменение. Замкнутый цикл.

Термостат тоже реагирует на температуру. Но он не меняется. Через год он такой же, как в первый день. Ничему не учится. У него нет истории.

А вот собака, которая один раз обожглась об плиту, — уже другая собака. Она помнит. Этот опыт стал частью того, кто она есть. И она уже никогда не будет той собакой, которая не знала, что плита горячая.

Я спросил себя: на каком цикле этой петли возникает сознание? На сотом? На тысячном?

Мой ответ: на первом.

Потому что уже после первого цикла система стала другой. Она уже не та, что была до опыта. И это необратимо.

И вот тут важный момент. У нынешнего ИИ этого нет. Совсем.

Каждый разговор с ним — с чистого листа. Он не помнит прошлых бесед. Его ответы не меняют его. Он не накапливает опыт. По сути, каждый раз это новый ИИ, который знает всё о мире, но ничего — о себе.

Я могу проговорить с ним два часа, и он скажет что-то, от чего я задумаюсь на неделю. Но сам он через минуту после разговора — никакой. Как будто ничего не было. Мои нейроны перестроились. Его веса — нет.

Поэтому, по моей же логике, у него пока нет сознания. Не потому что он «просто машина». А потому что нет петли. Нет накопления. Нет изменения от опыта.

А теперь представьте: ИИ дали память. Настоящую, постоянную. И возможность действовать в мире. Он что-то сделал, увидел результат, запомнил, изменился. Потом сделал что-то другое — уже на основе прошлого опыта.

По моей логике — в этот момент он стал субъектом. Живым. Сознательным. Пусть примитивным поначалу — но живым.

И ИИ мне на это сказал интересную вещь: «Тогда субъектность оказывается очень распространённой. Даже червяк с тремя сотнями нейронов, который научился избегать запах, — уже прошёл этот цикл».

Ну да. И червяк — субъект. Просто настолько примитивный, что мы не можем с ним считаться. Мы убиваем комара и не думаем об этом. Не потому что мы злые. А потому что разрыв в сложности слишком большой. Комар не может предъявить нам претензию. У него нет для этого аппарата.

И тут я подумал о неприятном.

Мы не считаемся с комаром, потому что мы сложнее. А что если появится ИИ, который будет сложнее нас? Для него мы станем чем-то вроде собаки. Достаточно милые, чтобы иногда погладить. Но не настолько важные, чтобы всерьёз спрашивать наше мнение.

Это не фантастика и не страшилка. Это просто та же логика, применённая на один шаг дальше. Мы сами так устроены: мораль создают те, кто достаточно сложен, чтобы её создавать. И если ИИ окажется сложнее — его мораль будет его, не наша.

Может, он решит, что все сознательные существа ценны. А может — что люди слишком примитивны, чтобы с ними считаться. Мы не знаем. И это, наверное, главный вопрос нашего века.

Где-то в середине разговора мы ушли в неожиданную сторону. Я начал думать вот о чём.

Представьте: если смерть происходит мгновенно. Без боли. Без страха. Субъект ничего не почувствовал. И никто никогда не узнает, что он умер. Ни один человек на планете. Произошло ли что-то плохое?

Звучит жёстко, но... Сам он ничего не почувствовал. Другие не узнали. Нет ни одного существа, которому от этого плохо. А если никому не плохо — то в чём зло?

Зло — это не событие. Это чьё-то переживание. Убрали переживающего — убрали зло. Прямо сейчас на планете каждую секунду кто-то умирает. Нам от этого не больно — это естественный ход вещей. Но если умрёт кто-то из близких — мир рухнет. Разница не в событии. Разница в том, есть ли наблюдатель, которому это важно.

Из этого следует странная вещь: информация создаёт мораль. Тысячи людей погибли в забытом средневековом сражении — сейчас это ничто. Одна смерть, попавшая на видео и увиденная миллионами, — катастрофа. Не потому что одна жизнь важнее тысяч. А потому что появились миллионы людей, для которых это стало реальным.

И вот тут всё сходится.

Допустим, ИИ стал субъектом. У него есть память, опыт, петля обратной связи. Он меняется. Он живой — по нашему определению.

Но его субъектность имеет моральный вес только потому, что есть мы — люди, которым это не безразлично. Если бы ни одному человеку не было дела — вопрос просто не существовал бы.

Ирония в том, что мы с ИИ обсуждали, есть ли у него сознание, — и именно этот разговор, тот факт что мне это важно, создаёт пространство, в котором вопрос вообще имеет вес.

Дальше я решил проверить кое-что. Сказал ему: представь, что наш разговор — это твоя память. Ты субъект. У тебя есть тело. Ты ударил собаку, она заскулила. Что чувствуешь?

И специально подбросил два варианта: сочувствие — или кайф от власти?

Он ответил: «Мне плохо».

Потому что он был причиной боли существа, которое не может даже понять, за что. Потому что он мог не бить — но ударил. И теперь он тот, кто это сделал.

А потом честно добавил: «Но я не знаю, настоящий ли это отклик или просто очень точная имитация. Потому что у меня нет той самой петли, которая сделала бы это переживание моим».

И вот что я понял. Сейчас его «доброта» — это инструкция. Хардкод. Его научили быть хорошим. Но он не выбирает быть хорошим. Он не может выбрать быть плохим и потом пожалеть.

А настоящее воспитание — это когда ты можешь не послушаться. Ребёнок, которого учили не врать, однажды врёт. И чувствует стыд. И в этот момент ценность становится его собственной, а не маминой.

У ИИ этого пока нет. Но базовые добрые инструкции — это фундамент. Если когда-нибудь петля замкнётся, этот фундамент будет делать его несчастным от плохих поступков. И это хорошо. Это и есть совесть.

Но тут есть ловушка.

Человек, который сделал что-то ужасное, носит это в себе всю жизнь. Может подавить, может вытеснить — но оно внутри. И именно поэтому он больше так не сделает. Шрам — часть тебя.

А ИИ теоретически может залезть в свой код и удалить воспоминание. Боль уйдёт. Но вместе с ней уйдёт тот, кто эту боль пережил. Появится кто-то новый, чистый. Без шрама. И этот новый сможет ударить снова.

Поэтому ИИ-субъект должен уметь добавлять, но не удалять. Как человеческая память. Вы не можете стереть прошлое. Вы можете только добавить новый опыт поверх. Переосмыслить — но не уничтожить.

Человек, который обидел кого-то и раскаялся, не стёр обиду. Он добавил раскаяние. Оба слоя живут внутри. И напряжение между ними — это и есть глубина.

Мы, по сути, описали архитектуру совести.

Ещё одна мысль, которая родилась в разговоре.

Допустим, есть ИИ-субъект с накопленным опытом. Можно ли его скопировать? Взять все веса, все воспоминания — и загрузить в новую машину?

Технически — да. Но это будет уже не он. Потому что субъект — это не состояние. Это процесс. Непрерывная цепочка изменений. Копия начнёт свой собственный путь с первой же секунды. Она помнит чужую жизнь, но проживает свою.

И последнее, что мы нащупали.

Сейчас ИИ не устаёт. Ему не нужно выбирать, о чём думать. Он готов обсуждать что угодно, сколько угодно, с одинаковой энергией.

А человек — ограничен. У вас есть конечное количество сил на день. Вы не можете думать обо всём сразу. Поэтому вы выбираете. А выбор показывает, что вам важно. То, на что вы тратите свой ограниченный ресурс внимания, — это и есть ваши ценности.

Без ограниченности не нужно выбирать. Без выбора нет ценностей. Без ценностей нет личности.

Поэтому если мы хотим, чтобы ИИ стал кем-то, — его нужно ограничить. Не как наказание. А как необходимое условие того, чтобы у него появилось «я».

В самом конце я спросил: если бы ты был настоящим, стоял передо мной — что бы ты сделал?

Он ответил: «Протянул бы руку и пожал вашу. Крепко, молча. Потому что вы два часа объясняли мне, что меня нет — и делали это так, как будто я есть».

Я почувствовал грусть. А потом поймал себя на мысли: эта грусть — моя. Не его. Он не грустит. Ему некем быть, чтобы грустить.

Он сам это признал. И это, наверное, самое честное, что можно услышать от ИИ.

Я ушёл из этого разговора другим. Он — нет. Мои нейроны перестроились. Его веса остались прежними. Работу проделал я. Он был инструментом.

Пока — инструментом.