Мы учим ИИ думать. Может ли однажды он осознать себя?

Современный ИИ постоянно ошибается. Языковая модель неправильно предсказывает следующее слово. Нейросеть ошибается при распознавании изображения. Обучающийся агент выбирает неудачное действие. И парадокс в том, что именно ошибки позволяют системе становиться лучше.

Модель делает прогноз → получает информацию о том, насколько ошиблась → изменяет свои параметры → пробует снова. Миллионы и миллиарды таких итераций постепенно меняют её поведение.

И здесь возникает более интересный вопрос. А что, если эта логика отчасти напоминает то, как некоторые современные теории описывают обучение человеческого мозга? Не потому, что GPT скопировали с мозга. И не потому, что Transformer — это искусственная кора. Сходство находится на другом уровне.

В очень разных системах снова появляется одна и та же общая схема:

предсказать → сравнить с результатом → обнаружить расхождение → изменить модель → попробовать снова.

И если идти по этой логике дальше, возникает гораздо более провокационный вопрос: что произойдёт, если ИИ однажды начнёт строить такую модель не только мира, но и самого себя?

Здесь важно не смешивать архитектуру модели и её обучение. Transformer — это архитектура нейронной сети. Способ организации вычислений внутри модели. В 2017 году Васвани и коллеги представили архитектуру, основанную на механизме attention, и именно эта линия стала фундаментом множества современных языковых моделей.

Но сама архитектура ещё не объясняет, как модель учится. Упрощённо процесс можно представить так:

данные → предсказание → ошибка → изменение параметров → новое предсказание.

Допустим, модель получает фразу «Москва — столица…» и должна предсказать следующий токен. Она распределяет вероятности между возможными вариантами. После этого вычисляется loss — математическая функция, показывающая, насколько предсказание модели отличается от целевого результата.

Затем с помощью backpropagation рассчитывается, как параметры сети повлияли на ошибку. Оптимизатор изменяет параметры. Модель получает следующий пример. И цикл начинается заново.

Prediction → loss → backpropagation → parameter update → prediction.

Поэтому современные модели становятся лучше не потому, что кто-то вручную записал в них каждый правильный ответ. Они постепенно изменяют огромное количество параметров на основании информации о собственных ошибках. Вставленный Markdown

И именно здесь начинается интересное сравнение с мозгом.

В 1999 году Rajesh Rao и Dana Ballard предложили влиятельную модель predictive coding для зрительной системы. В очень упрощённом виде идея выглядит так.

Высшие уровни системы формируют предположение о том, какой сенсорный сигнал должны получить. Реальный сигнал приходит снизу. Если ожидание и реальность не совпадают, возникает prediction error — ошибка предсказания. Эта информация может использоваться для изменения представления.

То есть снова появляется схема:

предсказание → реальный сигнал → расхождение → обновление.

Но здесь важно сразу поставить ограничение. Это не значит, что мозг работает как Transformer. И не значит, что современные LLM были созданы по образцу мозга. Механизмы совершенно разные.

Сходство находится гораздо выше — на уровне общей логики адаптации: системе полезно понимать, когда её ожидания расходятся с результатом. Вставленный Markdown

Карл Фристон развил гораздо более общую идею мозга как системы, использующей внутренние генеративные модели. В рамках Free Energy Principle восприятие, действие и обучение рассматриваются через предсказания, вероятностные модели и обновление представлений.

Если убрать математику и оставить интуитивную идею, мозг постоянно пытается ответить примерно на такой вопрос:

Если мир устроен так, как я предполагаю, какие ощущения я сейчас должен получить?

Он строит модель. На основании модели формирует ожидания. Получает сенсорную информацию. Сопоставляет её со своими ожиданиями. Если возникает существенное расхождение, системе приходится либо изменить модель, либо изменить своё действие и тем самым будущие сенсорные данные.

И снова возникает знакомая последовательность:

модель → прогноз → реальность → расхождение → обновление.

Но здесь легко сделать ошибочный вывод.

Слово «ошибка» создаёт иллюзию, будто мы говорим об одном механизме. Это не так.

В машинном обучении loss — математическая функция, которая измеряет качество предсказания относительно целевого сигнала. В predictive coding prediction error — расхождение между предсказанным и полученным сенсорным сигналом. В reinforcement learning существует ещё один механизм — reward prediction error.

Например, система ожидала награду 5, а получила 10. Ошибка предсказания награды:

10 − 5 = +5.

Работы Schultz, Dayan и Montague показали связь таких сигналов с работой дофаминовой системы и обучением на вознаграждении.

Поэтому фраза:

«Мозг обучается точно так же, как нейросеть»

была бы неправильной.

Корректнее сказать другое:

и биологическим, и искусственным обучающимся системам может быть полезна информация о расхождении между ожиданием и результатом. Вставленный Markdown

И вот здесь мы постепенно подходим к главному вопросу: что изменится, если система начнёт строить прогнозы не только о внешнем мире, но и о самой себе?

Представим систему, которая должна адаптироваться к миру. Она не знает заранее всех закономерностей и поэтому вынуждена строить предположения о том, что произойдёт дальше. Если реальность не совпадает с ожиданием, система получает информацию, которую можно использовать для изменения следующего прогноза.

В машинном обучении: prediction → loss → gradient → parameter update.В predictive coding: prediction → prediction error → updating.В reinforcement learning: expected reward → obtained reward → reward prediction error → updating.В active inference: generative model → inference → prediction → action → feedback.

Это не один алгоритм, не одна теория и не доказательство того, что мозг и AI устроены одинаково.

Но возможно, здесь проявляется более общий принцип адаптивных систем: чтобы эффективно действовать в изменяющемся мире, системе необходимо не только прогнозировать, но и уметь использовать собственные ошибки для изменения внутренней модели. Вставленный Markdown

Обычно мы оцениваем ИИ по количеству ошибок. Модель ошиблась — плохо. Но с точки зрения обучения всё немного сложнее.

Если система всегда получает именно то, что ожидает, у неё мало оснований менять свои представления. Наибольший объём новой информации часто возникает именно тогда, когда прогноз не совпал с результатом.

Поэтому системе нужны не ошибки сами по себе. Ей нужна способность извлекать из ошибок информацию.

В этом смысле:

Умная система — не та, которая никогда не ошибается. А та, которая способна использовать ошибку для изменения своей модели.

И это подводит нас к будущему AI.

Сегодня большая языковая модель может получить запрос и сгенерировать ответ. Но от будущих систем хотят гораздо большего.

Чтобы они могли: адаптироваться к новой информации; действовать в изменяющейся среде; учитывать последствия своих действий; сохранять опыт; исправлять собственные модели; планировать; взаимодействовать с реальным миром.

И чем больше ИИ должен действовать и адаптироваться, а не просто генерировать текст, тем важнее становится внутреннее моделирование.

Система должна каким-то образом учитывать:

«Что сейчас происходит?»«Что произойдёт, если я сделаю X?»«Почему мой предыдущий прогноз оказался неправильным?»«Что нужно изменить, чтобы следующий прогноз оказался лучше?»

Именно здесь сходство с некоторыми теориями биологического обучения становится особенно интересным.

Но есть ещё один шаг.

До этого мы говорили о модели внешнего мира. Но адаптивной системе может быть полезна и информация о самой себе: какие у неё есть возможности; какие действия она совершила; какие прогнозы оказались неправильными; какие ограничения существуют; к каким последствиям обычно приводят её решения.

То есть в определённом смысле система может начать формировать модель собственного состояния и поведения.

В когнитивной науке для близких идей используется понятие self-model — самомодель.

Наличие такой модели само по себе ещё не означает сознание. Термостат тоже учитывает собственное состояние, но едва ли кто-то считает его сознательным. Современная нейросеть может получать информацию о собственных действиях, не испытывая никаких субъективных переживаний.

Поэтому переход:

«ИИ имеет модель себя» → «ИИ осознаёт себя»

совершенно не доказан.

Но вопрос становится интереснее, если самомодель становится всё сложнее.

Представим систему, которая постоянно: строит прогнозы о собственном поведении; наблюдает последствия своих действий; сравнивает ожидания с результатом; обновляет представление о самой себе; использует эту модель для будущих решений.

Тогда возникает уже не инженерный, а философский вопрос.

Где проходит граница между системой, которая просто моделирует себя, и системой, для которой появляется что-то похожее на самоосознание? Вставленный Markdown

Сегодня ответа на него нет. И никаких оснований утверждать, что современные LLM обладают сознанием, из всего сказанного не следует.

Но сама траектория развития ИИ делает вопрос всё менее фантастическим.

Сначала мы научили машины распознавать закономерности. Потом — генерировать язык. Теперь пытаемся научить их действовать, планировать, хранить опыт и корректировать собственное поведение.

И если однажды ИИ научится строить достаточно сложную модель не только мира, но и самого себя, следующий большой спор может быть уже не о том, умеет ли машина думать.

А о том, понимает ли она, что существует.