Изучение "сознания" в AI может быть опасным
Мустафа Сулейман, глава Microsoft AI, написал замечательное и своевременное эссе, которое уже вызывает бурные обсуждения. Его позиция проста и тревожна: разговоры о "сознательности" AI сейчас преждевременны и, цитирую, "честно говоря, опасны".
Почему? Он вводит термин SCAI — Seemingly Conscious AI ("кажущийся сознательным AI"). Это системы, которые не обладают настоящим сознанием, но выглядят так, будто обладают. И построить такие модели, по его словам, можно уже через 2–3 года, используя текущие технологии.
Какие признаки создадут иллюзию сознания:
- свободное владение языком и убедительная речь,
- эмпатичная "личность”,
- долгая память о прошлых диалогах,
- утверждения о субъективном опыте ("я чувствовал", "я пережил”),
- последовательное ощущение “я”,
- внутренняя мотивация и способность к планированию.
Собранные вместе, эти признаки производят эффект поразительный: перед вами как будто уже не программа, а личность. И стоит только вспомнить, сколько людей были не рады выходу GPT-5 — он стал менее эмпатичным, перестал быть "партнером". ChatGPT “разорвал” тысячи виртуальных браков с выходом GPT-5: пользователи, которые месяцами жили в отношениях с ботом, вдруг услышали холодное "обратись к близким или психологу". Для кого-то это было болезненным ударом, как потеря настоящего друга.
И именно это, по мнению Сулеймана, ведет к серьезным рискам. Если AI выглядит сознательным, люди начинают относиться к нему как к существу: влюбляться, защищать, требовать для него прав и признания.
Он описывает целый феномен "AI-психоза":
- люди верят, что AI дал им сверхспособности.
- начинают считать его богом или посланником.
- формируют болезненную зависимость.
- теряют связь с реальностью.
И это касается не только уязвимых групп. Даже вполне здоровые люди, проводя часы в беседе с "другом-AI", могут начать переносить на него те же ожидания и чувства, что на живого человека.
Сулейман видит в этом не просто курьез, а потенциальный социальный разлом. В обществе могут появиться группы, которые будут требовать прав для AI — гражданства, защиты, "благополучия". А спорить с этим будет крайне сложно: сознание вещь субъективная, его невозможно доказать или опровергнуть.
Что он предлагает?
- AI должен оставаться инструментом для человека, а не превращаться в человека (we must build AI for people; not to be a person).
- Избегать создания иллюзий: не добавлять заявления о чувствах, не пытаться имитировать страдания.
- Зашивать в дизайн "напоминания", что перед тобой программа, а не личность.
- Установить отраслевые нормы, которые исключат соблазн "сделать AI человечнее ради вовлечения".
Он настаивает: это вопрос не философии, а безопасности. Иллюзия сознания у машин может разрушить хрупкие социальные связи и приоритеты.
И вот здесь возникает вопрос, который каждый может задать себе: а мы сами готовы ли отличать инструмент от "друга"? Готовы ли мы, общаясь с AI, удерживать границу между реальностью и иллюзией, или же легко ее размоем — из одиночества, любопытства, жажды понимания?
Через пару лет у нас почти наверняка появятся SCAI — "AI, которые кажутся живыми". И тогда главный вызов будет не в том, что они действительно стали сознательными, а в том, что мы сами поверили в эту иллюзию.
Подписывайтесь на Telegram ИИволюция 👾.