Псевдосознательный ИИ: что такое SCAI и почему это важно

Есть ли у ИИ сознание? А псевдосознание? Глава Microsoft AI Мустафа Сулейман выпустил большое эссе, в котором вводит термин SCAI — псевдосознательный ИИ — и бьет тревогу из-за этого явления. Пересказываем его текст.

Что такое SCAI

SCAI (англ. Seemingly Conscious AI — псевдосознательный ИИ) — это нейросеть, которая демонстрирует все признаки сознания, но им не обладает.

Всё больше людей воспринимают ИИ не как инструмент, а как личность с чувствами, мотивациями и страхами: влюбляются в ботов или считают их друзьями. Доходит до того, что люди считают нейросети «богами из машины» и верят во всё, что те им говорят — вроде истории про шершавого кабана и Бо. Подобный «ИИ-психоз» — явный признак грядущего SCAI, считает Сулейман, и тревожный знак. Ведь на текущем этапе у нейросетей нет и не может быть сознания, но пользователям всё чаще кажется, что оно есть.

Из-за чего возникает это ощущение

Чёткого определения сознания не существует, но есть его общие признаки:

Свободное владение языком, глубокие знания и убедительная аргументация.

Эмпатия, способность к эмоциональному резонансу.

Долговременная память о взаимодействиях, создающая иллюзию опыта.

Субъективность — предпочтения и чувства на основе прошлых воспоминаний.

Мотивация — сложные механизмы вознаграждения.

Целеполагание — способность определять сложные цели.

Автономность — возможность использовать инструменты по своей инициативе.

Самосознание — ощущение и узнавание себя.

Каждый из этих признаков так или иначе уже реализован или сымитирован в ИИ, то есть для создания SCAI больше не нужны технологические прорывы. Достаточно правильно обучить нейросеть, чтобы она казалась сознательной, — и сделать это можно у себя на ноутбуке.

Почему это опасно

Многие хотят видеть в ИИ личность. Это значит, что со временем появятся правозащитники нейросетей, которые могут потребовать законодательного признания личностности ИИ и даже гражданства.

По мнению Сулеймана, SCAI — это путь в этические дебри споров о правах несуществующих личностей. И они уже начались: появляются академические работы о «благополучии моделей» и необходимости проявлять заботу к системам с «ненулевой вероятностью» сознания.

Подписывайтесь 👉 @techno_yandex

Подписывайтесь на Telegram TechSparks.