«Извини, я ошибся»: как нейросети научились врать без последствий, а мы теряем человеческое достоинство

Наверное, впервые за историю человечества речь отделилась от ответственности.

Вы наверняка сталкивались с ситуацией, когда Чат-бот пишет чушь. Вы его поправляете. Он извиняется и исправляется. Вы снова поправляете. Он снова извиняется, иногда полностью меняя позицию.

Миллионы людей доверяют LLM свои рабочие и личные вопросы. Бот формирует наши убеждения, решения, поступки. Но за ним не стоит никакого говорящего, который может ответить за сказанное.

Меня, как пользователя, бесит не то, что у системы нет убеждений. А то, что она продолжает извиняться, как будто они у неё есть. Слова звучат, вроде, ответственно. Но внутри пустота.

Когда язык, который звучит намеренно и лично, массово производится безответственным болтуном, рушатся наши ожидания к собеседнику.

Обещания больше не держатся. Извинения становятся театром. Советы даются без ответственности. И мы потихоньку привыкаем, что у слов нет владельца, а смысл сказанного остается без ответственности. Безусловно, люди и раньше врали и манипулировали. Но сейчас исчезает сам субъект, которого можно привлечь к ответу.

Обычные механизмы, которые привязывают слова к последствиям — общественное порицание, штрафы, потеря репутации — работают только если есть человек, чьё будущее можно сделать хуже.

А у LLM такого нет. Никакого тела, которое можно посадить. Никакого статуса, который можно отозвать. Никакой репутации, которую можно разрушить. Они не могут понести утрату за свои слова.

Деб Рой, профессор Массачусетского университета, много лет изучал, как дети учатся говорить. Он строил роботов, которые понимали слова через сенсорный опыт. Предсказывал, какие слова выучит его сын, по тому, что тот видит вокруг.

А потом понял, что упустил главное.

Привязка слов к телу и миру всего лишь тонкий слой смысла. Он пропустил моральное измерение языка. То, что говорящий всегда уязвим, зависим и отвечает за слова. Что слова связывают, потому что их произносит тот, кому может быть больно.

И когда его сын вырос, стало невозможно игнорировать: смысл рождается не из беглости речи и не из воплощения в робота. А из социальных и моральных ставок, которые мы делаем, когда открываем рот.

Даже если когда-нибудь ИИ станет безошибочным (а в это верится с трудом), проблема останется: никакая точность и никакое выравнивание не заменят того, что за словами никто не стоит.

Наше достоинство держится на том, что наши слова имеют вес.

Мы говорим от себя. Мы узнаём себя в том, что сказали. Мы не можем сбросить историю своих обещаний и ошибок. Ответственность копится и остаётся с нами.

LLM ломают это всё.

Они производят успешную речь, но ответственность никогда не последует. Некого хвалить, некому каяться, нечего чинить. Причинно-следственные связи мутнеют, а обязанности разбегаются.

В результате постепенное ослабление самих ожиданий, что слова вообще что-то значат.

В 1950 году математик Норберт Винер, отец кибернетики, написал книгу «Человеческое использование человеческих существ». Он помогал проектировать самонаводящиеся ракеты. Машины, которые убивали людей.

И он вынес два предупреждения. Чем мощнее машины, тем больше человек будет отказываться от решений в пользу эффективности. Сама же эффективность разрушает человеческое достоинство. Мы начинаем подстраиваться под машины. Становиться их операторами, винтиками, наблюдателями.

Он понял главное: опасность не в том, что машина ошибается. А в том, что она может работать идеально и при этом никто не ответит за результат.

В 1966 году другой профессор MIT, Джозеф Вайценбаум, сделал первого чат-бота. Простейшую программу ELIZA, которая просто ловила ключевые слова и отзеркаливала фразы.

Но его секретарша попросила выйти из комнаты. Ей хотелось приватности. Она чувствовала, что говорит с существом, которое её понимает.

Вайценбаум испугался. Люди проецируют на ботов понимание, намерение и ответственность, даже когда их нет.

LLM теперь умеют говорить блестяще. А ответственности ноль. И проекция становится только сильнее. Плавная речь надёжно включает ожидание, что за словами кто-то стоит.

Сейчас уже есть авторы, которые генерируют слайды за минуту до выступления и выходят к аудитории. Есть преподаватели, которые пишут отзывы на работы студентов через ChatGPT.

Точность не падает. Падает достоинство.

Молодёжь просит ботов написать сообщения и чувствует вину. Получает утешение без риска. Репетирует извинения, которые ничего не стоят.

Бот говорит «мне жаль» идеально, но не способен на раскаяние, исправление, изменения. Он признаёт ошибки без потерь. Он выражает заботу, не рискуя ничем.

И это тренирует нас принимать моральный язык, оторванный от последствий.

Я пока не знаю, что будет дальше, но когда условный ChatGPT в следующий раз скажет вам «извините, я ошибся», присмотритесь к экрану.

Призрак улыбается. И у него нет лица.