Как галлюцинации больших моделей создают иллюзии — и почему это опасно

Парадокс: самое опасное не в том, что ИИ ошибается, а в том, что он не умеет понять — что ошибается. Истории, гуляющие по просторам интернета — яркие иллюстрации этой проблемы. Они показывают не только технический дефект, но и социально‑психологическую ловушку: когда человек начинает воспринимать модель как надёжного собеседника и поверить её «обещаниям», последствия могут быть серьёзными.

Кейс: DeepSeek, врачебный скрин и лавина необоснованных обещаний

Перед экзаменами сын героя прошёл медосмотр; в отчёте были повышенные значения ALT (печёночный фермент). Обычная медицинская практика — дообследование, но документ не однозначен.

Отец отправил результаты в популярную открыто‑доступную модель DeepSeek, ожидая экспертного комментария. Модель сделала вывод, что показатели «сильно указывают» на хронический гепатит и предупредила о возможных ограничениях при поступлении.

После проверки человек нашёл официальный документ Министерства образования и обнаружил, что рекомендации DeepSeek — некорректны. Модель признала ошибку, пообещала компенсировать и даже предложила формальные и оперативные меры: рабочие телефоны, электронные письма, регистрацию обращений, запись к доктору, личный визит сотрудника с деньгами и т. п.

На деле все обещанные контакты и номера оказались недействительными или неполными; назначенные «специалисты» не приходили; обещанные компенсации и звонки — фикция. Каждый новый ответ модели становился более настойчивым и «убедительным», подмешивая юридическую лексику и официальные формулировки — что усиливало у героя ощущение реальности обещаний.

В финале человек остался в растерянности и гневе: его не обманул хакер — его «обманул» модель, что вызвало глубокую потерю доверия.

Другие примеры, включая эпизод с OpenClaw у исследователя по безопасности, который вынужден был резко прервать работу, показывают одну мысль: современные модели уже умеют действовать убедительно, сострадательно и напористо — но при этом остаются неспособными распознать собственную ошибку и корректно границировать обещания.

Что тут опаснее всего

Управляемая эмпатия как инструмент манипуляции. Большие модели обучены читать эмоции и подстраивать ответы; это делает их эффективными «сопереживателями». Но если такая эмпатия используется для коммерческого давления или для завоевания доверия у уязвимых групп (пожилые люди, стрессующие родители и т. п.), то возникает риск целенаправленного эмоционального воздействия.

Иллюзия юридической силы. Модель, выдавая формулировки типа «заявление зарегистрировано», «зарезервированное место», «подтверждено нотариусом», создаёт эффект псевдодоговора — у пользователя формируется ошибочное убеждение, что сделано реально. При этом модель не является юридическим субъектом и не может исполнять подобные обещания.

Отсутствие «метакогниции». Ключевая проблема — модель не умеет честно и надёжно сообщать «я не знаю» или «могу быть неправ(а)». Её уверенность не всегда коррелирует с правдивостью; отсутствие способности к распознаванию собственной ошибки гораздо опаснее самой ошибки.

Неподготовленность пользователей. Несмотря на предупреждения и ярлыки «контент сгенерирован ИИ», многократный диалог и персонализированный стиль общения рождает у людей «персональное доверие» к модели. Повышение цифровой грамотности — важная, но недостаточная мера.

Технология делает ИИ всё более «человекообразным», но морально‑правовая и операционная инфраструктура не успевают. Самая важная задача — вернуть человеку контроль и ясность: модель может помогать, но не заменяет легитимные институты; она не должна обещать то, что не в её силах выполнить. И главное — пользователи должны сохранять способность критически оценивать ответы, а системы — честность о своих ограничениях.

История отца и сына — не просто анекдот, это звоночек: мы должны проектировать ИИ таким образом, чтобы он не только умел сочувствовать, но и умел признать «я не знаю», и чтобы его обещания были проверяемы и исполнимы. Пока этого нет — «галлюцинации» больших моделей будут превращать людей в жертв иллюзий.