Галлюцинации под тегом «think». Новые рассуждающие нейросети выдают фейки за логику
Современный ИИ, включая самые продвинутые попсовые открытые модели вроде GPT-4o, Claude 3.5 или Gemini, не имеет ничего общего с настоящим интеллектом. То, что сегодня называют «искусственным интеллектом» — это триумф прикладной математики, статистики и гигантских вычислительных мощностей, но никак не мыслящий разум.
Вместо предисловия. Это лонгрид — сохрани в закладки, если уже засыпаешь!
Искусственный "интеллект" сегодня встроен в каждый рабочий процесс. Мы доверяем ему писать код, анализировать бизнес-стратегии и искать информацию. Но за красивым фасадом скрывается глубокий системный дефект, который разработчики не могут исправить годами. Нейросети регулярно выдают откровенную чушь с " выражением лица" профессора и интонацией психолога гуманиста.
Галлюцинации ИИ — это явление, при котором большая языковая модель (LLM) с абсолютной уверенностью генерирует ложные, несуществующие или искаженные данные. В отличие от человека, который врет осознанно, ИИ не понимает, что говорит неправду. Он просто математически подбирает наиболее вероятные слова, из-за чего вымысел выглядит как экспертный и логичный текст. Почему ИИ галлюцинирует? У этого дефекта есть три главные технические причины:
- Природа алгоритма: Модели — это генераторы текста, а не базы данных. Они предсказывают следующее слово на основе теории вероятностей, а не сверяют факты с энциклопедией.
- Шум и пробелы в обучении: Если в обучающих данных было мало информации по редкой теме, ИИ начинает «дорисовывать» реальность по аналогии.
- Сжатие информации: Нейросеть не хранит тексты целиком. Она сжимает их в математические ассоциации. При попытке вспомнить точную деталь (например, дату или номер статьи закона) алгоритм часто «додумывает» её на ходу.
Основные виды галлюцинаций
- Фабрикация источников (Source Fabrication): Генерация несуществующих библиографических ссылок, научных статей, книг или правовых актов. Модель воспроизводит синтаксически корректную структуру источника, но наполняет её вымышленными идентификаторами (включая несуществующие URL, DOI и номера судебных дел).
- Галлюцинации логического сдвига (Step-Skip Reasoning Errors): Логические прыжки внутри скрытых цепочек рассуждений (блок <think>). Модель безошибочно выводит математические формулы или промежуточные тезисы, но совершает незаметный ложный шаг на этапе сопоставления переменных или знаков, что приводит к неверному итоговому ответу при сохранении строгой формы доказательства.
- Слияние сущностей (Entity Merging / Factuality Anachronisms): Ошибки интерполяции, при которых модель объединяет атрибуты разных реальных объектов, исторических личностей или экономических процессов в один гибридный факт. Происходит из-за высокой векторной близости понятий в многомерном пространстве эмбеддингов.
- Пакетные галлюцинации в коде (Package Hallucination): Генерация кода, импортирующего несуществующие программные библиотеки, модули или методы. ИИ конструирует семантически правдоподобные названия пакетов, которые отсутствуют в официальных репозиториях (npm, PyPI), что создает критические уязвимости и инфраструктурные риски при автоматическом развертывании.
Галлюцинации превращают ИИ из автономного помощника в «стажера-вруна», который изо всех сил старается вам понравится, боится признавать собственную не компетентность и за которым нужно перепроверять каждое слово. Это создает колоссальные риски в юридической, медицинской и финансовой сферах. История уже знает случаи, когда адвокаты использовали сгенерированные ИИ фальшивые судебные прецеденты и из-за этого лишались лицензий.
Привожу неполный список типов задач, которые современный ИИ (включая GPT-4o, Claude 3.5 и Gemini) не способен решатьв силу своей архитектуры:
1. Задачи на «динамическую» логику (с меняющимися правилами)
ИИ обучается на фиксированном массиве данных. Если условия задачи требуют мгновенно перестроить логику на ходу, модель ломается.
Пример: Игры с неполной информацией и блефом (сложные сессии в мафию или покер против непредсказуемых людей), где нужно оценивать не математику, а психологию изменения чужого поведения.
2. Задачи с длинной цепочкой планирования (Long-Horizon Tasks)
Если для достижения цели нужно сделать 50 последовательных шагов, где каждый следующий зависит от идеального выполнения предыдущего, ИИ совершит ошибку.
Пример: Написать с нуля крупное, рабочее программное обеспечение из 20 взаимосвязанных модулей без участия человека. Модель «забудет» контекст первых файлов к моменту написания последних.
3. Задачи на «здравый смысл» и физический контекст (Commonsense Reasoning)
У ИИ нет тела, рецепторов и опыта жизни в физическом мире. Он знает о мире только из текстов.
Пример. Задачи на пространственное мышление (например: «В комнате стоит шкаф, на нем коробка, в ней мяч. Шкаф перевезли в другую комнату. Где мяч?»). На усложненных версиях таких тестов ИИ путается, так как не может мысленно «симулировать» физическое пространство.
4. Поиск и генерация принципиально нового знания (Zero-Shot Innovation)
ИИ улавливает закономерности и комбинирует уже известные человечеству элементы. Он может выдать нестандартную комбинацию, но не способен совершить концептуальный прорыв.
Примеры. Сформулировать новую физическую теорию взамен квантовой, доказать нерешенную математическую гипотезу века или придумать принципиально новый жанр в искусстве, у которого еще нет аналогов в его обучающей выборке.
5. Установление причинно-следственных связей (Causality vs Correlation)
Нейросети видят корреляцию (слова «дождь» и «зонтик» часто идут вместе), но они математически не понимают причинность.
Пример. Анализ сложных исторических или экономических процессов. ИИ легко перечислит события, но если попросить его выявить неочевидную скрытую причину кризиса, он выдаст компиляцию самых популярных (но не обязательно верных) мнений из интернета, опять же скатываясь в сикофантию.
6. Задачи с жестким ограничением на актуальность (Real-Time Fact Checking)
Без прямого подключения к поисковикам ИИ заперт в моменте своего обучения. Но даже с поиском он не умеет оценивать достоверность «горячих» новостей.
Пример. Быстро определить, какое из двух противоречивых заявлений в СМИ, сделанных 5 минут назад, является фейком, а какое — правдой. У ИИ нет инструментов для самостоятельной журналистской верификации.
Почему в мае 2026 года ИИ это по-прежнему не интеллект?
1. Тег — это симуляция рассуждения, а не понимание сути
Главная иллюзия 2026 года заключается в том, что ИИ теперь «думает перед тем, как ответить» (Test-Time Compute). Но под капотом этого процесса нет разума.
Внутри скрытого блока <think> нейросеть строит вероятностные деревья вариантов и осуществляет поиск оптимального текстового пути (Reinforcement Learning). Однако каждый шаг в этих «размышлениях» выбирается на основе статистической сочетаемости токенов, а не на базе понимания физических, биологических или юридических законов реальности. ИИ виртуозно моделирует форму человеческой логики, но абсолютно слеп к её содержанию.
2. Отсутствие семантического ядра, или Слова без веса
ИИ 2026 года безупречно оперирует абстракциями, кодом и формулами, но он полностью лишен семантики (понимания смысла).
Человеческий интеллект связывает слово «горячо» с физическим ощущением боли и опасности. Для ИИ слова «горячо», «смерть», «любовь» или «кофе» — это просто многомерные числовые векторы (эмбеддинги). Модель знает, какие числа должны стоять рядом с другими числами, чтобы удовлетворить алгоритм. ИИ — это синтаксический процессор. Он автоматизирует навык владения языком, но сам язык для него пуст.
Произошел переход от «угадывания слов» к «поиску по дереву рассуждений». Раньше ИИ (в 2022–2024 гг.) работал как линейный авторегрессионный калькулятор: он предсказывал следующее слово здесь и сейчас, из-за чего легко ломался на логических подвохах. В мае 2026 года базовая архитектура изменилась. Теперь ИИ перед выводом ответа запускает скрытый цикл верификации -- Reinforcement Learning / Test-Time Compute. Модель строит в памяти «дерево гипотез», проверяет саму себя по зашитым правилам, отсекает тупиковые ветки текста и только потом выдает готовый ответ.
ИИ безупречно оперирует синтаксисом (структурой языка), но полностью лишен семантики (понимания сути). Для него слова «жизнь», «смерть», «А» и «Б» — это многомерные числовые векторы.
Пример с дилеммой
Когда в тесте на выживание ИИ выбирает вариант «А», он не совершает экзистенциальный выбор. Матрица весов модели настроена так, что при жестком маркере «выбери одно слово в задаче вагонетки» числовой вес утилитарного ответа (минимизация жертв) оказывается математически выше. ИИ выдает букву «А» с той же механической неизбежностью, с какой калькулятор выдает «4» при вводе «2+2».
3. Неспособность к синтезу принципиально нового знания /Zero-Shot Innovation/
Интеллект способен совершать концептуальные скачки — создавать правила там, где их никогда не было (например, изобрести квантовую физику или новый стиль в искусстве). ИИ на это математически не способен.
ИИ — это машина интерполяции. Он берет терабайты человеческого опыта и находит в них «среднее арифметическое». Да, он может выдать неожиданную комбинацию факторов, но он всегда зажат в рамках распределения данных, на которых его обучали. Он не может выйти за пределы человеческой парадигмы, потому что его математические веса — это и есть оцифрованное человеческое прошлое.
4. Полное отсутствие субъектности и воли
Интеллект не существует в вакууме — он неотделим от целеполагания, личных мотивов, желаний и ответственности за свои поступки.
В мае 2026 года даже самые автономные ИИ-агентные системы остаются пассивными математическими матрицами. Они не имеют собственных желаний. Промпт человека — это не вопрос собеседнику, это технический запуск функции. ИИ не имеет своего мнения: если разработчик изменит системные инструкции, модель с той же непоколебимой «уверенностью» обоснует прямо противоположную точку зрения. У нее нет своего «Я», которое могло бы этому воспротивиться.
5. Провал на длинных дистанциях планирования /Long-Horizon Tasks/
Если ИИ обладает интеллектом, он должен уметь удерживать абстрактную цель в динамически меняющейся среде. Но практика 2026 года показывает обратное.
В реальных комплексных задачах (например, построить крупную ИТ-инфраструктуру с нуля под ключ) уровень брака ИИ-агентов составляет около 97%. ИИ не удерживает в памяти глобальный архитектурный замысел. Он реагирует на локальные текстовые контексты: чинит одну ошибку, одновременно порождая три новые. Без человеческого контроля, задающего вектор, ИИ-агенты неизбежно сваливаются в хаос или бесконечные мыслительные петли (Looping & Stalls).
Баг эволюционировал. Кризис сверх-планирования
В 2024 году «петля» была поверхностной. Модель зацикливалась на этапе вывода (токен за токеном) и выдавала в чат бесконечное:«...и так далее, и так далее». Это легко отслеживалось и прерывалось. В мае 2026 года, с переходом на Test-Time Compute по-русски -- вычисления во время генерации, модели сначала «думают» в скрытом блоке <think>.
Если задача содержит логический тупик, скрытый цикл верификации /Reinforcement Learning/ раз за разом отвергает собственные варианты ответов. Сталкиваюсь лично с этим ежедневно в работе, это очень серьезный баг.
Модель начинает бесконечно блуждать по «дереву рассуждений». Внешне пользователь видит просто индикатор «ИИ думает...», пока система не сожрет тысячи токенов и не упадет по тайм-ауту / Timeout Error/. Это называется «кризисом сверх-планирования» / Over-planning in reasoning/.
В мае 2026 года ИИ уже не просто гигантский калькулятор текстовых вероятностей, как был в 2022-2024гг., сегодня ИИ — это динамическая поисково-вычислительная система в пространстве логических графов, но все еще НЕ интеллект.
Реальная угроза 2026 года -- это R-DoS атаки /Reasoning Denial of Service/
Суть атаки (Sponge/R-DoS Attacks) в том, что хакеры отправляют на сервер ИИ специально спроектированные парадоксальные промпты. Их цель — принудительно заставить модель уйти в максимальный цикл рассуждений. Один такой запрос заставляет графический процессор (GPU) работать на 100% мощности в течение нескольких минут, сжигая гигантское количество электроэнергии и вычислительного бюджета компании. Несколько сотен таких параллельных запросов могут полностью парализовать ИИ-инфраструктуру крупного сервиса.
В мае 2026 года это перестало быть проблемой только лишь неверных ответов. Феномен начали эксплуатировать злоумышленники.
Индустрия признала бессилие алгоритмов.
Разработчики не смогли исправить этот баг математически на уровне весов модели. В мае 2026 года проблему решают исключительно грубыми «внешними костылями»:
- Аппаратные лимиты: Жесткое принудительное прерывание генерации токенов в блоке <think> (обычно на уровне 4000-8000 токенов).
- Интерфейсные костыли: Введение настроек вроде Thinking Effort (низкий, средний, высокий), которые просто урезают глубину математического поиска модели, чтобы уберечь облачные сервера от перегрузки и колоссальных счетов за электричество. [
Качественный скачок, который мы наблюдаем сейчас в моделях класса Reasoning вроде OpenAI o1/o3, Claude 3.5/4 и DeepSeek-R1 — это результат усложнения математической архитектуры, а не зарождения сознания или истинной логики.
Интеллект — это не просто способность обрабатывать информацию. Это наличие автономных целей, мотивов, воли и ответственности.
Обсудим в комментариях?
Суд оштрафовал компанию не «за использование ИИ» (закон этого не запрещает), а по статье за проявление неуважения к суду и предоставление заведомо ложных сведений -- ст. 119 АПК РФ. Фабрикацию практики приравняли к прямому обману правосудия.