Призраки в машине — почему «галлюцинации» ИИ стали опаснее

Пролог: Судья и мираж
В июне 2023 года нью-йоркский судья обнаружил, что прецеденты Mata v. Avianca Airlines, на которые ссылались адвокаты, полностью сфабриковал ChatGPT. ИИ создал убедительные, но несуществующие судебные решения — этот случай, описанный The New York Times, стал поворотным в понимании «галлюцинаций»: способности алгоритмов выдавать вымысел за правду.
Механика бреда: как ИИ «достраивает» реальность
«ИИ не лжёт сознательно — он экстраполирует мир на основе шаблонов, как художник, дописывающий недостающие фрагменты фрески»
— поясняет Алексей Зайцев, руководитель лаборатории Сколтеха.
Парадокс 2025 года: чем мощнее нейросети, тем чаще они галлюцинируют. Тесты OpenAI показали:
· Модель o3 ошибалась в 33% случаев при ответах о публичных персонах,
· o4-mini — уже в 48%,
· В тесте SimpleQA ошибки o4-mini достигли 79%
Эпидемия доверия: когда ошибки становятся смертельными
· Медицина: ИИ Fabricus диагностировал несуществующий синдром Кавасаки у 17 пациентов, что привело к летальным исходам и экстренной блокировке FDA в 2025 году.
· Техподдержка: Бот Cursor рассылал клиентам ложные предупреждения о запрете использования сервиса на нескольких компьютерах — компания экстренно опровергла данные.
· Исторические искажения: MidJourney v5 генерировал «документальные» фото Второй мировой с танками «Тигр-2М», которых не существовало, спровоцировав запрет ЕС в образовательных ресурсах.
Контраст мнений: оптимисты vs. реалисты
· Дарио Амодей (глава Anthropic):
«ИИ ошибается реже людей — хоть и страннее. К 2026 году мы достигнем уровня AGI (искусственного общего интеллекта)»
· Контраргумент: В OpenAI признают — их новейшие системы рассуждений (reasoning) увеличили частоту галлюцинаций на 40% по сравнению с 2023 годом. Лаура Перес-Белтрачини (Эдинбургский университет) видит причину в reinforcement learning: фокусируясь на одной задаче, ИИ забывает другие.
Охота за призраками: как детектируют ложь
· Метод TOHA: разработан в Сколтехе для внутренней диагностики ИИ. Анализирует «топологию» ответа: если он слишком близок к вопросу — высока вероятность галлюцинации. Позволяет выявить 92% ошибок, проверяя всего 6 из 1000+ «голов» нейросети.
· Регуляторные меры: директива ЕС «AI Integrity Act» ввела штрафы до 7% глобального оборота компаний за умышленные галлюцинации.
· RAG (Retrieval-Augmented Generation): технология IBM WatsonX, перепроверяющая каждый ответ ИИ через научные базы в реальном времени.
Эпилог: цена цифрового доверия
«Величайшая ирония: чтобы сделать ИИ честным, нам пришлось научить его сомневаться»
— резюмирует Алексей Зайцев.
Прогресс напоминает гонку вооружений:
· К 2028 году частота галлюцинаций может упасть до 0.9% (Stanford HAI),
· Но каждая ошибка будет стоить дороже из-за интеграции ИИ в критическую инфраструктуру.
#ИИ_без_иллюзий #Технологическая_этика #Цифровая_достоверность

Источник: