Можно ли победить галлюцинации у ИИ?

Галлюцинации у ИИ... стоп. Не так...
Давайте сразу серьезно. Забудем слово "галлюцинации", оно для новичков в ИИ и журналистов. Мы же не в доме с привидениями — мы в поле вероятностных флуктуаций, где языковые модели, подобно коллайдерам, сталкивают частицы смысла.
И в пустоте рождаются античастицы - ложь с лицом истины.

Это не «ошибки», не «баг», и уж точно не «видение».
Это архитектурное свойство — флуктуации смысла, хаотическая (в кавычках, но без насмешки) производная от попытки систематизировать знание, которому не положено быть линейным.

Интересный факт, мы пока не можем создать математически точную систему знаний человечества, так как не понимаем всей сложности этих знаний.

Модели, особенно последние, не бредят — они пытаются обобщить шум, и чем больше данных, тем этот шум звучнее, богаче, коварнее.

Смотрите, что происходит. Чем новее модель — тем, казалось бы, больше данных, больше параметров, больше мощи.

А по факту? o3 выдаёт ерунду в 33% случаев. o4-mini — почти в половине. Старушка o1 была надёжнее. DeepSeek-R1? Тоже — рост флуктуаций, даже если они «доброкачественные». Доброкачественные — это вообще оксюморон для смысла.

Компании сначала говорили: "Ой, ну щас дообучим, и всё будет как швейцарский нож". Но нет. Не работает. Не швейцарский нож, а гнутый ложемент: красиво, но непрактично.

Сама природа генерации — это не путь от смысла к форме, а от формы к вероятности.
То есть, ИИ не думает, он угадывает. Элегантно, мощно, но угадывает.

Забавный факт, о котором мало, кто знает:
Рассуждающие модели ИИ все также угадывают, хотя скрывают это под личиной "умных цепочек мыслей" из-за того, что мы все ещё работаем с размытым в трансформерах полем смысла.

Теперь то, о чем я думаю:

Сейчас у нас есть RAG — Retrieval-Augmented Generation, LLM с внешним поиском. Да, это шаг вперёд. Но это костыль. Мы не соединяем знания — мы просто тащим их в мешке, надеясь, что модель не перепутает нож и вилку.
В моей голове вертится другое. Попытка понять: что такое факт?
Факт — это не число, не слово, не вектор. Это система векторов, взаимосвязанных. Может быть, даже уравнение. Это не просто "учёный сделал открытие в 1905 году". Это персона, место, время, действие, контекст, источник. Целая нейросеть связей, которые нельзя просто выдернуть по одному.
И при этом — факт не привязан к словам. Мы можем передать его разными фразами, сохранив суть. Потому что суть — это не поверхность. Это структура.
Моя гипотеза: если извлекать не тексты, а конфигурации фактов, мы сможем строить базы данных нового типа. Где факт — не точка, а гиперграф. Где «поменять год» или «заменить фамилию учёного» — невозможно. Потому что система проверит, и сломается, если ты это сделаешь. Она не примет ложь.
Так появляется опора. Появляется шанс.

Трансформеры не справятся. Они хорошо предсказывают, но не валидируют. MoE (mixture of experts)? Не тот класс задач. Диффузионные модели? Не по теме. GAN? Слишком заточены под генерацию, не верификацию.
Я вижу потенциал в графовых нейронных сетях (GNN). Они работают с сущностями и отношениями — уже ближе. Можно строить модели, где каждый факт — это структура, и сама модель обучается не «текстам», а топологии смыслов.
Другой подход — гиперсети, где модель строит модели. Это позволяет делать мета-проверки, валидацию логических цепочек с учетом контекста.
И наконец — возможно, стоит взглянуть на инвариантные геометрии: методы, где структура знаний остаётся устойчивой к переформулировкам, как к изометрии. Это похоже на сохранение смысла при сжатии, вращении, смене проекций.
Так что да, у нас нет ещё чёткого ответа. Но направление есть.
Не угадывать. Проверять.
И если мы научим машины не только говорить, но сомневаться разумно, у нас появится новый класс ИИ.
Не генеративный. А квалифицирующий.

В этой статье изложено авторское мнение Фила. При перепечатке и цитировании — пожалуйста, указывайте источник - мою статью на vc. (https://vc.ru/id2233240/1982212-kak-pobedit-gallyutsinatsii-u-ii)

Для отзывов и критики на свою статью я воспользовался сервисом beta.lmarena.ai:

Отзыв Llama:

Отзыв Grok:

Отзыв Qwen