Конец галлюцинаций ИИ: как разработчики решили проблему вводящих в заблуждение ответов?

Даже самые лучшие LLM-приложения сталкиваются с одной постоянной проблемой — галлюцинациями. Эти ошибочные результаты, когда модели искусственного интеллекта генерируют ложную или вводящую в заблуждение информацию, долгое время считались неотъемлемым недостатком больших языковых моделей (LLM).

Однако революционное открытие программиста и изобретателя Майкла Кельвина Вуда опровергает это предположение и открывает путь к новой эре точного ИИ, которая может изменить наши методы работы с данными и создания приложений на базе ИИ. О причинах галлюцинаций и как их удалось побороть — читайте в нашей статье.

Решение проблемы галлюцинаций важно для разработчиков. Устранив галлюцинации, мы сможем обеспечить точность и надежность контента, генерируемого ИИ на основе наших процессов.

Галлюцинации не приводят к проблемам, если вы используете LLM, например, для написания романа — вы всё равно хотите получить результаты в виде образов. Но в таких областях, как медицина или юриспруденция, риски гораздо выше. Неточности могут нанести репутационный ущерб или даже спровоцировать многомиллионные судебные иски, будь то врачебная халатность или ссылка на неверную историю болезни в качестве прецедента при подаче документа секретарю суда в ходе судебного разбирательства с высокими ставками.

Вопреки распространенному мнению, галлюцинации ИИ вызваны не столько недостаточным количеством обучающих данных, неверными предположениями модели или предвзятостью алгоритмов. Вместо этого основная проблема заключается в том, как ИИ обрабатывает и генерирует информацию на основе того, что Вуд называет «маршрутами фраз-существительных.

LLM организуют информацию вокруг фраз-существительных, и когда они встречают слова или фразы с похожими семантическими значениями, они иногда смешивают или неправильно интерпретируют их. Это приводит к тому, что модель выбирает неправильные «маршруты» при генерировании ответов, что приводит к галлюцинациям.

Приведем пример:

Исследования Вуда привели к разработке модели доминирования существительных фраз, которая утверждает, что нейронные сети в LLM самоорганизуются вокруг существительных фраз в процессе обучения. Эта идея очень важна для понимания того, как устранить галлюцинации.

Приведем примеры из реального мира:

Прорывной подход Вуда заключается в преобразовании входных данных в так называемые «полностью отформатированные факты» (FFF). Это простые, самодостаточные утверждения, которые:

Представляя информацию магистрантам в таком формате, Вуд продемонстрировал способность достигать 100-процентной точности в некоторых типах задач ИИ, в частности в сценариях ответа на вопросы.

Его метод решения проблемы неоднозначности в тексте начался с использования библиотеки Python Spacy для распознавания именованных сущностей. В конечном итоге превратился в использование LLM для преобразования отрывков текста в производные, которые устраняют как можно больше двусмысленностей, в то же время пытаясь сохранить стиль написания оригинального документа.

REST API, который предоставляет его компания, задуман как обертка вокруг GPT-4o и GPT-4o-mini. Вместо того, чтобы вызывать OpenAI через REST API, вы отправляете запрос в систему, которую построил Майкл, используя тот же синтаксис, что и для вызова OpenAI. Система преобразует ваш тест, чтобы устранить двусмысленность.

Я предполагаю, что он занимается предварительной обработкой текста в подсказках, отправленных через REST API, и, если я правильно понял то, что прочитал на его сайте, он также провел некоторое обучение тонкой настройке моделей OpenAI GPT4o.

Современные методы, такие как Retrieval Augmented Generation (RAG), пытаются уменьшить количество галлюцинаций, предоставляя ИИ больше контекста. Однако у этого подхода есть ограничения:

Метод Вуда, с другой стороны, фокусируется на полном устранении конфликтов между существительными и фразами, устраняя основную причину галлюцинаций.

Реализация этого нового подхода, получившего название RAG FF (Retrieval Augmented Generation with Formatted Facts), показала замечательные результаты. В ходе тестов с использованием сторонних наборов данных, таких как RAG Truth, исследователи смогли устранить галлюцинации как в GPT-4, так и в GPT-3.5 Turbo для заданий с ответами на вопросы

Приведем конкретный пример с устранением ошибок перевода, чтобы продемонстрировать эффективность этого подхода.

1. Оригинальный текст: «Where’s the chicken? Is it in the pen?».

Google Translate: [Неправильный перевод из-за двусмысленности слова «pen»].

2. Полностью отформатированный факт: «Where’s the chicken? Is the chicken in the animal enclosure?».

Google Translate: [Правильный перевод без двусмысленности].

Эта простая трансформация устраняет возможность галлюцинации, снимая конфликт между существительным и фразой.

Вуд и его команда наметили дорожную карту для расширения возможностей ИИ без галлюцинаций:

Открытие способа устранения галлюцинаций ИИ с помощью правильного форматирования входных данных представляет собой значительный скачок вперед в поисках надежного искусственного интеллекта. Приведя входные данные в соответствие с тем, как LLM на самом деле обрабатывают информацию, Вуд раскрыл потенциал для создания по-настоящему точных систем ИИ.

Поскольку эта технология продолжает развиваться и распространяться на новые области, то мы стоим на пороге новой эры надежности ИИ. Последствия для самых разных отраслей — от здравоохранения до юридических услуг — очень велики, что может привести к будущему, когда ИИ можно будет доверять как постоянному источнику точной информации и помощи.

Несмотря на то, что еще предстоит работа по расширению этой методики для охвата всех типов задач ИИ и форматов документов, фундамент для революции в точности ИИ уже заложен. По мере продвижения вперед акцент, скорее всего, будет смещен с борьбы с галлюцинациями на совершенствование и расширение возможностей этих новых точных систем ИИ, открывая захватывающие возможности для инноваций и прогресса в области искусственного интеллекта.

Статья переведена и адаптирована экспертами из команды «Лии» — платформы на базе ИИ для автоматизации первой и второй линии поддержки.

Читайте больше актуальных новостей и статей об ИИ — в моем блоге. А если хотите применить ИИ в своём бизнесе — обращайтесь к команде Лии.