Опасные фантазии. Что такое «галлюцинации ИИ» и как их обнаружить?

Думали, галлюцинации бывают только у людей? Нет, роботы тоже ими страдают, точнее, пользователи страдают от выдумок ИИ.

Американский профессор Итан Моллик сравнивает ИИ со «стажёром, который немного привирает, чтобы угодить начальству». И это не просто красивая метафора.

Искусственный интеллект может испытывать галлюцинации — так называют явление, когда модель выдаёт неверные результаты и настаивает на своей правоте. Рассказываем, что это за галлюцинации и можно ли с ними бороться.

Галлюцинации ИИ — ситуация, когда модель не знает ответа на вопрос и выдаёт неверные результаты. Например, искусственный интеллект может выдумать значение слова, рассказать нереальный факт или даже придумать исследование.

Мы спросили у ChatGPT, что означает выражение «бархатные тяги». Нейросеть уверенно заявила, что это «мягкое и плавное ускорение мотоцикла при выходе из поворота». Галлюцинация случилась из-за того, что модель обучена на данных до 2021 года, а мем появился в 2023 году.

Галлюцинации опасны тем, что ИИ упрямо настаивает на своём. Если уличить модель во лжи, она продолжит доказывать свою правоту.

Например, во время одного эксперимента ChatGPT написала текст на медицинскую тематику. В нём встретился неверный факт, и исследователи попросили чат-бота подтвердить информацию научными источниками. Модель выдала названия пяти работ, но ни одной из них не существовало в реальности. При этом нейросеть дала ID исследований — все они принадлежали статьям, которые не имели отношения к теме.

Получается, искусственный интеллект не только выдал ложную информацию, но и сделал вид, что у неё есть научное обоснование.

Однозначного ответа нет, потому что разработчики не раскрывают внутреннее устройство моделей полностью. Например, OpenAI не опубликовала исследовательские данные, на которых обучала GPT-4. Но исследователи всё равно выделили несколько причин, по которым случаются галлюцинации.

Качество данных. Большинство генеративных моделей опираются на большие массивы данных. И если изначально ИИ обучили на недостоверных данных, в ответах возникают неточности. Например, OpenAI тренировали ChatGPT на большом массиве текстов из интернета. И не факт, что все они были достоверными.

А ещё точность генеративных моделей зависит от грамотности их пользователей. Когда мы общаемся с чат-ботами, мы непрерывно их обучаем. Нейросети анализируют наши сообщения и запоминают конструкции. Если кто-то даст модели недостоверную информацию, она её зафиксирует и продолжит распространять до тех пор, пока другой человек не укажет на ошибку.

Сам принцип работы ИИ. Внутри языковых моделей нет глубоких знаний — только статистика о том, как должен строиться текст. Поэтому ИИ не может дать оригинальный ответ, а просто воспроизводит информацию, на которой обучался. Он анализирует последовательность слов и предсказывает, какое будет следующее. Этот алгоритм повторяется, пока не получится связный текст.

Неточный или слишком сложный запрос. Если пользователь введёт запутанный или противоречивый промт, модель с высокой вероятностью даст неверный ответ.

Часто искусственный интеллект допускает ошибки, когда нужно развивать логическую цепочку. Мы дали ChatGPT задачку с курсов по маркетингу — бот её провалил, потому что учёл только один критерий из трёх.

Ведущие разработчики стараются найти решение этой проблемы. Например, OpenAI показывает результаты генераций людям, чтобы они оценили качество информации. Также компания рекомендует всем пользователям проверять ответы модели и отправлять отзывы об ошибках.

Однако люди тоже могут ошибиться и пропустить неверный ответ, если нейросеть звучит достаточно убедительно. Поэтому в июне 2023 года разработчики придумали новый способ бороться с галлюцинациями.

Считается, что есть прямая связь между сложностью запроса и вероятностью получить неверный ответ. Поэтому галлюцинации возникают, когда нужно многоступенчатое рассуждение. В таких случаях достаточно допустить одну ошибку — и неверным будет весь результат.

Раньше за неверные ответы ИИ «штрафовали» — меняли его программу. А за корректные выводы «поощряли» — ничего не делали и позволяли модели работать дальше.

Но вскоре разработчики заметили, что нейросети допускают ошибки в многоступенчатых рассуждениях, и изменили систему мотивации. Они стали поощрять каждый правильный шаг логической цепочки, а не только конечный вывод.

Этот подход даёт результат. Так, модель OpenAI GPT-4 более точная, чем предыдущая версия GPT-3.5.

Пока что никто не придумал способа вычислять галлюцинации со стопроцентной точностью. Самый надёжный вариант — проверять ответы модели через другие источники.

Но можно подойти к проблеме творчески и заставить одну модель проверять факты за другой. Этот приём используют разработчики — он называется «генеративно-состязательная сеть». При таком подходе одна нейросеть ищет информацию, а вторая оценивает её адекватность.

Попробуйте взять две разные нейросети и заставить их спорить, пока они не придут к общему мнению. Для этого даже необязательно прикручивать дополнительное ПО — можно просто копировать ответы одной нейросети и отправлять их другой.

А какие смешные или странные галлюцинации ИИ попадались вам? Расскажите в комментариях.