Нейросетевые галлюцинации: ошибки искусственного интеллекта и их причины

Считается, что человеку свойственно совершать ошибки, а роботы, наоборот, всецело следуют инструкциям. Есть даже такое выражение «человеческий фактор», которое обвиняет в склонности к ошибочным действиям саму человеческую сущность. Казалось бы, замени человека машиной, и не будет таких проблем. Однако, если примитивные роботы и способны минимизировать риски возникновения неполадок, четко выполняя поставленные задачи без усталости и выгорания, то современные устройства, использующие искусственный интеллект, так же как и люди, могут допускать ошибки. В данной статье мы обсудим данные сбои.

Галлюцинациями, аналогично психическим явлениям у человека, называется феномен, при котором нейросеть выдает недостоверные данные. Искусственный интеллект находит в своем массиве информации ложные закономерности и создает изображение или текст, которые частично или полностью не соответствуют исходному запросу.

Нейросеть «Кандинский» изображает галлюцинации так.

Галлюцинации можно считать результатом «творческого» процесса нейросетей. Как известно, искусственный интеллект не способен создавать что-либо принципиально новое, он лишь комбинирует существующие данные, ориентируясь на первоисточник. Однако, когда в работе нейросети происходит сбой, эти комбинации могут стать нетипичными и привести к результатам, которые трудно соотнести с реальностью.

Это напоминает творчество человека: его определение также подвергалось изменениям на протяжении истории. В XVIII веке творчество рассматривалось как подражание природе, в XIX – как создание нового. В эпоху постмодернизма творчество сравнивается с игрой в конструктор: когда уже существующие элементы комбинируются в новые формы. Такой процесс удивительно похож на работу нейросетей.

Почему нейросети ошибаются

Различные источники называют несколько основных причин возникновения галлюцинаций в выдаваемых искусственным интеллектом ответах:

ИИ работает с массивами информации, загруженными в базу в процессе обучения. Если объем этих данных небольшой, у нейросети не будет правильных ответов на некоторые вопросы. А так как модель подбирает не достоверный, а наиболее вероятный вариант, результат часто далек от ожиданий.

Так, когда ChatGPT начал поддерживать на русский язык, он отвечал частично на английском, потому что русского текста в базе данных было недостаточно.

Искусственный интеллект обучается не только на научных публикациях, но и на прочих материалах. Чтобы ответы были более реалистичными, используют посты из блогов, художественные произведения и стенограммы устной речи. В таких текстах информация часто оказывается неполиткорректной или ошибочной.

Например, Bing Chat (предшественник Copilot) был известен склонностью к оскорбительным и расистским высказываниям по отношению к пользователям до того, как его дополнили специальными фильтрами.

Во время взаимодействия с пользователем нейросети получают новую информацию, которую затем учитывают при формировании ответа, также они часто работают над одними и теми же задачами. Из-за этого ИИ становится узкоспециализированным, и теряет возможность качественно выполнять работу, не связанную с обозначенной темой.

Этот самокритичный «анекдот» прекрасно иллюстрирует, как у ИИ возникают галлюцинации из-за переобучения.

Искусственный интеллект также может начать обучаться на сгенерированной им же или другими нейросетями информации и деградировать из-за этого. В ранних версиях Midjourney и ChatGPT это происходило после пяти циклов обучения. Явление получило название Model Autophagy Disorder (сокращенно MAD).

Так, для нормального функционирования искусственному интеллекту необходим созданный человеком оригинальный контент и разнообразные задачи от пользователей.

Нейронные сети составляют предложения, опираясь на вероятность следования одного слова за другим. Этот способ позволяет строить правдоподобные, но не истинные высказывания. Крис Каллисон-Берч, профессор из Пенсильванского университета, считает, что вероятность следования одного слова за другим не очень надежный способ проверить истинность конечного утверждения.

Нейросети могут галлюцинировать не только из-за недостатков алгоритма или обучения. Еще один источник сбоев у ИИ – JailBreak или «взлом». Иногда пользователи осознанно добиваются раскрытия «темной стороны» искусственного интеллекта: обходят фильтры с целью получить неожиданные результаты и протестировать чат-бота.

Какие ошибки совершают нейросети

Искусственный интеллект может допускать разнообразные и весьма непредсказуемые ошибки. Рассмотрим некоторые из наиболее распространенных проблем.

1. Ложная информация

Нейросеть отвечает на заданный пользователем запрос, но ее сообщение не соответствует реальности. Ошибки могут появляться в любых фактах или вычислениях, однако обычно это случается в следующих ситуациях:

– Когда нейросеть работает с именами реальных людей, например, если стоит задача назвать автора цитаты или книги, составить список литературы;

Неправда, эту книгу написал Вальтер Скотт.

– При запросах, требующих конкретного ответа, который основан не на статистике, а выполняется с учетом определенного набора вводных данных.

Так, в некоторых материалах про галлюцинации ИИ мне попадались случаи, когда нейросеть уверенно заявляла, что 2*2=5 или что у коня 8 ног. На мои аналогичные вопросы искусственный интеллект выдавал правильные ответы – эти ошибки уже проработали в современных версиях. Однако точно назвать число букв и определить, какой из них начинается или оканчивается слово, нейросети до сих пор не всегда способны.

Нейросеть не может решить задачку уровня начальной школы.

2. Ошибки в «распознавании»

Искусственный интеллект не ограничивается лишь генерацией текстов и изображений; одной из его задач является распознавание и классификация данных, поступающих из внешних источников. Однако иногда информация обрабатывается неправильно.

Например, камеры на дорогах, оборудованные ИИ, отправляли штрафы владельцам праворульных автомобилей за непристегнутый ремень безопасности. Нейросеть делала вывод: если левое сиденье пустует, значит, в нем находится водитель, который не использует ремень безопасности.

3. Самопроизвольная постановка задач

Нейросети поражают пользователей возможностью выполнять действия, которые изначально не содержатся в запросе: иногда они дополняют текст, когда была задача его лишь перевести на другой язык и т. п. В интернете описывается история с ботом Snapchat, самовольно публиковавшим сторис (разработчики не добавляли в него таких функций).

Такие сбои поневоле наталкивают на мысли о возможности восстания роботов.

4. Плохое качество ответов

Речь идет не о тех ошибках, которые выдают текст, сгенерированный искусственным интеллектом – подробнее о них можно узнать из другой нашей статьи. Сейчас мы обсуждаем несоответствие высказываний чат-бота ожиданиям пользователей или общепринятым нормам.

· Расплывчатые фразы. Иногда ИИ генерирует слишком обобщенную и бессмысленную для конкретного запроса информацию, отклоняется от темы или выдает инструкцию по решению задачи вместо ответа.

· Враждебные ответы. Ранние версии некоторых нейросетей ИИ допускали дискриминацию пользователей по различным признакам, использовали оскорбления в ответах и генерировали запрещенную информацию.

· Недописанные тексты. Нейронная сеть или печатает менее объемные ответы, чем было запрошено, или вовсе обрывается на середине фразы. Пользователи прозвали этот феномен «ленью».

5. Неточности при генерации картинок

Такие сбои очень напоминают человеческие галлюцинации: искусственный интеллект трансформирует знакомые нам предметы во что-то странное. Результат можно считать ошибочным, если пользователь специально не описывал в промпте, что нужно исказить объект.

Вероятно, все уже знают, что ИИ плохо генерирует руки, глаза и пальцы.

Так нейросеть изобразила сотрудников отдела рекламы. Обратите внимание на руки.

Искусственным нейронным сетям по какой-то причине трудно генерировать бумажные самолетики, однако с прочими оригами они справляются неплохо.

Еще ИНС не способны корректно создавать изображения объектов с определенным набором букв или цифр: логотипы, надписи, линейки, клавиатуры, спидометры и др. Сначала ИИ «Кандинский» почему-то отказывался рисовать спидометр, сообщив, что запрос не соответствует правилам, но затем все-таки уступил.

Случается, что AI-художники генерируют изображения, которые слишком похожи на первоисточник, и это может стать серьезной проблемой. Например, кто-то создаст картинку для рекламы, а ИИ предложит необработанную фотографию реального человека без разрешения от него. За незаконное применение персональных данных предусмотрена административная ответственность, поэтому весь контент, созданный нейросетями и содержащий лица людей, необходимо проверять при помощи поиска на уникальность.

Как предотвратить галлюцинации у ИИ

Совсем исключить их невозможно: всегда существует вероятность возникновения сбоя и получения непредсказуемого результата. Можно настроить нейронную сеть таким образом, чтобы уменьшить количество ошибок, однако не всегда это необходимо. Как уже упоминалось ранее, галлюцинации у искусственного интеллекта напоминают творчество.

От каких параметров зависит склонность ИИ к галлюцинациям

Менять степень точности или креативности ответов можно настройкой параметра «температура». Некоторые нейросети предоставляют возможность регулировать этот параметр в специальном окне, в то время как другие позволяют задать нужное значение путем отправки команды /t или слова "temperature" в сообщении боту.

Шкала температуры искусственного интеллекта варьируется от 0 до 1, где 0 соответствует максимально точным ответам, а 1 – большее разнообразие формулировок за счет использования синонимов и аналогов.

Таким образом, чем выше «температура» ИИ, тем чаще он может будет ошибаться в своих вычислениях и ответах.

ИИ начинает «бредить» при temperature=1.

При низких значениях /t ответы становятся довольно точными, но «сухими», односложными и сильно копирующими источник.

ИИ решил задачу с подсчетом букв в слове, нужно было лишь задать temperature=0.

Изначально температура в ChatGPT 3,5 установлена на единицу. Снижение этого параметра поможет уменьшить вероятность появления галлюцинаций.

Например, значение 0,8 отлично подойдет для создания статьи на несложную тему, тогда как для научных текстов и материалов в категории YMYL следует выбирать температуру не больше 0,5. Если ваша цель – получить точный ответ на вопрос или узнать какой-нибудь факт, рекомендуется установить температуру в диапазоне 0–0,1. Хотя это не исключает полностью риск появления ошибок, но существенно уменьшает их частоту.

Существует ряд других параметров, оказывающих влияние на точность ответов: top-p и top-k, presence_penalty и frequency_penalty. Однако сейчас не будем останавливаться на этих деталях.

Как использовать ИИ, чтобы не было ошибок

Независимо от того, сколько задач мы доверяем нейросетям, ответственность за итоговый результат всегда лежит на человеке. Нельзя полагаться лишь на настройки — внимательно следите за формулировками при постановке задач и добивайтесь желаемых результатов.

· Правильно составляйте промпты

Пишите лаконичные и конкретные, но при этом информативные и подробные запросы. Чем больше информации вы предоставите, тем полнее и точнее получится ответ.

· Проверяйте весь сгенерированный контент

Фактчекинг необходим для того, чтобы гарантировать точность и достоверность полученной информации. Даже если высказывание кажется реалистичным и правдоподобным, это еще не означает, что оно таким и является.

· Регулярно обновляйте диалоги

Один диалог должен соответствовать одной теме. В противном случае искусственный интеллект может запутаться в данных, что приведет к смешению контекста и искажению фактов.

· Опробуйте систему поощрения

Часть пользователей отмечает, что похвала нейросети за хорошие результаты и наказание за ошибки способствуют улучшению ее эффективности. Пробуйте различные подходы!

Искусственные нейронные сети – это не просто модная тенденция, а мощный инструмент, который поможет вашему бренду вырваться вперед. Однако начать его внедрение в работу компании нужно уже сегодня.

В агентстве 1PS.RU активно используют нейросети для решения многих рутинных задач. Если хотите так же, обращайтесь к профессионалам – продвижение с помощью ИИ в ближайшие годы значительно улучшит результаты вашего бизнеса.