Никаких галлюцинаций: как мы сделали ответы ИИ-ботов точными

Выдуманные законы, нереальные цены и сочинение вместо перевода текста — такие ошибки делают нейросети. Делимся личным опытом, как защитить себя и бизнес от галлюцинаций ИИ

Никаких галлюцинаций: как мы сделали ответы ИИ-ботов точными

27% компаний, опасаются внедрять нейросети, потому что они галлюцинируют, а 18% не доверяют результатам, которые генерирует ИИ.

Команда Smartbot тоже столкнулась с такой проблемой, когда настраивала ИИ-ботов для наших клиентов. В статье рассказываем, почему у нейросетей возникают галлюцинации, какие бывают ошибки и как их избежать.

Что такое галлюцинации ИИ и почему они возникают

Галлюцинации нейросети — это ответы на запросы пользователя, которые не соответствуют действительности. Они могут быть разными: выдуманные факты, неверные сведения, ложные выводы. Например, искусственный интеллект может сочинить новый текст вместо перевода или сгенерировать изображение животного с 5 лапами.

Есть несколько причин, почему нейросеть галлюцинирует. Основная — у ИИ нет собственных знаний: он выявляет закономерности в информации, которую в него загрузили, и генерирует наиболее вероятностный ответ. Если данные недостоверны или их мало, нейросеть может ошибиться.

Есть и другие причины:

  • Переобучение: если ИИ постоянно решает задачи на одну и ту же тему, со временем он перестаёт корректно отвечать на другие запросы;
  • «Желание» угодить: задача нейросети — выполнить запрос пользователя, поэтому она старается дать ответ, даже если не знает его. Например, может сгенерировать правдоподобный текст, который не имеет под собой реальной основы.

Частота галлюцинаций нейросетей зависит от нескольких факторов:

1. Тема запроса. Чем она шире, тем лучше ответы бота. Например, ИИ знает достаточно о классической литературе, чтобы дать точный результат. Но, если спросить адреса и часы работы библиотек в Саранске, нейросеть может ошибиться из-за нехватки данных.

2. Корректность промта. Если в сообщении пользователя есть: эмоции, сленг, грамматические ошибки или запрос абстрактный, ИИ может неверно понять задачу и, соответственно, выдать некорректный ответ.

3. Качество данных. Чтобы ИИ точнее решал запросы пользователей, нужна база знаний с чёткими инструкциями. Например, для бизнеса это могут быть скрипты менеджеров по продажам или ответы техподдержки.

Маргарита Нечитайло
руководитель направления разработки чат-ботов Smartbot

«К нам часто обращаются компании с запросом внедрить ИИ для консультаций, чтобы сократить нагрузку на операторов. Когда мы начали работать с нейросетями, думали, это будет быстро и просто: загружаем базу знаний в PDF, они обучаются и отвечают вместо сотрудников. Как же мы заблуждались»

Дальше расскажем, с какими галлюцинациями ИИ мы столкнулись на практике и чем они опасны.

Примеры ошибок нейросети и их последствия

Иногда ошибки искусственного интеллекта могут быть безобидными и даже забавными. Вот несколько примеров:

ChatGPT не смог правильно посчитать количество букв «r»
ChatGPT не смог правильно посчитать количество букв «r»
Нейросеть не может придумать слово из 5 букв и путает «е» и «ё»
Нейросеть не может придумать слово из 5 букв и путает «е» и «ё»
Музыку написал Лорн Балф, но нейросеть почему-то думает иначе и перебирает композиторов
Музыку написал Лорн Балф, но нейросеть почему-то думает иначе и перебирает композиторов

Риски возникают, когда галлюцинации ИИ выглядят правдоподобно и пользователи доверяют им. Для бизнеса ошибки в ответах могут обернуться потерей репутации и лояльности клиентов. Например, мы столкнулись с такими галлюцинациями нейросети, когда настраивали ИИ-ботов:

— чат-бот компании из сферы услуг консультировал по законам другой страны после опечатки в вопросе

— бот государственной организации в сфере образования выдумывал законы. Кроме того, мы не понимали, как часто и почему ИИ отвечает, что не нашёл информацию;

— боты отправляли клиентов по неверному адресу, сообщали покупателям выдуманные цены на товары и присылали некорректные ссылки;

— чат-бот технической поддержки азиатского разработчика мобильных игр в 20% случаев вместо перевода сообщения на русский язык отвечал на него;

— у того же клиента ИИ-консультант должен был сообщать пользователям, которые хотят отменить подписку, о переводе на тариф с меньшей стоимостью. Но бот отвечал, что подписка прекращена и покупателю скоро вернут деньги.

Маргарита Нечитайло
руководитель направления разработки чат-ботов Smartbot

«Когда мы протестировали ИИ на задачах разных компаний, мы поняли, что он отвечает хуже операторов и дезинформирует клиентов. Для бизнеса это было критично. Клиенты отказывались от ИИ-ботов, и сначала мы не знали, что с этим делать»

Проблема в том, что генеративный ИИ непредсказуем. Мы не могли найти закономерности и понять, когда нейросеть сочинит что-то или выдаст ошибку.

Как мы сократили галлюцинации ИИ до минимума

Сначала мы пытались найти способ улучшить качество ответов генеративной модели. Пробовали разные способы: преобразовывали базу знаний, меняли промты, объём информации, последовательность загрузки данных. Но всё это не давало желаемого результата.

Тогда мы перешли на другую модель ИИ — она не генерирует ответы, а подбирает их из базы знаний. Как это работает:

Такой способ позволяет сделать ответы ИИ предсказуемыми и исключить галлюцинации, когда нейросеть сочиняет и преобразовывает информацию, как ей вздумается
Такой способ позволяет сделать ответы ИИ предсказуемыми и исключить галлюцинации, когда нейросеть сочиняет и преобразовывает информацию, как ей вздумается

Мы начали внедрять новую модель ИИ в процессы наших клиентов. Вот какие результаты получили:

ВкусВилл. Разработали чат-бота, который подбирает рецепты по запросу пользователя с сайта компании. Если ИИ не может найти подходящую ссылку, он ничего не сочиняет, а сообщает об этом пользователю.

Бот работает в групповом Telegram-чате ВкусВилл. Здесь пользователи часто обсуждают рецепты блюд и делятся идеями
Бот работает в групповом Telegram-чате ВкусВилл. Здесь пользователи часто обсуждают рецепты блюд и делятся идеями

Разработчик мобильных игр. Клиенты компании из разных стран, они обращаются в техподдержку на своём языке. Задача бота — переводить сообщения для оператора и отвечать на часто задаваемые вопросы. Чтобы ИИ не сочинял ответ вместо перевода и корректно решал запрос пользователя, механику настроили так:

  1. Бот получает запрос пользователя.
  2. Переводит сообщение на язык оператора техподдержки.
  3. Затем бот подбирает подходящий ответ из базы знаний.
  4. Оператор проверяет его и ставит отметку, если всё верно.
  5. Если бот ошибся, сотрудник выбирает правильный вариант, и он автоматически сохраняется в базу знаний.
  6. Таким образом формируется статистика, которая показывает соответствие вопросов пользователей данным в базе знаний ИИ.

Раньше операторы переводили 100% вопросов пользователей и отвечали им вручную. На обработку одного запроса уходило до 5 минут.

Теперь 80% обращений переводит ИИ-бот. Также он автоматически отвечает, когда вопрос пользователя на 85% совпадает с шаблоном в базе знаний. В результате время ответа сократили до 10 секунд, а ручной труд операторов — в 3 раза.

С помощью такой модели обучения, база знаний ИИ регулярно пополняется. Так, за неделю на 5% выросло количество запросов, на которые бот отвечает самостоятельно.

Организация в сфере образования. Клиент использует чат-бота для консультации преподавателей. Генеративная модель ИИ выдумывала законы или сообщала, что не может найти информацию, хотя данные были в её базе знаний.

После перехода на бота с подбором ответов нейросеть добавляет ссылки на законы, которые она использует.

Кроме того, теперь у нас есть статистика вопросов, когда ИИ не смог решить запрос пользователя. Мы понимаем причину и можем дообучить модель 
Кроме того, теперь у нас есть статистика вопросов, когда ИИ не смог решить запрос пользователя. Мы понимаем причину и можем дообучить модель 

Главное

Благодаря переходу на модель с подбором ответов мы разработали чёткий алгоритм настройки нейросети. Он помогает не только решать задачи клиентов, но и быстро масштабировать команду Smartbot.

Маргарита Нечитайло
руководитель направления разработки чат-ботов Smartbot

«Раньше, когда я настраивала ИИ, у меня было ощущение, что я пытаюсь ломать кирпичную стену голыми руками. А сейчас есть понятный и прозрачный процесс внедрения искусственного интеллекта. Мы точно знаем, что нужно запросить у клиента и что делать нам, чтобы нейросеть не галлюцинировала и корректно решала задачи пользователей»

Вы можете создать ИИ-бот самостоятельно на конструкторе Smartbot Pro — в сервисе есть встроенная интеграция с ChatGPT и YandexGPT. Если нужна настройка «под ключ», обращайтесь в наш проектный офис: разработаем бота, обучим его по вашей базе знаний и настроим точные ответы.

1717
77
18 комментариев

Ценность статьи около нулевая
Вопрос:
Как мы сократили галлюцинации ИИ до минимумаОтвет:
мы перешли на другую модель ИИ — она не генерирует ответы, а подбирает их из базы знаний.Какая модель? Сколько параметров? Какие предварительные промты использовали?

Просто 0% инфы 100% воды💪🏻

3
1

Модель используем GPT-3.5-embedding, параметры устанавливаем в зависимости от задачи, экспериментируем в разных вариантах.

Спасибо за ваше мнение, в этой статье мы не планировали углубляться в технические детали, но в следующих раскроем тему подробнее

Пустовато. Окей.

Я создал себе ИИ-ассистента на модели 4o. Ассистент должен заполнять брифы помогать пользователям с ноля или готовить вопросы по брифам, анализировать их

Подготовил для него инструкции, кстати сам чат мне помог по запросу (тут надо понимать что хочешь) подготовить инструкцию для ИИ-ассистента в том виде, в котором тот будет хорошо понимать.

Готовые инструкции я проработал:
– убрал лишнее
– поправил кое-где структуру
– назвал верно
– перевел в txt
– залил

И все равно ассистент забывает определенные вещи, по-разному строит диалог, хотя у меня и правила проверки ответов и обвязка по структуре диалога и пример идеальных ответов (тут стоит отметить, что как я понял, если вы хотите супер точных ответов, то нужно по каждом запросу прям подробный гайд с ответами писать)

Мои ассистент образается и к своей базе и к интернету и все равно не проверяет банальную информацию, например, правдивое ли название Бренда ему говорят, бюджет пишут с НДС или без. Какую локацию ему сообщают для, например проведения мероприятия и тд.

Те я почти ушел от галюнов ИИ и от оценочных ответов, но все равно они проскакивают вместе с неполной обработкой запроса пользователя )) пока решаю как быть...

Вот так пока выглядит ассистент -ИВА (не публичный)
https://chatgpt.com/g/g-673c3933cbac819190cd8bbdc86ff52a-iva

Дальше наверное нао переводить его в Бизнес Аккаунт из плюса и коннектить с Телеграм Ботмо)

2

Именно так и работают генеративные модели, избавиться от галлюцинаций полностью не получится :( поэтому мы всё чаще выбираем формат подбора заранее заготовленных ответов, о котором и рассказали в статье.

Спасибо, что поделились своим опытом :) согласны с тем, что при такой настройке ИИ периодически возникают баги

Недавно читала историю парня, который по рецепту от Gemini создал вместо заправки для салата биотоксин....

это как так? 😱