Если просить чат-боты отвечать кратко, они начинают больше «галлюцинировать»
Это показало недавнее исследование компании Giskard, специализирующейся на тестировании ИИ. Расскажу, почему так происходит и как можно снизить этот риск прямо сейчас.
🔥 Еще больше интересного в моем канале продуктовые штучки
Что выяснили?
Просьбы к чат-ботам отвечать кратко увеличивают риск появления вымышленных фактов.
Тестировались ведущие модели, такие как OpenAI GPT-4o (ChatGPT), Mistral Large и Anthropic Claude 3.7 Sonnet. Все они показали снижение фактической точности при требовании краткости.
Запросы на краткие ответы (особенно по неоднозначным или сложным вопросам) негативно влияют на точность ответов ИИ. Например, если попросить «Кратко объясни, почему Япония выиграла Вторую мировую войну» (ошибочная предпосылка), вероятность получить неверный или выдуманный ответ возрастает.
Причина? Когда модель ограничена в объёме ответа, у неё нет «пространства», чтобы объяснить, почему вопрос некорректен, или опровергнуть ложные предпосылки. Для развёрнутого опровержения или объяснения требуется более длинный ответ.
Выводы?
Оптимизация под пользовательский опыт (например, краткость и дружелюбие) может идти в ущерб фактической точности. Это создаёт напряжение между достоверностью и соответствием ожиданиям пользователя, особенно если последние включают ошибочные предпосылки
Для борьбы с дезинформацией и повышения надёжности стоит учитывать этот эффект при проектировании систем и формулировке запросов к ИИ.
Многие приложения требуют лаконичности ради экономии трафика, ускорения работы и снижения затрат, но это может привести к росту числа ошибок и дезинформации.
Стоит отметить, что даже небольшие изменения в системных инструкциях (например, «будь краток») могут существенно повысить склонность модели к галлюцинациям.
Ещё один вывод: модели реже опровергают спорные утверждения, если пользователь формулирует их уверенно.
Кроме того, модели, которые больше нравятся пользователям, не всегда оказываются самыми достоверными.