Почему современные AI чат-боты продолжают “галлюцинировать”? Ответ от OpenAI
Всем знакомы моменты, когда чат-бот вроде GPT уверенно выдает неверную информацию, так называемые “галлюцинации”. Исследователи OpenAI и Georgia Tech представили свежий взгляд на эту проблему, который меняет привычные представления.
Оказывается, дело не в каких-то сверхсложных технических ошибках, а в том, как мы обучаем и оцениваем модели. Сейчас AI учат отвечать по системе “да-нет” (правильно-неправильно), и это побуждает их угадывать, даже если они не уверены. Представьте, что вы сдаёте тест с 4 вариантами ответа: если промолчать, ноль баллов, если ответить, то есть хоть какой-то шанс на успех. Боты этим пользуются и вместо честного “не знаю”, они делают ставку на догадки.
Авторы исследования предлагают сменить правила игры: добавить оценки, которые будут поощрять модели честно признавать, когда они не уверены, и отвечать только при достаточной уверенности. Например, если уверенность меньше 75%, лучше не отвечать вовсе и не рисковать ошибкой. Такой подход может серьезно сократить количество лживых ответов и сделать общение с ИИ более надежным.
Это не просто технический вызов, а социально-техническая задача, которую придется решать всем вместе: от разработчиков до пользователей и экспертов по оценке качества.
В итоге, если оценка AI изменится, мы сможем получить гораздо более честных и осознанных собеседников среди виртуальных помощников — и это отличный повод следить за развитием технологий.
Лично считаю, что ключ к решению проблемы галлюцинаций лежит в честности моделей и системе оценки. Пока ИИ “наказывают” за молчание и “поощряют” за уверенные догадки, они будут ошибаться и вводить в заблуждение. Нужно перестать считать, что главное это всегда отвечать, и научить ИИ признавать, когда он не знает точного ответа. Это гораздо важнее для надежности и доверия к искусственному интеллекту. Только так можно сделать технологии действительно полезными и безопасными.