🧠🤖 OpenAI наконец-то объяснила, почему ИИ галлюцинируют
Ребята из OpenAI выпустили интересное исследование про то, откуда берутся эти знаменитые галлюцинации у ИИ. Спойлер: проблема не в технологии, а в том, как мы учим модели!
Помните те забавные случаи, когда ChatGPT выдумывал несуществующие книги или придумывал факты на ходу? Так вот, исследователи OpenAI говорят, что это не баг, а фича 😊 из-за неправильного обучения.
Всё дело в системе оценки. Представьте себе экзамен, где за правильный ответ дают 1 балл, а за "не знаю" — 0. Что делает умный студент? Правильно, угадывает! И модель делает то же самое.
Если она скажет "Я не знаю" это ей гарантирует ноль баллов. По итогам тысяч тестовых вопросов модель, которая угадывает, выглядит лучше той, что честно признаёт неуверенность.
В общем, получается замкнутый круг: мы оцениваем модели по финальному результату, а не по процессу рассуждения. Модель понимает, что лучше что-то сказать, чем промолчать, даже если она не уверена.
OpenAI предлагает несколько решений:
- Позволить моделям воздерживаться от ответов, когда они не уверены — это значительно снижает частоту галлюцинаций. Звучит логично, неправда ли?
- Менять саму систему оценки. Вместо того чтобы награждать только за правильный финальный ответ, нужно поощрять каждый правильный шаг рассуждения. Это называется "процессным надзором" в противовес обычному подходу.
- Использовать RAG (поиск дополненной генерации) и калибровку. То есть научить модель лучше понимать, когда она может ошибаться, и подключать внешние источники информации.
Честно говоря, это исследование многое объясняет. Получается, что мы сами научили ИИ врать, потому что наказывали его за честность. Теперь понятно, почему GPT так уверенно фантазирует — мы его именно этому и учили!
Хочется написать, что "хорошая новость в том, что теперь мы знаем как исправить эту проблему", но нет. Нет пока сведений о том, что такие модели будут разрабатываться, нет понимания, а будут ли они вообще востребованы, они могут быть скучными и походить на старый добрый поисковик Google...
Хочется верить, что следующее исследование OpenAI, расскажет нам, почему GPT такие подхалимы 😊, видимо иначе с ними никто не захочет болтать... Но всё равно интересно это тоже фича или оно само собой так получилось 😊
Подписывайтесь на Telegram PromtScout.