Self-Consistency Decoding: Как заставить AI проверять себя и выдавать точные ответы
Если нужен онбординг в тему RAG, то вот тут можно прочитать про то как он устроен в общем.
Ещё немного про оптимизацию RAG и работу с LLM
И про то, что текущий уровень развития технологии таков, что многие подходы формируются интуитивно. Обнаружили, что придумали Self-Consistency Decoding до того, как взялись за RAG :)
Что это?
Self-Consistency Decoding – это способ улучшить точность ответов LLM, заставляя её генерировать несколько вариантов и сравнивать их.
Обычно модель генерирует один ответ и сразу его выдаёт. Но если задать ей задачу разными способами, ответы могут отличаться. Иногда разница незначительная, а иногда – критическая.
Вместо того, чтобы слепо верить первому ответу, можно запросить несколько вариантов и выбрать наиболее надёжный – по совпадению ключевых фактов.
Вообще, подход супер простой и не требует никакой автоматизации – попробуйте его самостоятельно прямо в ChatGPT!
Допустим, у нас есть корпус договоров с подрядчиком, и мы хотим узнать, какие штрафные санкции предусмотрены за задержку сроков.
Как можно сделать через Self-Consistency Decoding:
Прочитай этот договор и выполни три шага:
1. Сначала выпиши все пункты, относящиеся к штрафным санкциям.
2. Затем объясни их разными словами тремя разными способами.
3. В конце определи, какие элементы совпадают во всех трёх версиях, и выдай окончательный вывод.
Если в двух версиях есть одна и та же цифра штрафа, а в третьей она другая – можно пересмотреть ответ. Модель сама проверяет себя перед тем, как выдать финальный результат.