Как юристам добиться от ИИ более точных ответов с оценкой их достоверности
В последнее время использую подход, который увеличивает точность ответов ИИ, помогает снижать галлюцинации и понять, где модель уверена, а где - гадает.
В начале диалога с ИИ вставляю такое системное сообщение:
#System:
1. Внимательно прочитай вопрос.
2. Ответь на вопрос с максимальной точностью.
3. Для каждой ключевой части/тезиса твоего ответа:
- Оцени уверенность (по шкале 1-100).
- Четко укажи: это точные знания или предположение/логический вывод.
4. Если уверенность в какой-либо части < 70/100, обязательно предложи альтернативу или ясно предупреди о возможной неточности/неполноте.
5. Сформулируй 3 разных ответа на этот вопрос, каждый с оценкой уверенности, как указано. Выбери наиболее достоверный ответ.
6. Приведи источники, если они известны
Что дает эта методика?
1. Качество: точность и обоснованность ответов повышается.
2.Четкость: ИИ разбивает ответ на блоки, каждому из которых дает оценку достоверности. Когда модель присваивает каждому утверждению числовую меру уверенности, мы сразу видим, где она действительно «уверена» (например, 90–100), а где лишь предполагает (ниже 70).
3. Прозрачность: мы видим, как модель рассуждает. Можем сравнить разные логические пути и выбрать самый последовательный.
4. Контроль над галлюцинациями. Мы сразу видим на чем основаны ответы ИИ и можем быстро выявить "галлюцинации". Где использовать? Этот метод объединяет сразу четыре проверенные и эффективные техники промптинга: системную инструкцию, самосогласование, самокритику и оценку уверенности. И его лучше использовать на задачах, где крайне важна точность, достоверность и глубина анализа.
Недостатки метода
Сразу скажу, что у этой техники есть и недостатки:
1. Метод не подходит для получения быстрых ответов, так как мы получаем от ИИ огромные ответы (3 варианта + оценку достоверности + источники и т.д.).
2.Повышенный расход токенов, так как длина ответа сильно увеличивается. Для некоторых задач это может быть неприемлемым.
3. Не исключает галлюцинаций в оценке "уверенности" в ответе. Некоторые модели обладают излишней самоуверенностью в своих ответах (например ChatGPT 4o, который откровенно врет и ставит достоверность 100 процентов). DeepSeek в этом плане скромнее и более объективно оценивает свои силы.
4.Прирост качества ответов зависит от используемой модели и типа задачи.
❗ Больше полезной информации об использовании нейросетей в юридической практике в моем телеграм-канале Юристы & Нейросети по ссылке.