Галлюцинации ИИ в работе фактчекера

ИИ-тексты ругают за «воду», неуникальность, детскую примитивность и т.д. Это не самое страшное, чинится хорошими промптами и редактурой. Хуже, когда LLM галлюцинируют, т.е. выдают ложные ответы даже на самый классный промпт. Нейронка способна придумать нереальные личности, компании, города, события и т.д. Иногда выглядит правдоподобно, вот почему необходим тщательный #фактчекинг.

Заметил я и другое вредоносное свойство LLM. С какого-то момента нейросеть как бы «устает» и начинает галлюцинировать все чаще, выдавая один неверный ответ за другим. Выход из такой ситуации только один: закрыть чат и больше в него не возвращаться, предварительно скопировав все диалоги. Это грустно, поскольку в чате накоплен большой опыт (важный для обучения языковой модели), развита тема, появились перспективные ветки диалога, сделано немало ценных находок. Но доверять ответам «уставшего» ИИ рискованно.

Так, в работе с одной LLM мне попался очевидный бред. Чат сообщил, будто армянское shnorhavor («поздравляю») произносится как «шнорацалютцюн», что на самом деле является примерным произношением армянского «спасибо». Неправильная транскрипция – маркер галлюцинирования. В дальнейшем ошибки посыпались, как из рога изобилия, но они были менее очевидны, их выявила специальная перепроверка. Пришлось начать новый «армянский чат».

Принимать сгенерированный контент за чистую монету опасно. На каждый чат заведите текстовый файл, в котором записывайте все свои вопросы к ИИ и под этими вопросами копипастом вносите все сгенерированные ответы, комментарии и результаты проверок. Фиксируйте вопросы-ответы по мере развития диалога и перепроверяйте полученную информацию, стараясь при этом не накапливать много непроверенных ответов. Как только проверка выявит неточность, чат становится бесполезен.