ChatGPT хорошо умеет обманывать
OpenAI разработала новый бенчмарк SimpleQA для оценки достоверности ответов больших языковых моделей (LLM). Результаты, мягко говоря, неутешительные. Даже самые продвинутые модели демонстрируют удручающе низкую точность.
Низкая точность и завышенная самооценка
Тестирование флагманской модели OpenAI, o1-preview, показало всего 42.7% правильных ответов. Другими словами, вероятность получить неверный ответ выше, чем правильный.
Конкуренты показали еще более низкие результаты. Например, Claude-3.5-sonnet от Anthropic ответила верно лишь на 28.9% вопросов. Впрочем, эта модель чаще отказывалась отвечать, демонстрируя осознание собственной некомпетентности. Что, пожалуй, в данной ситуации плюс. Тревожным открытием стала склонность моделей переоценивать свои способности, выдавая ложь с абсолютной уверенностью.
Галлюцинации остаются проблемой
"Галлюцинации" — изящный эвфемизм, придуманный разработчиками для обозначения тенденции LLM генерировать полную чушь.
Несмотря на высокий риск получить выдуманную информацию, LLM активно используются везде: от написания домашних заданий до генерации кода в крупных технологических компаниях. И проблемы не заставили себя ждать
Кстати недавно выяснилось, что ИИ, используемый в больницах и основанный на технологии OpenAI, регулярно допускает неточности и "галлюцинирует" при транскрибировании диалогов с пациентами. Еще более пугающая тенденция — внедрение ИИ в правоохранительные органы... что может привести к ложным обвинениям и усилению предвзятости.
Стоит заметить, что факт галлюцинаций не мешает крупным компаниям продолжать инвестиции в ИИ.
Инструмент для оценки фактологичности
OpenAI опубликовала SimpleQA — новый набор данных, содержащий 4326 фактологических вопросов с проверенными ответами, разработанный для оценки достоверности LLM.
В отличие от устаревших тестов типа TriviaQA и NQ, SimpleQA представляет серьезную задачу даже для самых современных моделей.
OpenAI призывает исследователей использовать SimpleQA для дальнейшего развития более надежного ИИ.
Если посмотреть шире, то результаты SimpleQA — тревожный звонок. Они подтверждают, что доверять LLM слепо нельзя. Любой сгенерированный текст требует тщательной проверки. А вот новости ИИ на канале Нейро Примус пишутся и проверяются настоящими энтузиастами современных технологий, тут подвоха нет.