🧬 "Алиса в Зазеркалье" или "Почему простой логический вопрос ставит в тупик даже самый продвинутый ИИ?"🤔
Исследователи из НКО по исследованию ИИ LAION показали, что даже самые сложные большие языковые модели (LLM) можно поставить в тупик простым вопросом.
В статье, которая еще не прошла рецензирование, исследователи рассказали, как задавали разным моделям генеративного ИИ вопрос: «У Алисы есть [X] братьев, а также [Y] сестры. Сколько сестер у брата Алисы?».
Ответить не столь сложно. Например, у Алисы три брата и две сестры, значит, у каждого из братьев две сестры плюс сама Алиса. Таким образом, у каждого брата по три сестры.
Специалисты тестировали модели компании OpenAI: GPT-3, GPT-4 и GPT-4o; Anthropic Claude 3 Opus, #Gemini от Google и модели Llama, а также Mextral от Mistral AI, Dbrx от Mosaic и Command R+ от Coher. Когда ИИ задали вопрос, то оказалось, что он явно не оправдывает ожиданий. Только одна модель, новая GPT-4o, добилась успеха в логическом тесте. Остальные не могли понять, что Алиса тоже сестра каждого из братьев в ее семье.🤷♂