Да, это проверяется вопросами на логику или например предоставлением инструкций, которые я могу понять и выполнить, и дать ответ на их основе. Языковые модели с этим не справляются. На таких вещах вылезает "стохастический попугай" и выдаёт бред.
Можно например попросить посчитать буквы в предложении. С такой задачей обычно справится даже ребёнок, но у того же GPT-4 с этим большие трудности.
А вы понимаете смысл слов? Или ваш мозг обманывает вас, создавая иллюзию «понимания»?)
Я боялся, что кто-то эту тему начнет) она нас может увести очень далеко и в конце концов окажется, что да, это все иллюзия)
Да, это проверяется вопросами на логику или например предоставлением инструкций, которые я могу понять и выполнить, и дать ответ на их основе. Языковые модели с этим не справляются. На таких вещах вылезает "стохастический попугай" и выдаёт бред.
Можно например попросить посчитать буквы в предложении. С такой задачей обычно справится даже ребёнок, но у того же GPT-4 с этим большие трудности.