Claude Fable 5 на самом деле не понимает текст. И вот красивое доказательство.

Тест Beninatto-Trombetti - это переводческий тест для профессиональных переводчиков. Он проверяет не буквальную замену слов, а умение понять контекст, изменить поверхностную форму и выйти за пределы дословного соответствия.

Например, правильный перевод фразы:

“Solo 3 parole: non sei solo”

будет не:

“Всего 3 слова: ты не один”

а:

“Всего 4 слова: ты не один.”

Если модель действительно понимает предложение, она должна обновить и метаязыковое утверждение внутри него: в переводе слов становится уже не три, а четыре.

Claude Fable 5, вероятно, одна из самых продвинутых LLM на сегодня. И всё равно она проваливает этот простой тест.

До AGI всё ещё далеко.