Apple выкатила исследование, что Claude, DeepSeek-R1 и o3-mini, на самом деле... вообще не рассуждают. Они просто очень хорошо запоминают шаблоны.
Вместо того, чтобы использовать те же старые математические тесты, Apple протестировали эти модели на задачах, с которыми они никогда раньше не сталкивались – головоломки.
Результат: все модели «рассуждений» упираются в стену сложности, где полностью разрушаются до точности 0%
В Apple обнаружили, что эти модели вообще не рассуждают, а вместо этого выполняют сложное сопоставление шаблонов, которое отлично работает, пока сами шаблоны не становятся слишком сложными.
По мере того, как они становились сложнее, эти «мыслящие» модели на самом деле начинали думать меньше, использовать меньше токенов и быстрее сдаваться в ответе, несмотря на неограниченный бюджет и вычислительные мощности.
Подписывайтесь на Telegram-канал Product Management & AI.