Исследователи Apple выяснили, что «думающие» нейросети на самом деле не думают

Как мы удивлены.

Вчера одна научная работа наделала много шума. Группа из шести учёных из Apple опубликовала труд под названием «Иллюзия мышления», в котором разобрала, как именно работают режимы с «рассуждениями» у моделей OpenAI o1/o3, DeepSeek-R1, Claude 3.7 Sonnet Thinking и Gemini Thinking (в работе их называют Large Reasoning Models, LRM).

Если кратко, то вывод — эти модели не умеют думать, а по-прежнему пытаются использовать паттерны из базы, на которой они обучались.

Несмотря на сложные механизмы саморефлексии, эти модели не способны развить обобщаемые способности к рассуждению за пределами определённых порогов сложности. […] Эти открытия ставят под сомнение преобладающие представления о возможностях LRM и указывают на то, что современные подходы могут сталкиваться с фундаментальными барьерами на пути к обобщаемому рассуждению.

Шум, в основном, вокруг того, что Apple тут никому глаза не открыла. Но есть и имиджевая сторона: выход такой работы воспринимается как попытка принизить ценность LLM от лидеров индустрии, в то время как у самой Apple дела с этим направлением очень плохи.

Несмотря на это, у работы есть практическое значение. Например, исследователи выяснили, что при решении простых проблем LRM быстро находят правильный ответ, однако затем долго исследуют неправильные варианты, впустую расходуя вычислительные ресурсы. С повышением сложности проблем эта особенность разворачивается: сначала ИИ придумывает неправильные решения, и только спустя время «размышлений» исправляется и находит правильные.

Однако когда сложность проблемы вырастает существенно — в работе это игра «Ханойская башня», где не три блина, а 10 и более — даже у LRM способность давать правильные решения падает до нуля. Кроме того, идея «Щас накинем сюда больше компьюта, и оно справится» не работает: по странной причине, при росте сложности в какой-то момент количество затрачиваемых на размышление токенов начинает падать — при том что до заложенного в модель ограничивающего потолка ещё далеко.

Ещё из интересного — даже если моделям выдать готовый алгоритм решения сложных проблем, они не только могут облажаться, но и производительность их от этого не растёт. Хотя казалось бы: чтобы дойти до рабочего алгоритма, модели нужно затратить существенно больше ресурсов, чем просто выполнить уже заданные шаги. А ещё модели непоследовательны: в «Ханойской башне» с пятью блинами Claude 3.7 Thinking почти всегда идеально находит решение, требующее сделать 31 правильный ход подряд, а в «Переправе» с тремя объектами делает ошибку уже на четвёртом ходу, хотя правильное решение имеет всего 11 ходов.

Тут, кстати, исследователи и предполагают, что проблема непоследовательности в том, что решений «Переправы» в массиве изученных данных меньше, поэтому их сложнее реплицировать. То есть это косвенно доказывает, что модель не думает над решениями сама, а просто ищет в своей памяти нужные паттерны.

Прикладной вывод из работы: если ваш запрос к нейросети — простой, то лучше не включать режим «мышления». Так больше шансов на правильный ответ, да и получить его быстрее.

Подписывайтесь на Telegram-канал Радиорубка Лихачёва.