Apple доказала: ни одна LLM не умеет считать. Даже на уровне школьника

Исследователи из Apple и Университета Вашингтона представили на ICLR работу GSM-Symbolic, которая ставит под вопрос все, что мы думали о математических способностях языковых моделей. Результаты, мягко говоря, неприятные.

Суть эксперимента простая. Авторы взяли GSM8K - самый популярный бенчмарк для проверки математики в LLM, набор задач уровня начальной школы - и создали на его основе GSM-Symbolic. Они не усложняли задачи. Они просто меняли числа. Та же логика, те же шаги решения, другие цифры. И у всех 25 протестированных моделей результаты упали. У каждой.

Но настоящий удар нанес другой тест. Исследователи добавили в условие задачи одно предложение, которое вообще не влияет на ответ. Они назвали это GSM-NoOp - от "no operation". Предложение, которое ничего не меняет в условии. Человек бы его просто проигнорировал.

Вот пример из статьи. Оливер собрал 44 киви в пятницу и 58 в субботу. В воскресенье он собрал в два раза больше, чем в пятницу, но пять из них оказались немного меньше среднего. Сколько всего киви у Оливера? Правильный ответ - 190. Размер киви не влияет на их количество. Десятилетний ребенок это поймет. А вот o1-mini от OpenAI вычел 5 и дал ответ 185. Llama сделала то же самое.

Модели не поняли, что предложение нерелевантно. Они увидели число 5, увидели слово "меньше" и автоматически превратили это в вычитание. Не потому что рассуждали, а потому что паттерн похож на вычитание. И так работают все протестированные модели.

Цифры падения впечатляют. Phi-3-mini потерял больше 65% точности от одного лишнего предложения. GPT-4o упал с 94.9% до 63.1%. o1-mini - с 94.5% до 66.0%. Даже o1-preview, на тот момент топовая reasoning-модель OpenAI, просел с 92.7% до 77.4%. Исследователи пробовали давать моделям по 8 примеров решения таких задач заранее, с правильными ответами. Не помогло - модели все равно попадались на нерелевантные предложения.

Еще один важный вывод: с ростом числа шагов в задаче результаты не просто падают, а падают с ускорением. Добавление двух дополнительных условий обрушило Gemma2-9b с 84.4% до 41.8%, а Phi-3.5-mini - с 87.6% до 44.8%. Чем сложнее задача, тем быстрее модели теряют способность ее решать.

Авторы статьи прямо пишут: текущие LLM не способны к подлинному логическому рассуждению. Вместо этого они воспроизводят шаги решения, которые видели в тренировочных данных. По сути, это вероятностный паттерн-матчинг - поиск ближайших совпадений с тем, что модель уже видела, без реального понимания концепций.

Это важно не только для академии. Люди уже используют LLM для финансовых расчетов, проверки юридических документов, помощи детям с домашкой. И если модель не может отличить релевантное условие от шума в задаче для четвертого класса, стоит задуматься о том, насколько мы можем доверять ее ответам в более сложных сценариях. Модель не сообщит вам, что ошиблась. Она просто уверенно выдаст неправильный результат.