CALM это все равно что перестать говорить азбукой Морзе… и сразу перейти к разговору через «широкий поток мыслей».

Пока Трамп переговаривался с Си китайцы просто «стянули» очередную технологию у американцев.

Tencent + Tsinghua опубликовали статью под названием Continuous Autoregression Language Models (CALM), и она, по сути, уничтожает парадигму “следующего токена”, на которой строится каждый LLM.

Вместо того, чтобы прогнозировать «один токен за один раз», CALM прогнозирует непрерывные векторы, которые представляют несколько токенов одновременно.

Смысл: модель не думает “слово за словом”… она продумывает идеи на каждом шаге.

Вот почему это прорыв:

→ в 4 раза меньше шагов прогнозирования (каждый вектор = ~4 токена)

→ на 44% меньше вычислений для обучения

→ Нет дискретной лексики, только непрерывные рассуждения

→ Новая метрика (BrierLM) полностью заменяет perplexity

Они даже создали новый энергетический трансформатор, который обучается без softmax, без выборки токенов и без ограничения словарного запаса.

Это все равно что перестать говорить азбукой Морзе… и сразу перейти к разговору через «широкий поток мыслей».

Если так пойдет и дальше, то все современные магистратуры устареют.