🧩🧠 Марковское мышление: как ИИ учится думать дольше, но быстрее
Мне попалась забавная исследовательская работа ребят из Mila — они предложили технику, которую называют Markovian Thinking, и она может изменить сам принцип того, как большие модели рассуждают.
Суть в том, что обычное «долгое мышление» (chain-of-thought) заставляет модель постоянно возвращаться ко всему, что она уже сказала — контекст растёт, вычисления взрываются.
А новый подход предлагает разбивать рассуждение на небольшие фрагменты — чанки, и после каждого шага сохранять только самое важное: краткое резюме состояния мысли.
Это превращает процесс из квадратичного в линейный: теперь чем дольше думаешь — тем больше прогресса, а не затрат. Модель не носит с собой всё прошлое, а лишь аккуратно складирует и передаёт следующему шагу рассуждения.
В экспериментах даже относительно небольшая модель в 1,5 млрд параметров смогла рассуждать на 24 000 токенов, работая стабильнее и дешевле, чем классический LongCoT-подход. Авторы говорят о пути к «миллион-токенному» ИИ — не за счёт гигантского контекста, а за счёт структурированного мышления.
Мне это кажется сдвигом в парадигме:
- не гонка за длиной контекста, а поиск того, как модель может думать локально, но последовательно;
- не масштаб ради масштаба, а архитектура ради эффективности.
Если эта идея приживётся, то агентные системы смогут размышлять сутками — не теряя нить и не убивая дата-центры.
Подписывайтесь на Telegram PromtScout.