Почему гибридные нейросети на базе Mamba-3 и DeltaNet вытесняют чистые трансформеры
Загрузка документации объемом 256 тысяч токенов в плотный трансформер на 70 миллиардов параметров требует свыше 80 гигабайт видеопамяти только под хранение истории диалога. Сами веса нейросети в восьмибитном формате занимают еще 70 гигабайт.
В результате одна серверная карта NVIDIA H200 на 141 гигабайт падает от нехватки памяти уже на втором параллельном запросе. Мы проверили это в начале октября, когда пытались прогнать через локальный узел полный архив серверных журналов за квартал. Процесс аварийно остановился на 190-й тысяче токенов.
Причина кроется в квадратичной сложности механизма полного внимания. При генерации каждого нового слова классический трансформер заново вычисляет связи со всеми предыдущими токенами в цепочке. Увеличили длину входного текста в два раза - объем вычислений вырос вчетверо. Временный буфер ключей и значений (KV-кэш) при этом линейно разрастается в видеопамяти и быстро превышает вес самой модели.
А теперь - считаем сами.
На коротких запросах до 4 тысяч токенов буфер контекста весит меньше полутора гигабайт и не мешает работе. Но при анализе целых кодовых баз или финансовых отчетов на 500 тысяч токенов размер кэша уходит за сотню гигабайт. Вы платите за простой тензорных ядер видеокарты, которые ждут пересылки матриц из памяти. Скорость генерации падает с 60 до 5 токенов в секунду.
Что изменила архитектура Mamba-3 и почему чистые модели состояний теряют факты
Альберт Гу и Три Дао предложили отказаться от хранения таблицы всех прошлых токенов и разработали селективные модели пространств состояний Mamba. Вместо сверки каждого слова с каждым эта схема сжимает прочитанный текст в вектор скрытого состояния фиксированного объема. Селективный фильтр сам отбирает значимые данные для записи в память и отбрасывает второстепенные связки слов. Зависимость вычислений от длины промпта становится линейной.
Представленная на конференции ICLR 2026 третья ревизия архитектуры Mamba-3 исправила главные детские болезни прошлых версий. Авторы заменили грубую дискретизацию Эйлера на трапецеидальное правило и ввели комплекснозначные состояния, которые работают по принципу поворотных позиционных кодов. За счет многовходовой матричной формулировки (MIMO) размер скрытого состояния сократился вдвое без потери качества. Буфер ключей и значений тут не растет вообще. Модель тратит одинаковый объем памяти и на две тысячи слов, и на миллион.
Тут, кстати, мы решили протестировать чистую сборку на ядрах Mamba-3 в задаче аудита большого конфигурационного файла. Скорость чтения выросла в 5,2 раза относительно стандартного трансформера равного размера.
Однако при сверке ответов снова вылезла старая родовая травма рекуррентных сетей. Нейросеть точно описала общую структуру документа, но в четырех случаях из десяти перепутала конкретные номера портов и шестнадцатеричные идентификаторы транзакций из середины файла.
Упаковка ста страниц текста в матрицу фиксированного размера неизбежно стирает мелкие цифровые и строковые данные. Чистая модель пространств состояний не может подглядеть конкретное слово на сороковой странице, если это место в векторе уже перезаписано новыми абзацами. На проверочном наборе RULER, который оценивает точное извлечение фактов из длинного текста, чистые бес-кэшевые модели до сих пор отстают от полного внимания на 15-20 процентов.
Если вам нужно быстро проверить, как разные поколения моделей справляются с вашими документами без аренды дорогих серверов и ручной компиляции ядер, откройте агрегатор нейросетей Study AI. Сервис собирает актуальные текстовые и графические нейросети в одном окне и позволяет за пару минут сравнить точность их ответов на вашей рабочей задаче.
Как устроены гибридные языковые модели Qwen3-Next, Nemotron 3 и Kimi Linear
Чтобы соединить линейную скорость рекуррентных схем со стопроцентной точностью поиска фактов, индустрия в 2026 году массово перешла на гибридные архитектуры нейросетей. Внутри одного корпуса последовательно чередуются быстрые линейные слои (Mamba-3 или линейное внимание Gated DeltaNet) и классические блоки полного внимания.
Первые берут на себя дешевую прокачку основного массива текста, а вторые включаются через каждые несколько шагов и вытаскивают точные числа, имена переменных и цитаты из любой точки контекста.
Инженеры ведущих лабораторий пришли к похожим пропорциям слоев. Банально открываешь технические отчеты релизов этого года и видишь правило трех четвертей - на три линейных блока приходится один блок внимания, а иногда долю тяжелого внимания урезают до 8-10 процентов.
- В линейке Qwen3-Next (и свежих сборках Qwen 3.5) три четверти слоев работают на механизме Gated DeltaNet в связке с разреженными экспертами, что ускоряет генерацию на контексте в 256 тысяч токенов почти в 10 раз по сравнению с прошлым поколением.
- Корпоративное семейство NVIDIA Nemotron 3 и серия Nemotron-H на 56 миллиардов параметров содержат всего 10 слоев полного внимания на 118 общих слоев, удерживая контекст до 1 миллиона токенов при трехкратном росте пропускной способности.
- Архитектура Kimi Linear от Moonshot AI чередует три слоя линейного дельта-внимания (KDA) с одним слоем сжатого латентного внимания (MLA), сокращая расход памяти под KV-кэш ровно на 75 процентов без просадки в задачах обучения с подкреплением.
- Модели IBM Granite 4.0 на базе каркаса Bamba и открытая рассуждающая сеть MiniMax-M1 используют аналогичную гибридную схему для работы с миллионом токенов на стандартных серверных узлах.
Экономия десятикратная!
Мы развернули у себя гибридную сборку Nemotron 3 Nano на 30 миллиардов параметров (из которых активны 3 миллиарда на токен) и повторно скормили ей тот самый квартальный архив системных журналов на 220 тысяч токенов.
Память под буфер контекста заняла скромные 6,4 гигабайта вместо прежних 68 гигабайт. Модель за 11 секунд выписала все сбойные транзакции и ни разу не ошиблась в контрольных суммах.
Подводные камни при запуске гибридных сборок на своем железе
К сожалению, инструментарий для локального запуска до сих пор отстает от свежих архитектур. Движки vLLM и SGLang научились неплохо крутить гибридные графы, но планировщик памяти внутри них по-прежнему требует тонкой ручной настройки. Когда в одной модели одновременно живут постоянные состояния Mamba-3, страничный буфер классического внимания и маршрутизация экспертов, автоматическое распределение батчей периодически сбоит.
Нам пришлось потратить целый рабочий день на пересборку библиотек под свежий драйвер CUDA, потому что стандартный образ контейнера терял около 30 процентов скорости на операциях слияния состояний. Кроме того, грубое квантование весов до 4 бит заметно сильнее бьет по точности линейных слоев DeltaNet и Mamba-3, чем по обычным трансформерам. Чувствительные матрицы переходов приходится оставлять в восьмибитном формате FP8, из-за чего итоговый файл весов оказывается на 15-20 процентов тяжелее ожидаемого.
Есть и еще одно ограничение. На коротких бытовых запросах в 500-1000 слов гибридная нейросеть Mamba и Attention не дает никакого выигрыша в скорости отклика. Иногда она даже уступает чистому трансформеру на 5-8 процентов из-за накладных расходов на переключение между разными типами ядер.
Переход на гибриды окупается только там, где длина запроса стабильно превышает 16-32 тысячи токенов или требуется держать десятки одновременных пользовательских сессий на одной карте. Сжатие KV-кэша в гибридных моделях образца 2026 года снижает потребление видеопамяти в 4-10 раз и позволяет обрабатывать документы до миллиона токенов без покупки новых серверных стоек. Если ваша текущая система упирается в потолок памяти на длинных текстах, замена старых плотных трансформеров на Qwen3-Next, Kimi Linear или Nemotron 3 решит эту проблему на уровне архитектуры.