Google представил TurboQuant: как большие языковые модели стали экономить память в 6 раз без переобучения

Google придумал, как сократить расход памяти в ИИ-моделях в 6 раз и ускорить их работу до 8 раз — без переобучения. TurboQuant уже меняет правила игры для чат-ботов и продакшена.

Специалисты Google Research выпустили TurboQuant — алгоритм, который сильно снижает расход памяти в больших языковых моделях. Он уменьшает объём специальной памяти модели (хранилища ключ-значение) минимум в 6 раз. При этом скорость обработки запросов вырастает до 8 раз. Главное преимущество: модель не требует переобучения или дополнительной настройки.

Специальная память модели — это как блокнот, куда ИИ записывает контекст беседы или запроса, чтобы не забывать предыдущие слова. Чем длиннее текст, тем больше места в этом блокноте нужно, а значит, больше памяти графического процессора — и выше затраты в рабочих системах. TurboQuant решает задачу двумя простыми шагами.

Сначала PolarQuant преобразует записи в блокноте в полярные координаты: вместо кучи отдельных чисел — просто длина и угол. Это избавляет от лишних деталей и делает хранение очень компактным.

Затем QJL вносит минимальные корректировки на мелкие неточности — всего 1 бит на канал. Результат: вместо 32 бит на запись — лишь 3. Качество обработки текста в моделях сохраняется на исходном уровне, даже для очень длинных текстов, как в тестах LongBench и ZeroSCROLLS.

На графических процессорах Nvidia H100 алгоритм обеспечил 8-кратное ускорение обработки по сравнению с базовой 32-битной версией. Специальная память сжимается в 6–8 раз. Тестировали на моделях Gemma и Mistral. Кроме того, в задачах поиска похожих записей TurboQuant превосходит конкурентов: точность высока, а создание справочника не занимает почти никакого времени.

Исследование опубликовано на arXiv в апреле 2025 года и представлено на конференции ICLR 2026, а также подробно описано в официальном блоге Google Research.

TurboQuant — готовое решение для внедрения: достаточно добавить слой под модель. Не нужны данные для настройки, что идеально для реальных сервисов. В электронной коммерции чат-боты станут быстрее и дешевле, в финансовых технологиях — надёжнее для систем с расширенным поиском и семантикой, а в рекомендациях сэкономит на оборудовании

Если вы используете искусственный интеллект в работе, это отличный способ оптимизировать инфраструктуру без потери качества. Ждём открытой версии — она сильно упростит задачу разработчикам.