Бесплатно сокращаем расход токенов почти вдвое — Nvidia выкатила в опенсорс систему SoL-Pi

SoL-Pi — это система которая обладает четырьмя механизмами, которые исследователи отобрали из множества вариантов обвязки, протестировали и собрали в одну. SoL-Pi - здесь

Вы платите за токены. Каждый вызов агента, каждая итерация, каждый повторный запрос — всё это уходит в счёт. И половина этих токенов тратится не на результат, а на мусор: повторные действия, раздутый контекст, логи, которые никто не читает, промежуточные результаты, которые уже не нужны.

Nvidia выложила в открытый доступ SoL-Pi — систему, которая этот мусор убирает. Не одним трюком, а четырьмя механизмами, которые исследователи отобрали из множества вариантов обвязки, протестировали и собрали в одну систему.

SoL-Pi - здесь

Четыре приёма, каждый бьёт по своей статье расходов:

Повторные действия. Агент часто делает одно и то же дважды: перечитывает файл, который уже прочитал, вызывает инструмент с теми же параметрами. SoL-Pi это отслеживает и не даёт тратить токены на повтор.

Сжатие контекста. Длинные диалоги раздуваются. Система сжимает историю, оставляя только то, что влияет на текущую задачу. Не «выкинуть всё», а оставить нужное.

Сжатие результатов. Вывод инструментов — логи, дампы, ответы API — часто огромен, а используется на 10%. SoL-Pi режет его до релевантной части.

Сжатие логов. Логи нужны для отладки, но не для каждой итерации. Система хранит их отдельно и подтягивает только тогда, когда агент действительно к ним обращается.

На EdgeBench с GPT-5.6 Sol и Opus 5 система сократила расход токенов на 50% при сопоставимом качестве. Не «на 5%», не «на 12%». Вдвое.

Стоимость работы агентов упала примерно на 30%. Разница между 50% токенов и 30% стоимости — это разная цена входных и выходных токенов, кэширование и распределение по моделям.

Все говорят о том, какая модель умнее. Но в продакшене агент тратит деньги не на «интеллект», а на процесс. На итерации, повторы и раздутый контекст. SoL-Pi бьёт именно туда.

И это опенсорс. Не «премиум-фича за $200 в месяц», а система, которую можно поставить в свой пайплайн и не платить Nvidia за экономию.

Сопоставимое качество — не идентичное. Сжатие контекста и результатов всегда риск: можно отрезать то, что понадобится позже. На EdgeBench разницы не видно, но на ваших задачах её нужно проверять отдельно.

Это обвязка, а не модель. SoL-Pi не делает GPT-5.6 Sol или Opus 5 умнее. Она делает их дешевле. Если ваш агент ошибается, SoL-Pi не исправит ошибку — только сократит счёт за неё.

Бенчмарк — один. EdgeBench. Независимых прогонов на других наборах задач пока нет.

Nvidia не сделала модель лучше. Она сделала так, чтобы вы перестали платить за воздух. И отдала это бесплатно.

SoL-Pi - здесь