"Бенчмарки памяти ИИ-агентов устарели. Вот что пришло на замену"

Если вы когда-нибудь выбирали систему памяти для ИИ-агента, то наверняка видели графики с LoComo и LongMemEval — двумя главными бенчмарками в этой области. Accuracy 85%, побили SOTA, красивая таблица в README.

Проблема в том, что эти бенчмарки врут. Не специально — они просто из другой эпохи.

LoComo и LongMemEval проектировались, когда контекстное окно модели — 32 тысячи токенов. Длинный разговор не помещался в контекст. Нужна была система, которая извлечёт нужные фрагменты. Бенчмарк это и тестировал.

Сейчас у моделей миллионные контекстные окна. Берём весь датасет LoComo, запихиваем в контекст целиком — и получаем конкурентные результаты. Без всякой системы памяти. Просто потому, что retrieval на таких объёмах — тривиальная задача.

Бенчмарк, который не отличает продуманную архитектуру от «запихни всё в промпт», бесполезен.

Команда Vectorize выпустила Agent Memory Benchmark (AMB) — открытый бенчмарк, который оценивает память по четырём осям:

**Точность** — правильно ли агент отвечает. Двухступенчатая оценка: Gemini генерирует ответ, второй Gemini его судит. Все промпты опубликованы.

**Скорость** — сколько времени на загрузку и извлечение. Время retrieval отделено от inference.

**Стоимость** — токены на операцию. Система с 90% accuracy и ценой $10/день на пользователя хуже системы с 82% и ценой $0.10.

**Удобство** — сколько инфраструктуры нужно для запуска. Три провайдера + граф-база — это не «лучшее решение», это кошмар в production.

Вторая проблема старых бенчмарков: они построены вокруг чатбот-сценария. Два человека поболтали, модель отвечает на вопросы о разговоре.

Реальные агенты работают иначе. Они вызывают API, читают документы, выполняют многошаговые задачи. Память через tool calls, синтез знаний из исследований, учёт предпочтений через неделю после их озвучивания — ничего этого старые бенчмарки не тестируют.

AMB добавляет датасеты для агентных сценариев. Пока на основе PersonaMem, архитектура расширяемая.

Главное правило AMB: единственный достоверный результат — тот, который можно воспроизвести. Код открыт, промпты опубликованы, изменение одного слова в промпте судьи может сдвинуть accuracy на 15 пунктов — и авторы это признают.

Запуск — три команды:

``` cp .env.example .env uv run amb providers uv run amb run --dataset personamem --domain 32k --memory bm25 ```

Результаты в JSON, есть веб-просмотрщик.

Авторы AMB — Vectorize, создатели коммерческой системы памяти Hindsight. Они этого не скрывают. Противовес — полная открытость кода и данных. Каждый может прогнать бенчмарк и проверить, не подкручены ли весы.

Код: [GitHub](https://github.com/vectorize-io/agent-memory-benchmark) | Лидерборд: [agentmemorybenchmark.ai](https://agentmemorybenchmark.ai)

А как вы оцениваете память своих агентов? Или пока на «вроде работает, не трогай»?