Про память человеческую и рыбью AI агентов

Некоторые считают, что память - это единственное, что нас останавливает от создания AGI. Я обратил внимание, как похорошел chatGPT, когда в него добавили память и поэтому решил погрузиться глубже в тему. Еще в сентябре прошлого года я столкнулся с mem0, потом с memGPT (letta), но только сейчас решил разобраться.

3 мысли по теме:

1) Память - скачок в UX —> действительно, заметно улучшает UX взаимодействия с AI продуктами. Пожалуй, это огромный скачок в этом направлении именно для продуктов, где LLM управляет воркфлоу, а не он жестко задан, поскольку степеней свободы больше: например, агент, который регулярно готовит отчет по продажам, и у которого вы часто спрашиваете допразрез в разрезе версии браузера (o__O) может запомнить, что вы это просили, и в следующий раз именно для вас сразу его выдать вместе с основным отчетом. Больше не нужно под каждых чих просить новый dashboard.

2) Что запоминать? - память агента под капотом это RAG: векторная база + умный поиск/фильтрацию по ней. Челлендж не в этой части, ключевой челлендж - что именно запоминать. В простейшем случае это промпт, который инструктирует что запоминать. И это, по моему, сильно зависит от бизнес-домена: для одних агентов важно запоминать ваше имя, для других - противопоказано.

3) Что забывать? - должен ли агент забывать? На недавнем хакатоне разговорились на эту тему и было 2 позиции: не нужно забывать, решим на уровне поиска и фильтрации; если забывает - то что? Атрибуты компании могут устаревать быстрее, имя человека - практически нет. То есть время - не единственный параметр, влияющий на темп забывания, доменная область и юзкейс решают. Эдакий time to live (TTL).

Мне кажется, что именно 2 и 3 - ключевые вопросы дизайна AI агентов в части памяти, о чем и поговорим в том числе во 2м сезоне AI Product Engineer.

С удовольствием послушаю ваши мысли/опыт по теме и этим 2м вопросам, особенно если вы уже реализовали это в продакшне

P.S. Наа deep learning есть бесплатный миникурс по теме, кстати

Подписывайтесь на Telegram EDU.