Как работает память ChatGPT и Claude?

Исследователь Мантан Гупта опубликовал два блога, в которых разобрал, как устроена память в приложениях ChatGPT и Claude. Мантан сразу оговорился, что доступа к технической документации у него нет, поэтому все знания он получил, расспрашивая сами модели. Я вчера поэкспериментировал – работает примерно так, как описано в блогах. Зная эту информацию, можно пользоваться памятью эффективнее.

Начнем с азов. Современные ИИ не обладают непрерывным мышлением и глобальной памятью. Долгое время при открытии нового чата модель стартовала с нуля, обладая лишь знаниями, которые заложили в нее при обучении, а также информацией из промпта. Затем появилась идея – раз на текущем уровне технологий нельзя реализовать глобальную память, то стоит сделать хотя бы отдельную память о пользователе, на которую ИИ будет опираться в будущих диалогах. Сказал, что поступил на новую работу – ИИ это запомнил и будет иногда спрашивать, как там дела.

Реализована память очень просто, без модных RAG и векторных баз данных. Если функция включена, то обе модели начнут вести список фактов о вас: обычный текстовый документ, который ИИ читает перед тем как дать ответ.

Хотя бы раз в месяц перечитывайте эти заметки. ИИ редко удаляют устаревшую информацию, поэтому в примере с новой работой модель может залипнуть и продолжить так думать и через полгода. У ChatGPT можно удалять устаревшие факты. Claude нужно в чате написать, что именно исправить в памяти (с ChatGPT такой вариант тоже работает).

Далее идет память по чатам – и она реализована очень по-разному. ChatGPT создает короткие конспекты последних чатов и перечитывает их перед каждым ответом. Мантан утверждает, что конспектируется 15 чатов, у меня получилось 20+ за последние три дня.

Более ранние чаты ChatGPT не помнит. Даже если попросить его вспомнить про конкретный чат, например, месяц назад, то модель начнет оправдываться, что не может. С одной стороны, такой подход экономит ресурсы и в некоторых случаях помогает модели быть в крусе, что происходит с вами сейчас.

Например, если вы путешествуете по другой стране, то будете часто задавать вопросы касательно поездки - модель под это подстроится и начнет давать более полные ответы. Но если раз в неделю просите собрать подборку новостей о науке – эта привычка с большой вероятностью вылетит из “знаний” модели.

У Claude другой подход. ИИ ищет по всем чатам вообще, как мы делаем это, например, в Google: составляет запрос и прогоняет полнотекстовый поиск. Теоретически это дает доступ к большему объему информации, но Claude надо сообразить, когда воспользоваться поиском, и правильно написать запрос.

Теперь к практике. Если вы хотите, чтобы ChatGPT или Claude знали какую-то информацию о вас, то лучше не надеяться на автоматику и прямо попросить модель запомнить. Особенно это важно с ChatGPT, так как тут ИИ автоматически помнит только самые последние чаты – и полезная информация будет быстро вылетать из его головы.

Claude иногда не помешает настойчиво попросить поискать что-то в памяти. Я использую его для экспериментов с текстами и могу начать новый диалог с просьбы вроде “Посмотри в памяти, как мы пишем цепляющие заголовки” – модель выводит набор правил, по которым можно начинать работать.

В последнее время много читаю, что развитие ИИ замедляется. Вот пример, куда двигаться дальше. Сейчас ChatGPT и Claude просто подглядывают в “блокнотик”, где хранятся данные о пользователе – ну и немного ищут по чатам. Это полезная функция, но она далека до настоящей персонализации. Сэм Альтман как-то говорил, что памяти уделят особое внимание в разработке GPT-6 – посмотрим, как получится!

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.