AGI ближе, чем кажется: Google Titans и бесконечная память

Кажется, ещё вчера мы удивлялись «большим» языковым моделям, а сегодня Google quietly выкатывает Titans – архитектуру, которая не просто читает данные, а учится на лету. Это уже не наращивание контекста, а качественный сдвиг к живым агентам.

Что изменилось

Titans обновляют собственные веса прямо во время инференса
Память фактически безгранична: важные факты оседают в параметрах, а не в буфере
DeepSeek OCR сжимает знания визуальными токенами, а Titans делают ставку на непрерывное обучение

Как модель решает, что хранить

Встроенный surprise metric смотрит на градиенты
Предсказуемое пропускается – после «Мама мыла» никто не хранит «раму»
Неожиданность или ценная информация вызывают всплеск «сюрприза» – и вес запоминает новое

Джефф Хокинс в книге «1000 мозгов» писал: только когда привычное меняется, наш мозг выходит из спящего режима, чтобы переписать программу. Titans звучат подозрительно похоже.

Если интересно, почитай Хокинса – там много ответов на вопрос, почему «сюрприз» работает лучше, чем простое запоминание всего подряд.

Подписывайтесь на Telegram AI Adepts.