Есть ли сны у нейросети? Инженеры работают над этим!
Китайская MemTensor развивает MemT 1.0, закладывая фундамент для того, что хочется назвать «сновидениями» ИИ.
Идея напоминает работу человеческой памяти. После взаимодействия модель обновляет внутреннюю память, чтобы использовать информацию в следующих ответах.
Вы закрыли чат. Для вас разговор закончился. А для ИИ начинается другая работа: сохранить важное из этого разговора и вплести его в накопленную память.
1. Консолидация памяти: образ медленного сна
Во время медленного сна мозг участвует в закреплении воспоминаний. Как объясняет NIH, для работы памяти важны и медленная, и быстрая фазы. В MemT мы видим инженерную параллель: после взаимодействия новая информация записывается во внутреннее состояние памяти. Основные веса модели при этом остаются прежними.
2. «Сновидения»: образ REM-сна
С быстрой фазой сна связаны особенно яркие сновидения. Для ИИ похожим шагом стала бы генерация собственных синтетических примеров, своего рода «снов», с последующей проверкой и обучением на них. У MemT такой режим пока не показан. Самостоятельное приобретение опыта и его постоянное объединение между задачами авторы называют направлением дальнейшей работы.
Проще говоря: представьте модель, которая создает ситуации, с которыми еще не сталкивалась, и учится их решать. Как человек, который во сне проигрывает возможные сценарии. Именно к такой перспективе ведет идея машины с накапливаемым опытом.
Сохранить пережитое. Переработать его. Проснуться с изменившимся опытом.
Представьте: вечером ваш помощник застрял на проблеме. Ночью перебрал варианты, проверил их в симуляции и утром принес работающую идею. Сегодня инженеры MemT делают первые шаги к этой реальности.