Google предложила «сон» для языковых моделей – отдельный этап, на котором ИИ закрепляет новые знания и тренируется на собственных примерах.

Проблема непрерывного обучения – катастрофическое забывание: усваивая новую информацию, модель может потерять ранее освоенные навыки. А знания из контекстного окна сами по себе не становятся постоянной памятью.

В SLEEP чередуются два режима:

Бодрствование: модель взаимодействует с входными данными и сохраняет информацию в краткосрочной памяти.

Сон: приём новых данных приостанавливается. Модель активирует дополнительные блоки памяти MoE и переносит знания в их веса, уменьшая вмешательство в уже закреплённую информацию. После этого временная память освобождается.

Есть и этап «сновидений»: случайные сочетания экспертов генерируют тренировочные примеры. Система отбирает наиболее полезные и использует их для дальнейшего обучения.

Что показали эксперименты команды:

- BABILong: работа с информацией из последовательностей до 10 млн токенов через её закрепление в параметрах.

- Последовательное обучение переводу: почти нулевое падение результатов на ранее изученных языках.

- Математика: точность 79,2% на AIME 2024 и 69% на AIME 2025.

«Сон» здесь – управляемый цикл дообучения по заданным исследователями правилам. Архитектура и код модели остаются фиксированными.

https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning/