Запомнить и понять: как я собираю память для своей языковой модели
Обычная языковая модель после обучения ничего нового не запоминает. Всё, что ей пишут, живёт во временном окне и пропадает, как только разговор кончился. Я делаю модель Тернит, которая должна запоминать прочитанное сама, сразу и надолго. За осень у меня накопилось несколько подходов к этой задаче, и сейчас они складываются в одну систему.
Почему модель забывает
Всё, что модель знает, лежит в её весах — миллиардах чисел, которые настраиваются при обучении. Обучение идёт один раз, долго и дорого, а потом веса замирают. Когда вы даёте модели документ, она читает его в окне, как текст на столе перед глазами: пока лист лежит, она по нему отвечает, а убрали лист — и ничего не осталось.
Можно доучить модель на новом тексте, но тут вылезает старая беда: доучивание стирает старое. Модель, которую научили новому, начинает хуже делать то, что умела. Поэтому большие модели обычно не доучивают по каждому документу, а подкладывают нужный текст в окно при каждом вопросе.
Как с этим справляется мозг
Летом я делал проект Организм — программу, устроенную по образцу мозга. Память там была двух видов. Быстрая, похожая на гиппокамп, запоминала с одного раза, и сильнее всего то, что оказалось неожиданным. Медленная, похожая на кору, училась долго и основательно. А во «сне» частое и важное переходило из быстрой памяти в медленную и становилось навыком.
В июле я проверил этот «сон» на опыте. Медленное рассуждение из нескольких шагов после него превращалось в один быстрый навык и почти без потерь работало на задачах, которых система раньше не видела.
Схема не моя: быструю и медленную память мозга описали Макклелланд, Макнотон и О’Райли ещё в 1995 году. Но она хорошо объясняет, почему человек не забывает старое, когда узнаёт новое: новое сначала ложится в быструю память, а в медленную переходит понемногу, вперемешку со старым.
Попытка первая: выучить книгу наизусть
В начале октября я сделал для Тернита орган памяти — отдельную часть, которая учится запоминать текст, не трогая основную модель. Ядро, та часть Тернита, которая понимает текст и пишет ответы, при этом не меняется.
Орган выучил учебник по Python, около шести с половиной тысяч строк, и после перезапуска вернул его слово в слово. Без органа модель этого текста не знала, а чужой кусок памяти нужного места не вспоминал. Память по каждому куску лежала отдельно: её можно было добавить, сверить с оригиналом и стереть по команде.
Но у этого способа два недостатка. Он медленный: книга училась чуть больше часа на одной видеокарте. И это зубрёжка: орган повторяет текст, но не умеет им пользоваться.
Попытка вторая: не зазубрить, а понять
Параллельно шла другая линия — вклейка. Это небольшая добавка к весам модели, которая пишется за одно прочтение текста. Проверял я её на открытой модели того же размера, что будущая моя.
Факты вклейка запоминала почти идеально: 178 ответов из 180 без текста перед глазами. С правилами вышло хуже. Я придумал двадцать правил и сто задач на их применение. С правилом перед глазами модель решала 88 задач, а с вызубренной вклейкой — 21. Модель знала правило наизусть, но не умела им пользоваться.
Помогло учить вклейку не повторять текст, а отвечать. Модель с текстом перед глазами сама задавала себе разные вопросы и задачи и отвечала на них, а вклейка училась отвечать так же, только без текста. Ещё несколько посторонних вопросов научили её молчать, когда спрашивают не о ней. Результат — 71 задача из 101 без текста: четыре пятых того, что модель решает с текстом перед глазами.
Одна система из всех
Каждая из этих линий хороша в своём. Учебник запоминается точно, и его можно проверить и стереть. Вклейка понимает прочитанное. Организм дал общий план: быстрая память, медленная и «сон» между ними. Теперь из них собирается одна система.
Прочитанный текст сразу ложится в хранилище дословно. Это правда, по ней проверяют ответы и берут точные цитаты, имена и числа.
Орган памяти за одно чтение записывает прочитанное в свои веса, сильнее всего неожиданное, как гиппокамп. Каждый документ получает свой участок памяти: так его можно проверить, отключить и забыть, не задев остальные. Учится орган так же, как училась вклейка: на вопросах, которые модель с текстом перед глазами задаёт сама себе.
Когда приходит вопрос, орган выкладывает нужное на общий стол — рабочее место, которое видит ядро, — и ядро отвечает. Ядро при этом не меняется, а значит, ничего не забывает.
Следующим шагом будет «сон»: частое и важное из органа будет медленно переходить в само ядро, вперемешку со старым, чтобы не стирать его. Тогда учиться чтением будет вся модель.
Что здесь нового, а что нет
Сама идея памяти, которая учится прямо во время чтения, старая. В 1991 году Юрген Шмидхубер описал сеть, которая по ходу чтения переписывает веса другой сети. В 2010 году Томаш Миколов доучивал языковую модель прямо на тексте, который она читает. С тех пор вариантов было много.
Новое здесь — сборка: память по документам, которую можно проверить и стереть по одному, дословный текст рядом и ядро, которое при этом не меняется. И ещё одно: веса Тернита — числа −1, 0 и +1, и учатся они целыми счётчиками, без тяжёлых дробных копий. Это нужно, чтобы такая память могла учиться не только в дата-центре, но и дома, на обычном компьютере.
Где я сейчас
Механика записи уже работает: орган точно сохраняется и восстанавливается, неудачную запись можно откатить, а на нарочно испорченную механику срабатывают проверки. Орган подключён к ядру и получает от него ровно то, что ядро видит само. Сейчас он начинает учиться читать на обычной домашней видеокарте.
Ровно такой сборки ещё никто не публиковал, поэтому заранее обещать результат я не буду. Первые часы учёбы покажут, получится ли.
Точно запомнить и понять — разные задачи. Мозг решает их разными частями, и Тернит теперь тоже.
Предыдущие записи о Тернит: