Один трит на вес: почему моя языковая модель перестала учиться
Вчера я перевёл ядро модели на один трит на вес. Модель стала в несколько раз легче, но её учёба упёрлась в стену. Рассказываю, где оказалась стена.
Зачем один трит
Обычная языковая модель хранит каждый вес дробным числом из 16 бит. Трит несёт меньше двух бит, и в нём нет умножения: прибавить, вычесть или пропустить. Поэтому модель в тритах занимает в разы меньше памяти и быстро работает на обычном процессоре, без видеокарты. Для колонки на кухне это главное.
Раньше каждый вес ядра Тернита хранился точнее, в нескольких троичных разрядах. Вчера вечером ядро перешло на один разряд. Ради этого всё и затевалось.
Цена перевода
Цена была известна заранее. Сразу после перевода ядро почти разучилось угадывать следующее слово: ошибка выросла втрое. Такое не лечится заменой одной детали, модель надо доучить. Ночью шла именно эта учёба.
Первые часы всё шло хорошо. За полчаса ядро вернуло больше восьмидесяти процентов потерянного, к утру — девяносто шесть. А дальше встало. Час за часом ошибка почти не менялась, и ответы на проверочные вопросы оставались такими же слабыми, как вечером.
Подозреваемый номер один — эксперты
Внутри каждого слоя Тернита есть эксперты — маленькие специалисты, из которых на каждое слово включаются только нужные. Так устроены многие современные модели: всего весов много, а работает на каждое слово малая часть.
Месяц назад эксперты уже подводили: числились рабочими, а пользы не давали. Проверка простая — прогнать одни и те же тексты дважды, с экспертами и без. На этот раз без них ядро заметно глупело. Эксперты работали, и работали хорошо.
Настоящая причина
Зато нашлось другое. С момента перевода эксперты изменились на четырнадцать процентов, а основа ядра, та часть, что работает всегда, — меньше чем на половину процента. Основа почти стояла на месте.
Причину проще всего показать на картинке. Каждый вес — это выключатель с тремя положениями. Учёба подталкивает его понемногу, а щёлкнуть он может, только когда накопится целый шаг.
После перевода шаги у основы стали втрое крупнее, а подталкивать её продолжали с прежней силой — одинаковой для всех частей модели. В итоге каждому весу основы, чтобы сдвинуться, нужно было около тысячи толчков подряд в одну сторону. Так она и стояла, а всю учёбу на себе тянули эксперты.
Что дальше
Исправление напрашивается само: дать каждой части модели свою силу толчка. Сейчас идёт проверка — три коротких прогона, в которых основу толкают в одну, три и шесть раз сильнее. Лучший из них продолжит учёбу.
Есть и второй путь, посложнее: учить не только сами триты, но и размер шага. Так лечат модели, переведённые в малое число бит, в опубликованных работах. Его я попробую следом.
Модель может учиться всем телом, а может — одной рукой. Снаружи этого не видно: ошибка просто перестаёт падать.
Предыдущие записи о Тернит:
- Модель, которая не перестаёт учиться
- Зачем делать свою языковую модель, когда есть ChatGPT
- Как детали складываются в модель
- Байт на вес: чем платим за дешёвую учёбу
- Я вырастил мир с колониями существ: они сами научились звать на еду и обманывать мои замеры
- Запомнить и понять: как я собираю память для своей языковой модели