Вчера я перевёл ядро модели на один трит на вес. Модель стала в несколько раз легче, но её учёба упёрлась в стену. Рассказываю, где оказалась стена.
Делаем русскую языковую модель в тритах −1, 0, +1: учится в сжатом виде, растёт по частям. Свой ум в каждом доме. blog.ternit.ru
Вчера я перевёл ядро модели на один трит на вес. Модель стала в несколько раз легче, но её учёба упёрлась в стену. Рассказываю, где оказалась стена.
Обычная языковая модель после обучения ничего нового не запоминает. Всё, что ей пишут, живёт во временном окне и пропадает, как только разговор кончился. Я делаю модель Тернит, которая должна запоминать прочитанное сама, сразу и надолго. За осень у меня накопилось несколько подходов к этой задаче, и сейчас они складываются в одну систему.
Летом я завёл в компьютере аквариум. Не с рыбками, а с существами, которые сами едят, растут, рожают детей, дерутся и умирают. Я хотел посмотреть, вырастет ли у них ум, если им не мешать. Ум так и не вырос, зато случилось много всего другого, и кое-что из этого живёт сейчас в моей языковой модели Тернит.
Под прошлой записью спросили прямо: если при обучении на вес уходит один байт вместо обычных шестнадцати, где подвох? Бесплатного в железе не бывает, обычно за такое платят тем, что модель хуже учится.
За последний месяц у Тернита появилось много технологий с непонятными названиями: TERMAP, TERNIC, TERLUT. По отдельности каждая — инженерная мелочь. Рассказываю, что они дают вместе: что уже работает и что откроется дальше.
Почти любая языковая модель перестаёт учиться в день выпуска. Её долго учат в дата-центре, потом замораживают и раздают. Если она чего-то не знает или ошибается, исправить это может то…