Ternit

Триггер - вы мне пишите - я отвечаю. Не пишите - не отвечаю.

Первый мой комментарий был вызван желанием ответить на ваше подозрение существования "черного списка" - никакого списка нет. И Ваши дальнейшие ответы лишь подтвердили, что проблема лишь в Вашем скверном характере - поэтому и не берут на работу. Понять это достаточно лишь перекинуться с Вами парой фраз.

Командовать может любой и чем/кем угодно. Но каждый должен заниматься своим делом. Дедуля точно не должен командовать дивизией или армией - последние 5 лет наглядно это доказали.

Прекрасная позиция перекладывания проблем с больной головы на здоровую)

То что для Вас в "прошлом" - трудовая книжка помнит все. Никому не нужен работник с возникающими "непримиримыми противоречиями". Это бизнес. Тебе платят - ты работаешь. Или делают вид, что платят - ты делаешь вид, что работаешь. И всем плевать на вашу тонкую душевную констититуцию.

Лучший обогреватель - это теплый пол )))

49+ - прекрасно понимаю, учитывая, что сам нанимаю людей помоложе, "нормальную" работу будет найти все сложнее и сложнее. И нормальная работа это та, на которой тебе до самой пенсии можно работать без страха увольнения. А нормальный опыт взрослого... Ну такое... Простите, но в целом нафиг этот опыт не нужен, если "старичелло" прыгает от компании в компанию и его энергия с энтузиазмом на порядок уступает молодым. Особенно, если этот "мудрый ворон" ищет удаленную работу, лишь показывая насколько он ленив.

Платим, конечно. Вес меняется не плавно, а ступеньками. Поэтому каждый шаг учёбы должен видеть много текста сразу, а силу шага приходится держать в узких рамках: чуть перегнёшь — модель начинает портиться.

Зато учеба помещается в память, куда обычная не влезет. Ради этого всё и затевалось: чтобы модель могла доучиваться непосредственно на том железе где уместилась сама работающая модель.

Хороший вопрос, и подозрение понятное 🙂 Но нет, не «квантизовали и надеемся».

Квантизация - это когда модель учат в обычных числах, а потом округляют. Мы это проходили конечно. У нас копии весов в обычных числах при учёбе нет вообще, модель сразу живёт в тритах.

С маленькими градиентами вы попали в точку, это и была главная засада: округлишь крошечную поправку до трита - получишь ноль. Поэтому поправки не выбрасываются, а копятся в маленьком целом счётчике у каждого веса. Накопилось до порога - трит сдвигается, остаток лежит дальше. Малые градиенты не пропадают, просто срабатывают не на каждом шаге.

Самое интересное - что из этого вышло. На маленькой модели в нашем тесте TERNIC обошёл Adam на всех шести парах «текст - старт», и по ошибке, и по доле угаданного. Например, на Шекспире 2,72 бита против 2,82 у Adam. Честная оговорка: тест небольшой, и Adam отдельно не донастраивали.

TERNIC (Терник) - наш способ учить нейросеть прямо в тритах (−1, 0, +1): маленькие поправки не теряются при округлении, а копятся в целом счётчике у каждого веса, пока не сдвинут трит, поэтому полная копия весов в обычных числах не нужна.

А дальше уже не игрушка: так сейчас учится ядро нашего бота на 1,5 млрд весов, тот самый Тернит в MAX и Telegram. Весит оно в тритах 0,8 ГБ вместо почти 6 ГБ в обычных числах.

Подробно: https://blog.ternit.ru/obuchenie-pryamo-v-tritah-chast-tretya-termap-ternic-terlut/