Гуру Хренов
с правильной квантизацией - потянет (5-тибитный квант занимает на диске всего полгига). Не забываем, что это же MoE - в видеопамять грузятся или подгружаются по мере необходимости только самые часто используемые эксперты. Тут вполне хватит компа на ADM Strix Halo или одной единственной GDX Spark
выдумывать несуществующие предложения конкурентов - в Штатах, насколько я знаю, является причиной подать в суд на возмещение упущенной выгоды, и суды становятся на сторону пострадавшей стороны. Поэтому такая тактика не только неэтична, но и не практична.
да в принципе уже дожили - относительно большую и умную модель вполне можно гонять на железе килодолларов за 3-7
Слава богу, нас всех спасут MoE-модели с открытыми весами и всякие трюки типа неравномерной квантизации и хранения самых часто используемых экспертов в видеопамяти, в то время как остальная модель сидит в обычном RAM или даже SSD
Это будет медленнее конечно, но зато бесплатно, после затрат на покупку железа.
Кажется, у Dr Seuss, который сам в предыдущей жизни был маркетологом - есть фраза про продукт, который "no one wants 'cause no one needs"
надо было с самого начала пушку строить, а не ракеты?
там проблема в том, как я понимаю, что если только в результате расследования выяснится, что это были движки - то их на ракету Vulcan ставить нельзя, точнее нельзя уже сейчас, пока расследование не закончится
такой неприятный облом может дать фору китайцам в высадке на луну
У меня Pixel 9 Pro, 16-й андроид, и я не могу найти эту настройку. RAM Plus ! Памагите !
Zaxar привел несколько экстремальный пример компа с всего 32G RAM. Если бы он к такому компу подключил внешнюю карточку с VRAM хотя бы 32G через USB4 или Oculink - 6 часов сократились бы раз в 20