xAI выпустила Grok-1 - крупнейшую LLM с открытым исходным кодом: что это такое и как пользоваться нейросетью
Компания Илона Маска по разработке искусственного интеллекта xAI опубликовала весовые коэффициенты и архитектуру своей модели Grok-1, состоящей из 314 миллиардов параметров, под лицензией Apache 2.0.
297 гигов модель весит, 10 видюх rtx 4090 должно хватить
а какой нить swap/маппинг для моделей не придумали? вроде у apple была статья, чтобы как раз использовать большой файл на hdd|ssd|nvme как кусок памяти, что даёт возможность использовать здоровые модели на устройствах по проще.
Спасибо, что перевели объем в технические характеристики ).