Сотрудник Yandex Research разработал сервис для запуска большой языковой модели Llama 3.1 «на обычном компьютере»

Он работает на основе методов сжатия, которые позволяют уменьшить модель в несколько раз.

2828
22

Интересно, как сервис будет работать на разных устройствах, но сам факт того, что теперь можно запускать Llama 3.1 без подключения к сети, уже потрясающий

Пс , это можно было делать уже несколько лет как

1