Это позволит снизить расходы на внедрение нейросетей, говорят в компании.
Для пользователей попроще пока вроде хватает ollama для запуска модели
Зависит от размера целевой модели. 70B модель в 4 бита не влезет на RTX3090/4090, а c AQLM влезет.
Для пользователей попроще пока вроде хватает ollama для запуска модели
Зависит от размера целевой модели. 70B модель в 4 бита не влезет на RTX3090/4090, а c AQLM влезет.