Надоело использовать зоопарк из HF кода для тестирования моделек, как и мне? :-) Пришло время упростить этот процесс с помощью популярного инструмента ollama, полезного для разработчиков и исследователей. Здесь в статье будет упор про терминальное использование на linux, но есть множество разных вариантов GUI - изучайте.
Тоже пробовал, но отвечает жутко долго. И это на не самом слабом маке. Думал на сервер установить и по апихе обращаться, но игра свеч не стоит.
Какие модели пробовали и с какой квантизацией?