Легкие LLM на CPU, часть 2: какую модель ставить на VPS без видеокарты
Сказать по правде, я и сам хотел кое‑что довести до ума: повторить тесты на сервере с 8 ГБ RAM, проверить российские модели покрупнее и так далее. Новый эксперимент я ставил с учетом ошибок и недоделок первой части. Цифры получились точнее и строже, а любопытных фактов, надеюсь, не меньше. На этом перейдем ближе к делу.
TL;DR
- Для классификации обращений, ответов по базе знаний, кратких резюме документов и прочей текстовой рутины хватает легких моделей и VPS без видеокарты. На сервере с 8 ГБ RAM лучшие модели на 2–4B сортировали обращения за 3–5 сек с точностью около 90%. Ответы по базе знаний и резюме записей занимали 0,5–2,5 мин. Для фоновой обработки это нормально, для чата с клиентами уже нет. Какую модель брать под какую задачу смотрите в таблице в конце статьи.
- Переход с 4 на 8 ГБ RAM убрал падения по нехватке памяти на длинных текстах и почти весь обмен со swap. Пятый vCPU добавил 20–25% к скорости чтения промпта и около 10% к генерации. Так что под длинные тексты нужен сервер от 8 ГБ, а лишний vCPU дает меньше, чем дополнительная память.
- На 326 обращениях 9 моделей из 10 показали точность 87–92%, хотя в первом тесте на 20 обращениях семь из них выбили 100%. Отсюда правило: модель нужно проверять на сотнях своих примеров. Разница между лидерами в 2–3 пункта в пределах статпогрешности, поэтому выбирать стоит по скорости и памяти.
- Время ответа сильно зависит от структуры промпта. Если все запросы начинаются с одной инструкции, модель кэширует ее и читает только переменную часть. В противном случае инструкцию приходится читать каждый раз заново. С кэшем QVikhr-3-4B классифицировала обращение за 3,8 сек, а без за 12,4 сек. Для большинства моделей эта разница в 2–3 раза. Общую инструкцию стоит ставить в начало промпта, а текст обращения в конец. Это заметно ускоряет работу.
- Модели на 8–10B не обогнали лучшие 4B, а работали даже медленнее. Исключение по скорости — GigaChat 3.1 Lightning с архитектурой MoE. На CPU разумнее брать модель на 2–4B (если нужна российская — GigaChat 3.1 Lightning).
- На сервере с 8 ГБ кэш промптов в Ollama по умолчанию может занять всю память: у qwen3.5:4b это приводило к сбоям. Ограничение через переменную окружения убрало и сбои, и swap. Поэтому на сервере с 8 ГБ лучше сразу добавить LLAMA_ARG_CACHE_RAM=1024 в настройки Ollama.
- Decision‑модель d1-2B по точности оказалась на уровне генеративных, но давала честную вероятность. При пороге 0,9 она взяла бы на себя 69% обращений с точностью 97%, а остальные отдала человеку. Для службы поддержки, где ошибка дороже лишней ручной проверки, это хороший вариант.
Стенд и модели
Тот же, что и в первой части, VPS на JustHost с шаблоном Ollama, переведенный на 5 vCPU (Intel Xeon Gold 6148) и 8 ГБ RAM, swap 4 ГБ. Стек также без изменений: Ubuntu 24.04, Ollama 0.35.0 в Docker, внутри нее llama.cpp сборки 161755f29.
Настройки Ollama я оставил как в шаблоне: в памяти одна модель, запросы к ней обрабатываются по одному, число потоков по умолчанию равно числу ядер. Изменил только время, на которое модель остается в памяти, с 5 до 30 мин. Open WebUI на время замеров был остановлен, посторонней нагрузки не было. Steal я записывал раз в секунду: за 41 час работы под нагрузкой в среднем 0,2%, в 99% секунд не выше 1%, разовый пик 6,4%. Для виртуалки это хороший показатель: соседи по хосту на замеры практически не влияли.