28455

Юрий Бедрин
Разработка

Один флаг llama.cpp может резко замедлить обработку промпта – без ошибки и предупреждения.

Один флаг llama.cpp может резко замедлить обработку промпта – без ошибки и предупреждения.

В обсуждении #28455 описан случай: при включённом Flash Attention выбор `q5_1` для KV-кэша переносил вычисление внимания с GPU на CPU. Модель продолжала работать, но скорость падала.

11