Запуск про-режима в Sotaocr: отладка модели и кванты

Все хочу запустить наконец про-режим в sotaocr.

Целый день убил на отладку модели.

Полноразмерная слишком жирная для карточки, а с квантом обнаружился прикол, с которым я и возился.

Оказалось (внезапно!), что у этой модельки аж две составляющих.

И прикол в том, что рабочие кванты у них разные. Если ллм часть можно запускать на q8 и аж даже на q4, то вот качество детектора координат bbox сильно деградирует при любом малейшем квантовании оригинала. И стандартный q8 ее напрочь ломает.

Убил кучу времени, чтобы понять, что же не так и почему она дает кривое распознавание.

Но в итоге смог сделать хороший пресет и даже выложил публично тут

А на картинке попросил гопоту сделать нормальное объяснение механики того, что происходило, если вы хотите вникнуть в тематику поглубже.

Подписывайтесь на Telegram Глеб Кудрявцев про AI.