Спасибо за подробный мануал по инфраструктуре, связка Open WebUI + SearXNG + Continue сейчас действительно самый беспроблемный сетап для локалки, чтобы не возиться с кучей разрозненных скриптов.
Единственное, по списку моделей подборка выглядит немного консервативной для 2026 года. Тот же Qwen 2.5 Coder 32B и Phi-4 - проверенные временем решения, но сейчас на 16 ГБ VRAM уже вовсю гоняют более свежие MoE-архитектуры и новые итерации от Mistral, где контекст держится стабильнее и меньше деградации на тяжелых кодовых базах.
Автор, не тестировали более свежие линейки в этом же сетапе? Интересно, как они себя показывают по токенам в секунду в связке с IQ-квантами на 4070 Ti.
Спасибо за подробный мануал по инфраструктуре, связка Open WebUI + SearXNG + Continue сейчас действительно самый беспроблемный сетап для локалки, чтобы не возиться с кучей разрозненных скриптов.
Единственное, по списку моделей подборка выглядит немного консервативной для 2026 года. Тот же Qwen 2.5 Coder 32B и Phi-4 - проверенные временем решения, но сейчас на 16 ГБ VRAM уже вовсю гоняют более свежие MoE-архитектуры и новые итерации от Mistral, где контекст держится стабильнее и меньше деградации на тяжелых кодовых базах.
Автор, не тестировали более свежие линейки в этом же сетапе? Интересно, как они себя показывают по токенам в секунду в связке с IQ-квантами на 4070 Ti.