Поднял ИИ локально. На случай ядерного апокалипсиса штука — мастхэв.
Модель Gemma-4-E4B. И вдруг понял, что происходит с ценами на оперпамять, откуда все эти стоны и шутки геймеров.
ИИ — это просто дикий пожиратель ресурсов. Мой средненький лэптоп за 100к еле её тянет. Для более-менее нормальной работы свежих моделей нужен стационарник с конфигурацией за 200–300к или топовый мак за 300–500к.
С другой стороны, платишь только за электричество, а не за каждый чих. Еще один плюс: работает без сети, так что если случится ядерный апокалипсис, будет хороший офлайн-Google. Оракул, который знает всё на свете!
Скачал модель для кодинга, Qwen-3 4B. Поставил редактор и браузер со сниженным потреблением ресурсов. В режиме «вопрос-ответ» работает приемлемо, но для кодинга с инструментами требует окно в 3 раза больше и работает очень медленно.
Контекстное окно нужно загружать каждый раз при старте сессии, а во время работы оно постоянно увеличивается. Когда работаешь с агентами по API, об этом даже не задумываешься. Сброс контекста — это как стереть память: модель всё забывает и начинает заново.
В целом интересно: пишешь вопрос — получаешь ответ не из интернета, а локально. Смущает только, что всё считается в токенах вместо привычных байтов и мегабайтов. Начинаешь смотреть — вроде бы и немного передаешь, но JSON-формат сам по себе очень тяжёлый, плюс контекст постоянно накапливается, и на выходе получается огромный объём. А чем больше объём, тем больше нужно оперативки и тем мощнее должна быть видеокарта. Ну а если работаешь с облаком, каждый запрос обходится всё дороже и дороже.