А что если не платить за подписку нейросетки, а использовать локальную?

У нас 10 разработчиков, на подписки для AI-инструментов уходит около $500/мес. Кажется: “давайте поднимем свою модель и раздавать всем через endpoint”. Мы сделали ресерч: сколько это будет стоить и насколько реально работать на локальных моделях.

TL;DR: результаты неутешительные)

Касательно удалённого сервера: по подсчётам, даже на 10 параллельно работающих программистов потребуется сервер, который будет выходить примерно в $800 в месяц + ЗП обслуживающему его сисадмину + обновление моделей и т. д. Короче, как будто не особо выгодно получается. Сервак должен иметь на борту хотя бы парочку видюх уровня 4090, чтобы тянуть модель максимум с 13B параметров и квантизациями типа 4/8 бит.

Касательно локального использования LLM-ок: тут время у техлида вышло уже далеко за пределы рабочего, поэтому он просто перебирал и настраивал всё в свободное время — т. к. уже самому было интересно)

Опять-таки, вкратце: если нет видюхи хотя бы с 12 ГБ видеопамяти на борту (уровня RTX 4070) — то здесь вообще нечего делать, т. к. иначе можно себе позволить только самые тупые модели.

В качестве «менеджеров» / фреймворков LLM-ок использовались Ollama и LM Studio. Второй понравился гораздо больше, т. к. там больше инфы, возможностей тонкой настройки через интерфейс, дебаг-консоль и т. д. По сути, они представляют собой менеджеры управления скачанными LLM-ками и адаптеры под OpenAI API (в нашем случае, т. к. всё это подключалось к Cursor).

Перепробовано было штук 10 разных LLM-ок с разными квантизациями: Qwen 2.5, Qwen 3, CodeGemma, различные варианты DeepSeek R1 / coder / lite и т. д. Основные проблемы были с невозможностью корректно использовать тулзы, чтобы вносить изменения через Cursor в файлы; долгая обработка данных (тут, опять-таки, видимо, с квантизацией нужно было играться, либо с количеством параметров LLM, либо с длиной контекста, т. к. Cursor просто дофигища токенов забрасывал); или же непростительная тупизна модели)

В итоге техлид остановился на GLM 4.6 с квантизацией Q4_K_M, 9.4B параметров. Из всех перечисленных она подключилась без проблем и пока даже относительно неплохо справляется.

Яркий пример: нужно было в приложении на React / Next.js пройтись по определённым страницам и удалить тег strong из h2. Ради эксперимента промпт был довольно абстрактный, без уточняющих деталей:

Необходимо удалить тег strong из h2-заголовков на определенных страницах.

Большинство LLM-ок пытались напрямую grep’нуть в каталогах файлы типа .html, .php и т. д. и, ничего не найдя, писали: «сорян, пусто». И только с GLM более-менее получилось: она тоже сперва полезла напрямую в каталоги, которых не было, и только потом поняла, что это React, залезла в src/pages и внесла изменения.

Если подытожить: пока до уровня GPT, Sonnet и т. д. далековато, но техлид попробует ещё покопаться в настройках / поискать другие LLM-ки — может, попадётся что-то более годное. А пока что сойдёт разве что как временная альтернатива.