Через Ollama теперь можно подключить любую опенсорс LLM в Claude Code

Через Ollama теперь можно подключить любую опенсорс LLM в Claude Code

Ollama 0.14.0 поддержала Anthropic Messages API. Это значит, что почти весь функционал Claude Code, теперь можно использовать на локальных опенсорс моделях!

Да, магия Claude Code во многом держится на родных моделях Anthropic. Но! Всем нам знакомо чувство, когда AI выдал «немного не то» и нужно «ещё немного подправить», «а еще вот эту функцию причесать», «а ещё убрать сами следы вайб кода» и тут смотришь: бац, а подписка Max за 200 бачей улетела…

И в такие моменты задумываешься, а нафиг вообще я использовал Opus на этих задачах? Там бы и Квена простенького хватило.

Это не единственный сценарий. Иногда банально сидишь без интернета в самолете, а рука сама тянется промпт написать, а абонент временно недоступен…

Теперь же в обоих сценариях любимую многими разрабами IDE можно подключить к Ollama. А через Ollama можно в свою очередь подключить, например, GPT-OSS 20B или Qwen3-coder.

Делается все в два шага

  1. Соединиться с Ollama

export ANTHROPIC_AUTH_TOKEN=ollama

export ANTHROPIC_BASE_URL=http://localhost:11434

  1. Запустить Claude Code с нужной моделью:

claude --model gpt-oss:20b

Рекомендуют использовать модельки с контекстным окном не меньше 64К.

Все! Все ключевые фичи Claude Code будут действовать как и раньше. По сути, Claude Code даже не знает, что вы заменили Opus на Квен

Кстати, это все касается не только Claude Code, но и любых аппов построенных на Anthropic SDK. Там так же в клиенте прописываете вместо ключа ‘ollama’ — и живете в счастье!

Есть нюансы: кое-что не заведется

Работает все, да не все:

  • не считаются токены (вместо этого выдаются эстимейты)
  • не поддержан принудительный выбор тула или его отключение
  • не поддержана выдача метаданных
  • не работает кеширование промптов
  • не работает асинхронная обработка батчей
  • не поддержаны цитаты
  • не поддержаны PDF
  • во время стриминга не летят ошибки

Все это, в целом, не критично, но начинает мешать, если речь заходит о полноценном агентном пайплайне (если строить его на SDK от Anthropic). Поддержат ли в будущем - не известно 😐

Интересно, что одной рукой Anthropic массово блокировал доступ к своим моделям через Claude Code в сторонних приложениях, чтобы его не абьюзили. А в то же время благодаря Ollama теперь в итоге сам всасывает весь опенсорс. В итоге, и свои модели придержали, и расширился выбор для тех, кому было дорого.

Подписывайтесь на Telegram Заместители.

1
Начать дискуссию