Как я за 15 минут запустил локально свой Copilot, который работает без VPN, без создания аккаунта и без ключей
Короче устал я от того что Copilot не работает в России, остальное все через VPN и подумал почему бы мне не развернуть локально свою модель? Тем более ресурсов макбука хватает.
Для того чтобы все заработало нужны 3 вещи:
1. Ollama - это штука которая может запускать локально разные модели и предоставляет к ним доступ
2. Собственно сама модель. Я выбрал qwen2.5-coder, но можно поставить любую другую по вкусу
3. Расширение Continue в VS Code
Погнали!
1. Скачиваем Ollama
2. Запускаем в консоли `ollama pull qwen2.5-coder`
3. Ставим расширение Continue в VS Code
4. Заходим в Continue и далее в настройки
5. Добавляем туда нашу модель отредактировав конфиг
6. Готово!
Заходим в любой файлик с кодом и видим автодополнение кода 😉
Можно так же настроить дополнительные команды, промпты через Continue - это уже по желанию.
Интересна тема веб разработки? Подписывайся на мой телеграм канал @artemlikes_dev
А какая конфигурация железа ? Как быстро отвечает и какого размера код выдает ?
у меня мак с M2 Pro на 16 Гб. Процесс с ollama занимает ~2 Гб оперативки. Отвечает быстро. По размеру кода тут почему-то очень по разному - бывает 1-2 строки выдает, а бывает строк 15. Пока тестирую
Присоединюсь к вопросу. Разворачивал я локально Ollama. Это была пытка.
шляпа локальные модели, потестил много — смысла ноль, а что бесплатно — ну так для работы же используем, любое количество потраченных токенов даст минимум 10х а где и 100х) сэкономил полтинник — потерял пару тысяч во времени, такаяяяяя себе экономия
А какого размера модель? Есть какие-то впечатления по качеству? Может 7B попробовать?
у меня как раз 7B, по качеству заметно хуже Copilot конечно, но лучше чем ничего. Хочу поэкспериментировать с другими моделями
а чат поддерживается? это основная штука. дополнение уже не торт.