Как запустить Llama 3 в Visual Studio Code на своем компьютере - пошаговое руководство

Недавно компания Meta* выпустила самую мощную языковую модель с открытым исходным кодом, Llama 3. Поскольку она с открытым исходным кодом, вы можете скачать веса модели и запустить их локально на своей машине.

Я знаю, я знаю. Идея запустить модель искусственного интеллекта с 8 миллиардами параметров на своем ноутбуке может показаться несложной только для технически подкованных людей. Но не волнуйтесь! В этой статье - пошаговое руководство, с помощью которого это сможет сделать каждый.

Еще больше полезностей - в моем телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

Прежде чем приступить к выполнению шагов, важно отметить характеристики среды, в которой я сейчас работаю:

• Ноутбук: Lenovo ThinkPad X1 Extreme
• ОС: Windows 11 Pro Version 10.0.22631 Build 22631
• CPU: Процессор Intel(R) Core(TM) i7-9850H
• RAM: 32 ГБ
• Дисковое пространство: 642 ГБ

Именно так! Чтобы запустить модель локально, вам не нужен высококлассный графический процессор. При наличии приличного процессора и достаточного количества оперативной памяти вы сможете запустить Llama 3 на своем компьютере без каких-либо проблем.

Перейдите на сайт Ollama и загрузите последнюю версию программы установки. Ollama - это универсальный инструмент, предназначенный для запуска, создания и совместного использования больших языковых моделей (LLM) локально на различных платформах.

После установки Ollama убедитесь, что она работает в фоновом режиме. Вы можете проверить это, обнаружив значок Ollama в системном трее или диспетчере задач.

Чтобы убедиться, что Ollama работает правильно в интерфейсе командной строки (CLI), выполните следующую команду для проверки версии. Текущая версия, которую я использую, - 0.1.32, поэтому у вас она может отличаться.

Далее откройте Visual Studio Code и перейдите на вкладку расширений. Найдите "CodeGPT" на сайте codegpt.co и установите расширение. Это расширение позволит вам использовать Llama 3 непосредственно в VS Code.

После установки расширения вы должны увидеть значок CodeGPT на левой боковой панели VS Code.

Откройте терминал в VS Code и выполните следующую команду, чтобы загрузить модель Llama 3:

Это может занять некоторое время, поскольку размер модели превышает 4 ГБ. Наберитесь терпения и дайте процессу завершиться. После завершения вы должны увидеть сообщение об успехе, как показано на рисунке:

На панели инструментов CodeGPT в левой панели VS Code найдите выпадающее меню Provider и выберите Ollama. Затем в выпадающем списке моделей выберите "Llama3:8b". Если модель не отображается в списке, вы также можете ввести "Llama3:8b" вручную.

Убедитесь, что выбрали правильную модель, чтобы CodeGPT использовал Llama 3 для генерации ответов.

Теперь, когда мы загрузили модель и установили CodeGPT на VS Code, давайте проверим, все ли работает правильно, и напишем тестовый промпт.

Потрясающе! Это работает. Теперь давайте используем модель для объяснения исходного кода. Напишите или откройте любой файл исходного кода в VS Code. Щелкните правой кнопкой мыши на файле и выберите "CodeGPT: Explain CodeGPT", чтобы попросить ИИ объяснить исходный код.

Обратите внимание, что код передается в панель CodeGPT в качестве ввода промпта. ИИ анализирует код и дает его подробное объяснение.

Это очень здорово, потому что вам больше не придется копировать и вставлять блоки кода в ChatGPT или другие чат-боты за пределами VS Code. Кроме того, он совершенно бесплатен и работает локально на вашей машине, так что вам не нужно беспокоиться о стоимости API или подключении к интернету.

Вот и все пошаговое руководство о том, как запустить Llama 3 в Visual Studio Code. Надеюсь, это руководство оказалось полезным и простым. Запуск мощных языковых моделей локально на собственном компьютере - не такая уж сложная задача, как может показаться на первый взгляд.

Если вы хотите узнать больше способов запуска языковых моделей с открытым исходным кодом на локальной машине, например, с помощью CLI, LM Studio или других инструментов, сообщите мне об этом в комментариях ниже. Я буду рад поделиться с вами советами и рекомендациями, которые помогут вам получить максимальную пользу от этих невероятных моделей ИИ.

Еще больше полезностей - в моем телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

*Meta признана экстемистской организацией на территории РФ.

#llama #meta #ai

Источник статьи на английском - здесь.