5 способов попробовать Google Gemma 2 9B и 27B БЕСПЛАТНО

Прошло всего несколько недель с тех пор, как Google выпустила свой самый мощный и легкий LLM, Gemma 2. Я экспериментировал с ним на разных платформах и подумал о том, чтобы поделиться пятью способами, с помощью которых вы можете попробовать Gemma 2 бесплатно.

Прежде чем перейти к списку, вот краткое описание Gemma 2 для тех, кто еще не знаком с ней.

Gemma 2 — это новейшая языковая модель open-weights, выпущенная Google для исследователей и разработчиков по всему миру. Она поставляется в двух вариантах: 9 миллиардов и 27 миллиардов параметров.

Модель 9B была обучена примерно на 8 триллионах токенов, тогда как версия 27B была обучена примерно на 13 триллионах токенов веб-данных, кода и математики.

Эти легкие модели разработаны для эффективной работы на различном оборудовании, включая графические процессоры Nvidia и TPU Google, что делает их подходящими как для облачных, так и для локальных приложений.

Хорошо, теперь перейдем к списку.

Google Vertex AI Studio — мощный инструмент для создания прототипов и настройки моделей генеративного ИИ в экосистеме Google Cloud.

Он обеспечивает доступ к передовым моделям Google, предлагает мультимодальные возможности и легко интегрируется с другими сервисами Google Cloud для сквозных рабочих процессов машинного обучения.

Цены на услуги генеративного ИИ в Vertex AI различаются в зависимости от конкретных базовых моделей и используемых API.

Новые клиенты могут получить до 300 долларов США в виде бесплатных кредитов, чтобы попробовать Vertex AI и другие продукты Google Cloud.

Ollama — это проект с открытым исходным кодом, призванный упростить процесс работы с большими языковыми моделями (LLM). Он предоставляет удобную платформу для запуска, настройки и управления различными LLM, включая такие популярные модели, как Llama 3, Phi 3, Mistral и Gemma 2.

Загрузите Ollama здесь и запустите модель с помощью команды:
ollama run gemma2

HuggingChat — это чат-бот с открытым исходным кодом на основе искусственного интеллекта, разработанный Hugging Face, ведущей платформой для инструментов искусственного интеллекта и обработки естественного языка.

Вы можете легко получить доступ к HuggingChat, посетив HuggingFace.co/chat. Затем выберите текущую модель для «google/gemma-2–27b-it».

Вы можете включить веб-поиск, чтобы дополнить ответы модели информацией из Интернета.

Однако в периоды большого трафика у HuggingChat могут возникнуть проблемы с загрузкой сервера, что может привести к медленной загрузке или временной недоступности.

Кроме того, существует максимальный лимит токенов для ответов бота в 1512, что иногда может приводить к неполным ответам. Я бы рекомендовал использовать Vertex Studio или Ollama вместо этого.

Fireworks AI — это платформа, которая специализируется на оптимизации и управлении моделями машинного обучения в больших масштабах, уделяя особое внимание генеративному ИИ для создания инновационных продуктов.

Он содержит более 100 современных моделей искусственного интеллекта, включая большие языковые модели (LLM) и модели генерации изображений, такие как Llama 3, Mixtral MoE 8x7B и 8x22B, а также Stable Diffusion 3.

Под списком карточек моделей найдите Джемму 2 и начните с ней общаться.

Разработчики могут получить доступ к моделям Fireworks AI через API, совместимые с интерфейсом OpenAI, что упрощает интеграцию и эксперименты с различными моделями.

Fireworks AI также можно получить через расширения VS Code, такие как CodeGPT. Прямо сейчас Gemma-2 еще недоступна в CodeGPT, но я напишу историю, как только она выйдет.

Nvidia NIM (NVIDIA Inference Microservices) — это набор простых в использовании микросервисов, предназначенных для ускорения развертывания моделей ИИ, в частности базовых моделей, в любой облачной инфраструктуре или инфраструктуре центра обработки данных.

NVIDIA предоставляет каталог моделей, где вы можете исследовать и пробовать различные модели ИИ, включая генеративные модели ИИ. Этот каталог позволяет вам тестировать модели перед их развертыванием в ваших приложениях.

Например, если вы хотите протестировать модель карты Gemma-2–27B, перейдите по этой ссылке и начните бесплатное тестирование модели.

Под полем чата вы можете настроить несколько параметров, таких как температура, токены и ключевые слова «стоп/плохие».

Его использование абсолютно бесплатно; вам даже не нужно входить в систему или создавать учетную запись.

На момент написания статьи доступ к API еще не был возможен.

От Google пока ничего не слышно, но, по словам исследователя Google Deepmind, доступ к API станет доступен уже скоро!

Ладно, вот и все. Надеюсь, эта статья будет вам полезна. Если вы знаете другие способы или платформы, где можно бесплатно попробовать Gemma 2, дайте мне знать в комментариях.

Несмотря на ужасную репутацию Google в плане выпуска языковых моделей, Gemma 2 на самом деле является достойной моделью для своего размера.

В прошлый раз, когда я пробовал Gemma 1.1, результаты были не очень. Он работал хуже, чем Llama 2. Теперь с Gemma 2 9B я получил не только результаты, которые сопоставимы с Llama 3 8B, но иногда даже лучше.

Если вы работаете над проектом, требующим облегченных моделей, я настоятельно рекомендую использовать Gemma 2.
Источник статьи на английском - здесь