Как бесплатно попробовать Gemma 2 9B и 27B от Google: 5 способов

Прошло всего несколько недель с тех пор, как Google выпустила свою самую мощную легкую LLM, Gemma 2. Я экспериментировал с ней на разных платформах и решил поделиться пятью способами, с помощью которых вы можете попробовать Gemma 2 бесплатно.

Прежде чем мы перейдем к списку, вот краткое описание Gemma 2 для тех, кто еще не знаком с ней.

Еще больше полезностей - в телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

Gemma 2 - это новейшая языковая модель с открытыми весами, выпущенная Google для исследователей и разработчиков по всему миру. Она выпускается в двух вариантах: с 9 миллиардами и 27 миллиардами параметров.

Модель 9B была обучена примерно на 8 триллионах токенов, а версия 27B - примерно на 13 триллионах токенов веб-данных, кода и математики.

Эти легковесные модели разработаны для эффективной работы на различных устройствах, включая графические процессоры Nvidia и TPU от Google, что делает их подходящими как для облачных приложений, так и для устройств.

Итак, перейдем к списку.

Google Vertex AI Studio - это мощный инструмент для создания прототипов и настройки генеративных ИИ-моделей в экосистеме Google Cloud.

Он предоставляет доступ к самым современным моделям Google, предлагает мультимодальные возможности и легко интегрируется с другими облачными сервисами Google для создания комплексных рабочих процессов в сфере машинного обучения.

Цены на сервисы генеративного ИИ в Vertex AI варьируются в зависимости от конкретных базовых моделей и используемых API.

Новые пользователи могут получить до 300 долларов в виде бесплатных кредитов, чтобы попробовать Vertex AI и другие продукты Google Cloud

Ollama - это проект с открытым исходным кодом, призванный упростить процесс работы с большими языковыми моделями (LLM). Он предоставляет удобную платформу для запуска, настройки и управления различными LLM, включая такие популярные модели, как Llama 3, Phi 3, Mistral и Gemma 2.

Загрузите Ollama здесь и запустите модель с помощью команды:

HuggingChat - это чатбот с открытым исходным кодом, разработанный компанией Hugging Face, ведущей платформой для искусственного интеллекта и инструментов обработки естественного языка.

Вы можете легко получить доступ к HuggingChat, посетив сайт HuggingFace.co/chat. Затем выберите текущую модель "google/gemma-2-27b-it".

Вы можете включить веб-поиск, чтобы дополнить ответы модели информацией из интернета.

Однако в периоды высокой посещаемости у HuggingChat могут возникать проблемы с нагрузкой на сервер, что может привести к медленной загрузке или временной недоступности.

Кроме того, для ответов бота существует ограничение по количеству токенов - 1 512, что иногда может привести к неполным ответам. Я бы посоветовал использовать вместо этого Vertex Studio или Ollama.

Fireworks AI - это платформа, которая специализируется на масштабной оптимизации и управлении моделями машинного обучения, в частности на генеративном ИИ для инноваций в продуктах.

На ней размещено более 100 современных ИИ-моделей, включая большие языковые модели (LLM) и модели для генерации изображений, такие как Llama 3, Mixtral MoE 8x7B и 8x22B, а также Stable Diffusion 3.

В списке моделей найдите Gemma 2 и начинайте с ней общаться.

Разработчики могут получить доступ к моделям Fireworks AI через API, совместимый с интерфейсом OpenAI, что упрощает интеграцию и эксперименты с различными моделями.

К Fireworks AI вы также можете получить доступ через расширения VS Code Extensions, такие как CodeGPT. Сейчас Gemma-2 еще не доступна в CodeGPT, но я напишу статью, как только она там появится.

Nvidia NIM (NVIDIA Inference Microservices) - это набор простых в использовании микросервисов, предназначенных для ускорения развертывания ИИ моделей, особенно базовых моделей, в любой облачной инфраструктуре или инфраструктуре центра обработки данных.

NVIDIA предоставляет каталог моделей, в котором вы можете изучить и опробовать различные ИИ модели, включая генеративные. Этот каталог позволяет тестировать модели перед их развертыванием в приложениях.Например, если вы хотите протестировать модель Gemma-2-27B, перейдите по этой ссылке и начните тестировать модель бесплатно.

Под полем чата можно настроить несколько параметров, таких как temperature, tokens и stop/bad keywords.

Он совершенно бесплатен для использования, вам даже не нужно авторизоваться или создавать учетную запись.

На данный момент доступ по API еще не открыт.

От Google пока ничего не известно, но, по словам исследователя Google Deepmind, доступ к API будет открыт в ближайшее время!

Вот и все. Надеюсь, эта статья была вам полезна. Если вы знаете другие способы или платформы, где можно бесплатно попробовать Gemma 2, пожалуйста, напишите об этом в комментариях.

Несмотря на ужасную репутацию Google, когда дело доходит до выпуска языковых моделей, Gemma 2 - это действительно достойная модель для своего размера.

Когда я в последний раз пробовал Gemma 1.1, результаты были не очень хорошими. Она работала хуже, чем Llama 2. Теперь с Gemma 2 9B я получил результаты не только на уровне Llama 3 8B, но иногда даже лучше.

Если вы работаете над проектом, в котором требуются легкие модели, я настоятельно рекомендую использовать Gemma 2.

Еще больше полезностей - в #gemma2

#gemma2 #google #llm

Источник статьи на английском - здесь.