5 способов попробовать Google Gemma 2 9B и 27B БЕСПЛАТНО
Прошло всего несколько недель с тех пор, как Google выпустила свой самый мощный и легкий LLM, Gemma 2. Я экспериментировал с ним на разных платформах и подумал о том, чтобы поделиться пятью способами, с помощью которых вы можете попробовать Gemma 2 бесплатно.
Прежде чем перейти к списку, вот краткое описание Gemma 2 для тех, кто еще не знаком с ней.
Что такое Gemma 2?
Gemma 2 — это новейшая языковая модель open-weights, выпущенная Google для исследователей и разработчиков по всему миру. Она поставляется в двух вариантах: 9 миллиардов и 27 миллиардов параметров.
Модель 9B была обучена примерно на 8 триллионах токенов, тогда как версия 27B была обучена примерно на 13 триллионах токенов веб-данных, кода и математики.
Эти легкие модели разработаны для эффективной работы на различном оборудовании, включая графические процессоры Nvidia и TPU Google, что делает их подходящими как для облачных, так и для локальных приложений.
Хорошо, теперь перейдем к списку.
1. Студия искусственного интеллекта Vertex
Google Vertex AI Studio — мощный инструмент для создания прототипов и настройки моделей генеративного ИИ в экосистеме Google Cloud.
Он обеспечивает доступ к передовым моделям Google, предлагает мультимодальные возможности и легко интегрируется с другими сервисами Google Cloud для сквозных рабочих процессов машинного обучения.
Цены на услуги генеративного ИИ в Vertex AI различаются в зависимости от конкретных базовых моделей и используемых API.
Новые клиенты могут получить до 300 долларов США в виде бесплатных кредитов, чтобы попробовать Vertex AI и другие продукты Google Cloud.
2. Оллама
Ollama — это проект с открытым исходным кодом, призванный упростить процесс работы с большими языковыми моделями (LLM). Он предоставляет удобную платформу для запуска, настройки и управления различными LLM, включая такие популярные модели, как Llama 3, Phi 3, Mistral и Gemma 2.
Загрузите Ollama здесь и запустите модель с помощью команды:
ollama run gemma2
3. HuggingChat
HuggingChat — это чат-бот с открытым исходным кодом на основе искусственного интеллекта, разработанный Hugging Face, ведущей платформой для инструментов искусственного интеллекта и обработки естественного языка.
Вы можете легко получить доступ к HuggingChat, посетив HuggingFace.co/chat. Затем выберите текущую модель для «google/gemma-2–27b-it».
Вы можете включить веб-поиск, чтобы дополнить ответы модели информацией из Интернета.
Однако в периоды большого трафика у HuggingChat могут возникнуть проблемы с загрузкой сервера, что может привести к медленной загрузке или временной недоступности.
Кроме того, существует максимальный лимит токенов для ответов бота в 1512, что иногда может приводить к неполным ответам. Я бы рекомендовал использовать Vertex Studio или Ollama вместо этого.
4. Fireworks AI
Fireworks AI — это платформа, которая специализируется на оптимизации и управлении моделями машинного обучения в больших масштабах, уделяя особое внимание генеративному ИИ для создания инновационных продуктов.
Он содержит более 100 современных моделей искусственного интеллекта, включая большие языковые модели (LLM) и модели генерации изображений, такие как Llama 3, Mixtral MoE 8x7B и 8x22B, а также Stable Diffusion 3.
Под списком карточек моделей найдите Джемму 2 и начните с ней общаться.
Разработчики могут получить доступ к моделям Fireworks AI через API, совместимые с интерфейсом OpenAI, что упрощает интеграцию и эксперименты с различными моделями.
Fireworks AI также можно получить через расширения VS Code, такие как CodeGPT. Прямо сейчас Gemma-2 еще недоступна в CodeGPT, но я напишу историю, как только она выйдет.
5. Nvidia NIM
Nvidia NIM (NVIDIA Inference Microservices) — это набор простых в использовании микросервисов, предназначенных для ускорения развертывания моделей ИИ, в частности базовых моделей, в любой облачной инфраструктуре или инфраструктуре центра обработки данных.
NVIDIA предоставляет каталог моделей, где вы можете исследовать и пробовать различные модели ИИ, включая генеративные модели ИИ. Этот каталог позволяет вам тестировать модели перед их развертыванием в ваших приложениях.
Например, если вы хотите протестировать модель карты Gemma-2–27B, перейдите по этой ссылке и начните бесплатное тестирование модели.
Под полем чата вы можете настроить несколько параметров, таких как температура, токены и ключевые слова «стоп/плохие».
Его использование абсолютно бесплатно; вам даже не нужно входить в систему или создавать учетную запись.
Бонус: Доступ через API
На момент написания статьи доступ к API еще не был возможен.
От Google пока ничего не слышно, но, по словам исследователя Google Deepmind, доступ к API станет доступен уже скоро!
Ладно, вот и все. Надеюсь, эта статья будет вам полезна. Если вы знаете другие способы или платформы, где можно бесплатно попробовать Gemma 2, дайте мне знать в комментариях.
Последние мысли
Несмотря на ужасную репутацию Google в плане выпуска языковых моделей, Gemma 2 на самом деле является достойной моделью для своего размера.
В прошлый раз, когда я пробовал Gemma 1.1, результаты были не очень. Он работал хуже, чем Llama 2. Теперь с Gemma 2 9B я получил не только результаты, которые сопоставимы с Llama 3 8B, но иногда даже лучше.
Если вы работаете над проектом, требующим облегченных моделей, я настоятельно рекомендую использовать Gemma 2.
Источник статьи на английском - здесь
Версия Gemini 2.0 Flash Thinking теперь доступна в одноимённом чат-боте компании и через API в Google AI Studio и Vertex AI.
Поздравляю всех с Днём защитника Отечества! Сегодня этот праздник звучит по особому. Наполнен реальными смыслами, а не просто ещё одна формальная дата... Дальше нас ждёт ещё больше борьбы и побед для славы и величия России. С праздником! https://t.me/cbaretail
Нейросети научились писать симфонию и превращать холсты в шедевры. Они умеют даже чувствовать и сопереживать. Если попросить ChatGPT написать грустный стих или весело описать процесс теплообмена — справится быстро не хуже профессионального поэта. А вот умение искусственного интеллекта решать моральные дилеммы и логические задачи пока под вопросом.…
ИИ-агента можно голосом попросить помочь в написании кода или научной работы.
Сегодня будет невероятный кейс! Сразу поставьте реакцию, чтоб не забыть. 2018 год, место работы - строительная компания, я - начальник pr-отдела. Мой функционал: работа над репутацией, внешний и внутренний PR, организация событий, поиск партнеров, все коммуникации, какие только можно себе представить: контент на сайт, в соцсети, спич для руководите…
Особенно интересует, какие решения можно на ней разработать для своих проектов
На данном этапе я думаю, что лучше вас никто не ответит на этот вопрос. Ведь у каждого индивидуальные проекты и задачи.