Google выпустила Gemma 2 с 9 и 27 миллиардами параметров

Спустя два месяца после того, как компания Google представила Gemma 2 на Google IO 2024, она наконец-то сделала ее доступной для ученых и разработчиков по всему миру. Технологический гигант выпускает модель в двух вариантах - с 9 миллиардами и 27 миллиардами параметров.

Еще больше полезностей - в телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

Но Google не собирается останавливаться только на двух размерах Gemma 2. Компания объявила о планах выпустить в скором времени модель с 2,6 миллиардами параметров, призванную "преодолеть разрыв между легкой доступностью и мощной производительностью".

Gemma 2 - это семейство продвинутых языковых ИИ-моделей, каждая из которых имеет стандартный и настроенный под конкретные инструкции варианты.

Модель 9B была обучена примерно на 8 триллионах токенов, а версия 27B - примерно на 13 триллионах токенов веб-данных, кода и математических вычислений.

В обеих моделях длина контекстного окна составляет 8 000 токенов. Варианты с настройкой инструкций обозначаются как "gemma-2-9b-it" и "gemma-2-27b-it", а базовые модели - просто "gemma-2-9b" и "gemma-2-27b".

Эти облегченные модели предназначены для эффективной работы на различном оборудовании, включая графические процессоры Nvidia и TPU Google, что делает их подходящими как для облачных приложений, так и для приложений на устройствах.

Я готов поспорить, что в новые модели Pixel будут встроены модели Gemma.

Если вы хотите узнать больше о технических деталях Gemma 2, ознакомьтесь с этой статьей.

Также вы можете скачать весовые модели Gemma 2 с этих платформ:

Разработчики и ученые могут использовать Gemma 2 бесплатно через Kaggle или через бесплатный уровень для блокнотов Colab.

Если вам не терпится посмотреть, как работает новая модель и каково качество ее ответов, попробуйте ее в Google AI Studio (но в этом случае должен быть не российский аккаунт. Список стран приведен на странице сервиса).

Войдя в систему, вы заметите, что новая модель "Gemma 2" доступна в выпадающем списке Models.

Вот пример промпта и ответа, демонстрирующего возможности модели:

И вот какой ответ я получил.

Также вы можете попробовать Gemma 2 в Ollama. Скачать Ollama можно здесь.

Затем запустите модель с помощью команды:

Это позволит загрузить файл манифеста размером 5,5 ГБ. После загрузки вы сможете сразу же пообщаться с Gemma 2 в терминале.

Если вы предпочитаете не скачивать модель на свой локальный компьютер, вы можете попробовать ее бесплатно в HuggingChat. Просто выберите текущую модель в "google/gemma-2-27b-it".

Можно также включить функцию " Search web", чтобы модель могла искать информацию в Интернете.

Чтобы использовать модели Gemma с трансформерами, убедитесь, что вы используете последнюю версию трансформеров:

Вот пример кода, как использовать gemma-2-9b-it с трансформерами.

Этот код требует около 18 ГБ оперативной памяти, что подходит для многих потребительских GPU. Тот же сниппет работает для gemma-2-27b-it, что при 56 ГБ оперативной памяти делает его очень интересной моделью для использования в производстве.

Gemma 2 поставляется с той же лицензией, что и первая версия, - это разрешительная лицензия, которая допускает распространение, тонкую настройку, коммерческое использование и производные работы.

Такой подход к открытому лицензированию позволяет разработчикам и исследователям свободно использовать и модифицировать модель для различных приложений.

Одним из недостатков Gemma 2 является длина контекстного окна в 8 000 токенов. Учитывая, что другие модели, такие как Gemini, теперь предлагают длину контекста до 2 миллионов токенов, это ограничение для некоторых приложений может оказаться недостатком.

Тем не менее, модель 27b, которая выигрывает у llama 3 70b и haiku, очень интересна, и мне не терпится опробовать ее в различных вариантах использования.

Меня особенно волнует, как эта модель будет смотреться на фоне грядущей Llama 3 с 400 миллиардами параметров от Meta. Ознакомьтесь с предварительным просмотром новой модели, чтобы понять, чего мы можем ожидать.

#google #gemma2 #ai #ии

Источник статьи на английском - здесь.