Как бесплатно попробовать модели Llama 3.1: 5 способов

Прошло всего пара дней с тех пор, как компания Meta* выпустила Llama 3.1, которая в отдельных бенчмарках опережает лучшие языковые модели с закрытым исходным кодом, такие как GPT-4o, Gemma 2 и Claude 3.5 Sonnet.

Семейство Llama 3.1 включает многоязычные модели с поддержкой французского, немецкого, хинди, итальянского, португальского, испанского и тайского языков, с количеством параметров 8, 70 и 405 миллиардов. Модель 405B, обученная с использованием более 16 000 графических процессоров Nvidia H100, может похвастаться контекстным окном до 128 тысяч токенов.

Однако, как я уже говорил, бенчмарки не всегда отражают реальную производительность. Поэтому позвольте мне рассказать вам про пять бесплатных вариантов, как можно самостоятельно попробовать Llama 3.1.

Давайте начнем.

Компания Groq, известная своим специализированным оборудованием и программным обеспечением, предназначенным для ускорения рабочих нагрузок, связанных с выводом результатов работы ИИ, теперь размещает Llama 3.1 в Groq Playground.

Вы можете заметить, что модель с 405B параметрами в настоящее время недоступна на игровой площадке; ее можно попробовать в Groq Chat.

Одна вещь, которая мне очень нравится в Groq, - это высокая скорость работы. Их LPU (Learning Processing Unit) может достигать лучших в отрасли скоростей вывода, таких как 250 токенов в секунду для модели с параметрами 70B и более 1 200 токенов в секунду для модели 8B.

HuggingChat - это чатбот с открытым исходным кодом, разработанный Hugging Face, популярной платформой, на которой пользователи могут размещать генеративные ИИ-модели. Чтобы начать работу, зайдите на сайт Hugging Chat и создайте бесплатную учетную запись.

Перейдите на страницу настроек и активируйте модель meta-llama/Meta-Llama-3.1-405B-Instruct-FP8.

Как только вы закроете модальное окно, вы сможете начать взаимодействовать с моделью.

HuggingChat также предлагает дополнительные инструменты, расширяющие его возможности, такие как веб-поиск и поддержка PDF. Например, я включил инструмент создания изображений и протестировал его со следующим промптом:

Обратите внимание, что генерация изображения - это демонстрация возможности вызова пользовательских инструментов. Это означает, что Llama 3.1 вызывает внешние инструменты, подключенные к HuggingChat, чтобы сгенерировать изображение.

Firewords - это платформа для создания и развертывания API генеративных ИИ. У них есть специальная страница, где вы можете бесплатно опробовать языковые модели, подобные Llama 3.1.

Вы можете настроить параметры в разделе Options и выполнить вызов API с вашей конфигурацией.

Вот образец вызова API из приведенного выше примера:

Имейте в виду, что для работы вам понадобится API-ключ. Посмотрите их документацию для получения более подробной информации.

В отличие от других платформ в этом списке, в Fireworks AI поддерживаются все три модели.

Cloudflare - одна из крупнейших сетей, работающих в Интернете. Люди используют сервисы Cloudflare для повышения безопасности и производительности своих сайтов и сервисов.

Недавно Cloudflare запустила AI Playground, позволяющий пользователям знакомиться с различными моделями генерации текста. Заходите на Cloudflare Playground, выбирайте модель и начинайте общаться.

Это совершенно бесплатно и даже не требует создания учетной записи на платформе. Однако неизвестно, сколько сообщений вы сможете отправлять в день.

Ollama - это продвинутый ИИ-инструмент, который позволяет пользователям легко настраивать и запускать большие языковые модели (LLM) локально на своих машинах.

Загрузите и установите Ollama отсюда. Чтобы убедиться, что установка прошла успешно, запустите в терминале команду ollama -v, и вы увидите номер версии.

Чтобы начать работу с Llama 3.1, выполните следующую команду для загрузки модели 8B и начала вывода:

Для запуска модели с 405 миллиардами параметров потребуется очень мощное оборудование, поэтому я бы предложил сначала опробовать модель с 8 миллиардами параметров.

Poe - один из лучших способов попробовать новые модели Llama бесплатно. Просто зайдите на сайт https://poe.com и создайте аккаунт.

В разделе официальных ботов найдите бота Llama-3.1-405B-T и откройте его, чтобы начать общаться с Llama 3.1. Бот размещен компанией Together.ai.

Обратите внимание, что Poe начисляет вам 3 000 бесплатных очков в день. Каждое сообщение стоит 485 очков, то есть у вас есть 6 бесплатных сообщений в день.

Я намеренно не включил Meta AI в этот список, потому что этот способ уже и так известен, а моя цель в этой статье - предоставить читателям другие способы получить доступ к Llama 3.1 бесплатно.

Надеюсь, эта статья будет вам полезна, а если вы знаете другие способы попробовать Llama 3.1 бесплатно, напишите мне об этом в комментариях. Будьте здоровы!

*Meta Platforms Inc. признана экстремистской организацией и запрещена в России

Источник статьи на английском - здесь