Как бесплатно попробовать модели Llama 3.1: 5 способов

Как бесплатно попробовать модели Llama 3.1: 5 способов

Прошло всего пара дней с тех пор, как компания Meta* выпустила Llama 3.1, которая в отдельных бенчмарках опережает лучшие языковые модели с закрытым исходным кодом, такие как GPT-4o, Gemma 2 и Claude 3.5 Sonnet.

🔥Телеграм-бот SYNTX предоставляет доступ к более чем 40 ИИ-инструментам. Без ВПН, оплата любой картой, запросы на любом языке, пробуйте бесплатно! Под капотом - GPT4o/Gemini/Claude, MidJourney, DALL-E 3 и Ideogram, LUMA, Runway, Suno, Редактор с 12 различными ИИ-инструментами для ретуши фото.


☝️Это только часть функций, доступных в SYNTX!

Семейство Llama 3.1 включает многоязычные модели с поддержкой французского, немецкого, хинди, итальянского, португальского, испанского и тайского языков, с количеством параметров 8, 70 и 405 миллиардов. Модель 405B, обученная с использованием более 16 000 графических процессоров Nvidia H100, может похвастаться контекстным окном до 128 тысяч токенов.

Еще больше полезностей - в телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

Однако, как я уже говорил, бенчмарки не всегда отражают реальную производительность. Поэтому позвольте мне рассказать вам про пять бесплатных вариантов, как можно самостоятельно попробовать Llama 3.1.

  1. Groq
  2. HuggingChat
  3. Fireworks AI
  4. Cloudflare Playground
  5. Ollama

Давайте начнем.

1. Groq

Компания Groq, известная своим специализированным оборудованием и программным обеспечением, предназначенным для ускорения рабочих нагрузок, связанных с выводом результатов работы ИИ, теперь размещает Llama 3.1 в Groq Playground.

Как бесплатно попробовать модели Llama 3.1: 5 способов

Вы можете заметить, что модель с 405B параметрами в настоящее время недоступна на игровой площадке; ее можно попробовать в Groq Chat.

Как бесплатно попробовать модели Llama 3.1: 5 способов

Одна вещь, которая мне очень нравится в Groq, - это высокая скорость работы. Их LPU (Learning Processing Unit) может достигать лучших в отрасли скоростей вывода, таких как 250 токенов в секунду для модели с параметрами 70B и более 1 200 токенов в секунду для модели 8B.

Как бесплатно попробовать модели Llama 3.1: 5 способов

2. HuggingChat

HuggingChat - это чатбот с открытым исходным кодом, разработанный Hugging Face, популярной платформой, на которой пользователи могут размещать генеративные ИИ-модели. Чтобы начать работу, зайдите на сайт Hugging Chat и создайте бесплатную учетную запись.

Перейдите на страницу настроек и активируйте модель meta-llama/Meta-Llama-3.1-405B-Instruct-FP8.

Как бесплатно попробовать модели Llama 3.1: 5 способов

Как только вы закроете модальное окно, вы сможете начать взаимодействовать с моделью.

Как бесплатно попробовать модели Llama 3.1: 5 способов

HuggingChat также предлагает дополнительные инструменты, расширяющие его возможности, такие как веб-поиск и поддержка PDF. Например, я включил инструмент создания изображений и протестировал его со следующим промптом:

Generate an image of a dog
Как бесплатно попробовать модели Llama 3.1: 5 способов

Обратите внимание, что генерация изображения - это демонстрация возможности вызова пользовательских инструментов. Это означает, что Llama 3.1 вызывает внешние инструменты, подключенные к HuggingChat, чтобы сгенерировать изображение.

3. ИИ Fireworks

Firewords - это платформа для создания и развертывания API генеративных ИИ. У них есть специальная страница, где вы можете бесплатно опробовать языковые модели, подобные Llama 3.1.

Как бесплатно попробовать модели Llama 3.1: 5 способов

Вы можете настроить параметры в разделе Options и выполнить вызов API с вашей конфигурацией.

Как бесплатно попробовать модели Llama 3.1: 5 способов

Вот образец вызова API из приведенного выше примера:

await fetch("https://api.fireworks.ai/inference/v1/chat/completions", { method: "POST", headers: { "Accept": "application/json", "Content-Type": "application/json", "Authorization": "Bearer <API_KEY>" }, body: JSON.stringify({ model: "accounts/fireworks/models/llama-v3p1-405b-instruct", max_tokens: 16384, top_p: 1, top_k: 40, presence_penalty: 0, frequency_penalty: 0, temperature: 0.6, messages: [] }) });

Имейте в виду, что для работы вам понадобится API-ключ. Посмотрите их документацию для получения более подробной информации.

В отличие от других платформ в этом списке, в Fireworks AI поддерживаются все три модели.

Как бесплатно попробовать модели Llama 3.1: 5 способов

4. Cloudflare Playground

Cloudflare - одна из крупнейших сетей, работающих в Интернете. Люди используют сервисы Cloudflare для повышения безопасности и производительности своих сайтов и сервисов.

Недавно Cloudflare запустила AI Playground, позволяющий пользователям знакомиться с различными моделями генерации текста. Заходите на Cloudflare Playground, выбирайте модель и начинайте общаться.

Как бесплатно попробовать модели Llama 3.1: 5 способов

Это совершенно бесплатно и даже не требует создания учетной записи на платформе. Однако неизвестно, сколько сообщений вы сможете отправлять в день.

5. Ollama

Ollama - это продвинутый ИИ-инструмент, который позволяет пользователям легко настраивать и запускать большие языковые модели (LLM) локально на своих машинах.

Загрузите и установите Ollama отсюда. Чтобы убедиться, что установка прошла успешно, запустите в терминале команду ollama -v, и вы увидите номер версии.

Как бесплатно попробовать модели Llama 3.1: 5 способов

Чтобы начать работу с Llama 3.1, выполните следующую команду для загрузки модели 8B и начала вывода:

ollama run llama3.1:8b
Как бесплатно попробовать модели Llama 3.1: 5 способов

Для запуска модели с 405 миллиардами параметров потребуется очень мощное оборудование, поэтому я бы предложил сначала опробовать модель с 8 миллиардами параметров.

Бонус: Poe.com

Poe - один из лучших способов попробовать новые модели Llama бесплатно. Просто зайдите на сайт https://poe.com и создайте аккаунт.

В разделе официальных ботов найдите бота Llama-3.1-405B-T и откройте его, чтобы начать общаться с Llama 3.1. Бот размещен компанией Together.ai.

Как бесплатно попробовать модели Llama 3.1: 5 способов

Обратите внимание, что Poe начисляет вам 3 000 бесплатных очков в день. Каждое сообщение стоит 485 очков, то есть у вас есть 6 бесплатных сообщений в день.

Я намеренно не включил Meta AI в этот список, потому что этот способ уже и так известен, а моя цель в этой статье - предоставить читателям другие способы получить доступ к Llama 3.1 бесплатно.

Надеюсь, эта статья будет вам полезна, а если вы знаете другие способы попробовать Llama 3.1 бесплатно, напишите мне об этом в комментариях. Будьте здоровы!

🔥Телеграм-бот SYNTX предоставляет доступ к более чем 40 ИИ-инструментам. Без ВПН, оплата любой картой, запросы на любом языке, пробуйте бесплатно! Под капотом - GPT4o/Gemini/Claude, MidJourney, DALL-E 3 и Ideogram, LUMA, Runway, Suno, Редактор с 12 различными ИИ-инструментами для ретуши фото.


☝️Это только часть функций, доступных в SYNTX!

*Meta Platforms Inc. признана экстремистской организацией и запрещена в России

Источник статьи на английском - здесь

2828
15 комментариев

Спасибо, ценная информация! Да, многие сервисы без впн даже не работают в России. А эти по-хитрому сделали )

Ответить

Спасибо, полезно

1
Ответить

Всегда пожалуйста!

Ответить

В GPT4All есть Llama 3.1 8B Instruct

1
Ответить

Спасибо за еще один вариант!

Ответить

Эти с лимитами многие. Когда найдете безлимитные сайты, маякните.

1
Ответить