Meta* представила большую модель Llama 3.1 с открытым исходным кодом

Meta* представила большую модель Llama 3.1 с открытым исходным кодом

В апреле Meta* представила модель с открытым исходным кодом, призванную превзойти самые мощные модели с закрытым исходным кодом от таких компаний, как OpenAI и Google.

Сегодня Meta вошла в историю, выпустив самую большую в мире языковую модель с открытым исходным кодом Llama 3.1. Теперь мир имеет доступ к самым современным (SOTA) моделям, которые можно использовать бесплатно.

🔥Телеграм-бот SYNTX предоставляет доступ к более чем 40 ИИ-инструментам. Без ВПН, оплата любой картой, запросы на любом языке, пробуйте бесплатно! Под капотом - GPT4o/Gemini/Claude, MidJourney, DALL-E 3 и Ideogram, LUMA, Runway, Suno, Редактор с 12 различными ИИ-инструментами для ретуши фото.


☝️Это только часть функций, доступных в SYNTX!

Генеральный директор Марк Цукерберг смело прогнозирует, что к концу этого года Meta AI обойдет ChatGPT и станет самым распространенным ассистентом.

Еще больше полезностей - в телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

Ключевые моменты:

  • Llama 3.1 - это семейство языковых моделей с 8, 70 и 405 миллиардами параметров.
  • Модель с 405 млрд параметров была обучена на более чем 16 000 графических процессоров Nvidia H100 и имеет контекстное окно до 128 тыс. токенов.
  • Модели являются многоязычными, с поддержкой французского, немецкого, хинди, итальянского, португальского, испанского и тайского языков.
  • Модель с 405 миллиардами параметров в некоторых бенчмарках превосходит GPT-4, GPT-4o, Gemma 2 и Claude 3.5 Sonnet

Что такое Llama 3.1?

Llama 3.1 от Meta - это набор предварительно обученных и настроенных генеративных многоязычных языковых моделей. Она представлена в трех конфигурациях: с 8, 70 и 405 миллиардами параметров.

  • 8B: легкая и сверхбыстрая модель, которую можно запустить в любом месте.
  • 70B: высокопроизводительная и экономичная модель, позволяющая решать различные задачи.
  • 405B: флагманская базовая модель, позволяющая решать самые разнообразные задачи.
Meta* представила большую модель Llama 3.1 с открытым исходным кодом

Модели, работающие только с текстом, оптимизированы для использования в многоязычных диалогах и превосходят многие существующие модели чатов с открытым исходным кодом и закрытые модели.

Архитектура модели Llama 3.1

Llama 3.1 - это авторегрессивная языковая модель, использующая оптимизированную архитектуру трансформаторов. В тонких версиях используются контролируемая тонкая настройка (SFT) и обучение с подкреплением и обратной связью (RLHF) для обеспечения соответствия модели предпочтениям человека в отношении полезности и безопасности.

Meta* представила большую модель Llama 3.1 с открытым исходным кодом

Количество токенов относится только к данным предварительного обучения. Во всех моделях используется технология Grouped-Query Attention (GQA) для улучшения масштабируемости вычислений.

Если вы хотите больше узнать о технических деталях Llama 3.1, ознакомьтесь с этим исследовательским документом от Meta.

Новые возможности Llama 3.1

В этой колоссальной языковой модели появились новые возможности, в том числе:

  1. Более длинное контекстное окно
  2. Мультимодальный ввод и вывод
  3. Возможность интеграции со сторонними инструментами

Llama 3.1 поддерживает семь языков в дополнение к английскому: французский, немецкий, хинди, итальянский, португальский, испанский и тайский.

Ознакомьтесь с таблицей многоязычных тестов.

Meta* представила большую модель Llama 3.1 с открытым исходным кодом

Хотя Llama может генерировать текст на других языках, эти результаты могут не соответствовать пороговым значениям безопасности и полезности. Meta настоятельно рекомендует разработчикам не использовать эту модель для разговоров на неподдерживаемых языках без тонкой настройки и системного контроля.

Возможность генерации изображений

Meta AI представила новую функцию «Imagine Me», которая сканирует ваше лицо с помощью камеры телефона, позволяя вам вставлять свое лицо в генерируемые искусственным интеллектом изображения.

Meta* представила большую модель Llama 3.1 с открытым исходным кодом

Получая ваше изображение непосредственно через камеру, а не используя фотографии из вашего профиля, Meta стремится предотвратить создание дипфейков.

Llama 3.1 также может превращать созданные вами неподвижные изображения в анимацию, а также добавлять, удалять или изменять созданные вами изображения.

Контрольные показатели производительности

Согласно приведенным ниже бенчмаркам, модели Llama 3.1 от Meta превосходят GPT-4o от OpenAI и другие популярные языковые модели в различных тестах, устанавливая новый стандарт в нескольких ключевых областях ИИ-производительности.

Meta* представила большую модель Llama 3.1 с открытым исходным кодом

Meta также провела человеческую оценку Llama 3.1 против GPT-4, GPT-4o и Claude 3.5 Sonnet. Вот результаты:

  • Слева: сравнение с GPT-4.
  • Посередине: Сравнение с GPT-4o.
  • Справа: Сравнение с Claude 3.5 Sonnet.
Meta* представила большую модель Llama 3.1 с открытым исходным кодом

Все результаты включают 95 % доверительные интервалы и исключают ничьи.

Попробуйте сами

Llama 3.1 уже доступна в Groq Playground.

Meta* представила большую модель Llama 3.1 с открытым исходным кодом

Хотя модель с 405 миллиардами параметров в настоящее время недоступна на игровой площадке, вы можете попробовать ее в Groq Chat.

Meta* представила большую модель Llama 3.1 с открытым исходным кодом

Новые модели доступны в Meta AI, но только для некоторых стран.

Meta* представила большую модель Llama 3.1 с открытым исходным кодом
Мы запускаем Meta AI на английском языке более чем в дюжине стран за пределами США. Теперь люди получат доступ к Meta AI в Австралии, Канаде, Гане, Ямайке, Малави, Новой Зеландии, Нигерии, Пакистане, Сингапуре, Южной Африке, Уганде, Замбии и Зимбабве - и мы только начинаем.

Как попробовать модели

Вы можете скачать модели с этих трех сайтов:

Кроме того, вы можете получить доступ к моделям Prompt Guard и Llama Guard из соответствующих репозиториев. Модели промптов - это настраиваемые модели, предназначенные для предотвращения атак с использованием промптов, а модели Llama Guard обеспечивают защиту ввода и вывода для развертываний LLM, основанных на политике MLCommons.

ИИ с открытым исходным кодом - это большое достижение. Открытость означает больше идей и инноваций от разработчиков со всего мира. Это разительный контраст с моделями с закрытым исходным кодом, которые ограничивают доступ и творчество.

Но бенчмарки не отражают реальной производительности.

Несмотря на то, что бенчмарки демонстрируют впечатляющие возможности Llama 3.1, мы сможем увидеть ее истинный потенциал только при реальном использовании сообществом. Если все больше людей будут использовать и совершенствовать эти модели, мы можем ожидать появления в будущем новых интересных инструментов и ИИ-приложений.

🔥Телеграм-бот SYNTX предоставляет доступ к более чем 40 ИИ-инструментам. Без ВПН, оплата любой картой, запросы на любом языке, пробуйте бесплатно! Под капотом - GPT4o/Gemini/Claude, MidJourney, DALL-E 3 и Ideogram, LUMA, Runway, Suno, Редактор с 12 различными ИИ-инструментами для ретуши фото.


☝️Это только часть функций, доступных в SYNTX!
Еще больше полезностей - в телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

*Meta Platforms Inc. признана экстремистской организацией и запрещена в России

Источник статьи на английском - здесь

3232
10 комментариев

Слушай, подскажи пожалуйста, где можно генерировать картинки именно онлайн (на сайте)
Миижорни понятно, но где еще можно зайти на сайт, и начать генерировать (платно/бесплатно не имеет значения)

У тебя может есть готовый список или пост на эту тему?

1
Ответить

Playground - там и генераций бесплатных много

1
Ответить

интересно было прочитать

1
Ответить

Спасибо, Елена!

Ответить
Комментарий удалён модератором

Судя по всему, крутая штука )

Ответить

Цукерберг не хочет выбывать из гонки. Не знаю, обгонит ли он продукты от openai, но потенциал, определенно, есть.

Ответить