Meta* представила большую модель Llama 3.1 с открытым исходным кодом

В апреле Meta* представила модель с открытым исходным кодом, призванную превзойти самые мощные модели с закрытым исходным кодом от таких компаний, как OpenAI и Google.

Сегодня Meta вошла в историю, выпустив самую большую в мире языковую модель с открытым исходным кодом Llama 3.1. Теперь мир имеет доступ к самым современным (SOTA) моделям, которые можно использовать бесплатно.

Генеральный директор Марк Цукерберг смело прогнозирует, что к концу этого года Meta AI обойдет ChatGPT и станет самым распространенным ассистентом.

Ключевые моменты:

Llama 3.1 от Meta - это набор предварительно обученных и настроенных генеративных многоязычных языковых моделей. Она представлена в трех конфигурациях: с 8, 70 и 405 миллиардами параметров.

Модели, работающие только с текстом, оптимизированы для использования в многоязычных диалогах и превосходят многие существующие модели чатов с открытым исходным кодом и закрытые модели.

Llama 3.1 - это авторегрессивная языковая модель, использующая оптимизированную архитектуру трансформаторов. В тонких версиях используются контролируемая тонкая настройка (SFT) и обучение с подкреплением и обратной связью (RLHF) для обеспечения соответствия модели предпочтениям человека в отношении полезности и безопасности.

Количество токенов относится только к данным предварительного обучения. Во всех моделях используется технология Grouped-Query Attention (GQA) для улучшения масштабируемости вычислений.

Если вы хотите больше узнать о технических деталях Llama 3.1, ознакомьтесь с этим исследовательским документом от Meta.

В этой колоссальной языковой модели появились новые возможности, в том числе:

Llama 3.1 поддерживает семь языков в дополнение к английскому: французский, немецкий, хинди, итальянский, португальский, испанский и тайский.

Ознакомьтесь с таблицей многоязычных тестов.

Хотя Llama может генерировать текст на других языках, эти результаты могут не соответствовать пороговым значениям безопасности и полезности. Meta настоятельно рекомендует разработчикам не использовать эту модель для разговоров на неподдерживаемых языках без тонкой настройки и системного контроля.

Meta AI представила новую функцию «Imagine Me», которая сканирует ваше лицо с помощью камеры телефона, позволяя вам вставлять свое лицо в генерируемые искусственным интеллектом изображения.

Получая ваше изображение непосредственно через камеру, а не используя фотографии из вашего профиля, Meta стремится предотвратить создание дипфейков.

Llama 3.1 также может превращать созданные вами неподвижные изображения в анимацию, а также добавлять, удалять или изменять созданные вами изображения.

Согласно приведенным ниже бенчмаркам, модели Llama 3.1 от Meta превосходят GPT-4o от OpenAI и другие популярные языковые модели в различных тестах, устанавливая новый стандарт в нескольких ключевых областях ИИ-производительности.

Meta также провела человеческую оценку Llama 3.1 против GPT-4, GPT-4o и Claude 3.5 Sonnet. Вот результаты:

Все результаты включают 95 % доверительные интервалы и исключают ничьи.

Llama 3.1 уже доступна в Groq Playground.

Хотя модель с 405 миллиардами параметров в настоящее время недоступна на игровой площадке, вы можете попробовать ее в Groq Chat.

Новые модели доступны в Meta AI, но только для некоторых стран.

Вы можете скачать модели с этих трех сайтов:

Кроме того, вы можете получить доступ к моделям Prompt Guard и Llama Guard из соответствующих репозиториев. Модели промптов - это настраиваемые модели, предназначенные для предотвращения атак с использованием промптов, а модели Llama Guard обеспечивают защиту ввода и вывода для развертываний LLM, основанных на политике MLCommons.

ИИ с открытым исходным кодом - это большое достижение. Открытость означает больше идей и инноваций от разработчиков со всего мира. Это разительный контраст с моделями с закрытым исходным кодом, которые ограничивают доступ и творчество.

Но бенчмарки не отражают реальной производительности.

Несмотря на то, что бенчмарки демонстрируют впечатляющие возможности Llama 3.1, мы сможем увидеть ее истинный потенциал только при реальном использовании сообществом. Если все больше людей будут использовать и совершенствовать эти модели, мы можем ожидать появления в будущем новых интересных инструментов и ИИ-приложений.

*Meta Platforms Inc. признана экстремистской организацией и запрещена в России

Источник статьи на английском - здесь