«Сбер» выложил в открытый доступ версию нейросети GPT-3, способную создавать тексты на 61 языке Статьи редакции

И перенёс русскоязычную модель с GitHub на свою платформу SmartMarket.

  • Модель называется mGPT, она может генерировать тексты на 61 языке мира, включая языки народов России и стран СНГ, объявил «Сбер».
  • Она доступна в двух версиях: базовая, с 1,3 млрд параметров, опубликована в открытом доступе на «СберДиске», а расширенная, с 13 млрд параметров, скоро станет доступна на платформе машинного обучения ML Space от SberCloud.
  • В мае 2020 года OpenAI представила алгоритм GPT-3. Он работает с текстом: пишет стихи, прозу, новости и посты, придумывает шутки и литературные пародии, умеет отвечать на вопросы по прочитанному, переводить, решать примеры и программировать.
  • В октябре 2020 года «Сбер» выложил в открытый доступ русскоязычную версию GPT-3. Она была доступна на GitHub, но после блокировки аккаунта банк перенёс её на платформу SmartMarket.
0
66 комментариев
Написать комментарий...
Михаил Коновалов

Что за глупости, они не выкладывали полную модель.
Откройте файл по ссылке, там модель RU-GPT, которая уже давно в открытом доступе и она очень "ужатая".

Файл с GPT-3 не может весить 2.8 GB (https://files.sberdisk.ru/s/NzeBqYE84TAQDiS)

Ответить
Развернуть ветку
Саша G

Это "базовая" 1.3 млрд параметров

расширенная версия с 13 миллиардами параметров скоро станет доступна на платформе машинного обучения ML Space от SberCloud.

Ответить
Развернуть ветку
Михаил Коновалов

так базовая и так же была в открытом доступе, не?)) в чем новость то, что они только планируют открыть доступ к полной базе?

Ответить
Развернуть ветку
Саша G

Такие новости надо читать на Хабре

В 2020 году «Сбер» представил русскоязычную версию нейросети GPT-3, именно она используется в двух виртуальных ассистентах семейства «Салют» от «Сбера». Русскоязычная версия GPT-3, разработанная «Сбером», доступна на платформе SmartMarket.

В ноябре 2021 года «Сбер» обучил нейросеть ruGPT-3 автоматически писать код и назвал эту функцию JARVIS.

Ответить
Развернуть ветку
Михаил Коновалов

при чем здесь хабр и почему я должен именно там читать новости?)) вы сами пробовали юзать данную модель? есть отличия от 2020 года?))

Ответить
Развернуть ветку
Д Хб

Чел считает Хабр храмом ИТ, наверное. Спал десяток лет)

Ответить
Развернуть ветку
Gradient clipping

Если я правильно понял, то это не та же модель. ruGPT-3 во много языков "не могла".
Но проверять точно лениво.

Ответить
Развернуть ветку
63 комментария
Раскрывать всегда