«Сбер» выложил в открытый доступ версию нейросети GPT-3, способную создавать тексты на 61 языке Статьи редакции
И перенёс русскоязычную модель с GitHub на свою платформу SmartMarket.
- Модель называется mGPT, она может генерировать тексты на 61 языке мира, включая языки народов России и стран СНГ, объявил «Сбер».
- Она доступна в двух версиях: базовая, с 1,3 млрд параметров, опубликована в открытом доступе на «СберДиске», а расширенная, с 13 млрд параметров, скоро станет доступна на платформе машинного обучения ML Space от SberCloud.
- В мае 2020 года OpenAI представила алгоритм GPT-3. Он работает с текстом: пишет стихи, прозу, новости и посты, придумывает шутки и литературные пародии, умеет отвечать на вопросы по прочитанному, переводить, решать примеры и программировать.
- В октябре 2020 года «Сбер» выложил в открытый доступ русскоязычную версию GPT-3. Она была доступна на GitHub, но после блокировки аккаунта банк перенёс её на платформу SmartMarket.
8
показов
21K
открытий
5
репостов
Что за глупости, они не выкладывали полную модель.
Откройте файл по ссылке, там модель RU-GPT, которая уже давно в открытом доступе и она очень "ужатая".
Файл с GPT-3 не может весить 2.8 GB (https://files.sberdisk.ru/s/NzeBqYE84TAQDiS)
Комментарий недоступен
Ну, справедливости ради, архитектурные фишки GPT-3 (sparse attention kernels, бОльший context window в 2048 токенов) в версии от Сбера присутствуют.
А то, что параметров меньше - ну, видимо, бюджет не выделили на более веселые вещи. Да и не на числе параметров мир сошёлся.