«Сбер» выложил в открытый доступ версию нейросети GPT-3, способную создавать тексты на 61 языке Статьи редакции

И перенёс русскоязычную модель с GitHub на свою платформу SmartMarket.

  • Модель называется mGPT, она может генерировать тексты на 61 языке мира, включая языки народов России и стран СНГ, объявил «Сбер».
  • Она доступна в двух версиях: базовая, с 1,3 млрд параметров, опубликована в открытом доступе на «СберДиске», а расширенная, с 13 млрд параметров, скоро станет доступна на платформе машинного обучения ML Space от SberCloud.
  • В мае 2020 года OpenAI представила алгоритм GPT-3. Он работает с текстом: пишет стихи, прозу, новости и посты, придумывает шутки и литературные пародии, умеет отвечать на вопросы по прочитанному, переводить, решать примеры и программировать.
  • В октябре 2020 года «Сбер» выложил в открытый доступ русскоязычную версию GPT-3. Она была доступна на GitHub, но после блокировки аккаунта банк перенёс её на платформу SmartMarket.
0
66 комментариев
Написать комментарий...
Дмитрий Лукашов

А я вам сейчас покажу, откуда в Сбере готовился слив. И если бы за 6 часов до этого Яндекс не сделал бы превентивный слив — четыре базы, я сейчас покажу, я уже все адреса на картах разметил — они бы слили базу госуслуг, которая была в открытом доступе. По этому не мы устроили этот слив, у нас совесть чиста. Хорошо, что слили.

Ответить
Развернуть ветку
Вася Пражкин
По этому

Плакал весь GPT-3 от Сбера

Ответить
Развернуть ветку
Олег Саенов

а тупые комментарии на VC она может писать? воооот, а я могу.

Ответить
Развернуть ветку
Артем Стадник

Хорошая попытка, GPT-3

Ответить
Развернуть ветку
1 комментарий
under construction

его комментарии в отличии от твоих не будут тупыми

Ответить
Развернуть ветку
3 комментария
Филипп Новиков

Уже была такая идея реализована здесь на vc где-то год назад :)

Ответить
Развернуть ветку
1 комментарий
Roman Perfilyev

блин, это лучшее доказательство ущербности нейронок перед человеком)

Ответить
Развернуть ветку
ROME

боты скоро будут на заводе хуярить

Ответить
Развернуть ветку
Renat Zaripov

Завод им. Пригожина

Ответить
Развернуть ветку
1 комментарий
Aidar S

Хах, представил будущее Интернета: вместо DDOS атак на соц. сети будет атака человекоподобным флудом в комментариях и статьях. А чтобы от них отбиваться нужен еще более сильный ИИ, отличающий комментарии людей от GPT-3. А там и половина настоящих комментаторов под нож попадет.
А в конце ИИ будет философские беседы сам с собой вести, вытеснив людей.

Ответить
Развернуть ветку
5 комментариев
Кружочек

на заводе Лахта

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Дмитрий Беговатов

Разработчики, кому интересно ковыряться с этой штукой и хотите сделать какой-то продукт, основанный на ней!

Напишите в личку https://t.me/begovatovd, я люблю писать сам, организовал клуб для авторов на виси, а сейчас ещё и взялся за развитие приложения для быстрого написания текстов «Фитиль» https://fitilapp.ru. Интересно дальше развивать инструменты для авторов.

Ответить
Развернуть ветку
Andy

Сможешь написать мануал как ее запустить и основные нюансы работы?

Ответить
Развернуть ветку
Звенислав Николаевич

А в чем прикол писать текст пять минут? И в чем отличие от оригинального проекта?

Ответить
Развернуть ветку
1 комментарий
Олег Комаров

Я читаю коменты к статье сейчас и мне кажется, что их все написал GPT-3…

Вы напишите плз, можно было сберу выкладывать модель или нет? Что мы потеряли и что приобрели? GPT-3 это не их модель, она в свободном доступе была или нет, и если была её надо ещё обучать лет 10 или это уже обученая?

Ответить
Развернуть ветку
Саша G

Здесь задайте вопрос

Ответить
Развернуть ветку
3 комментария
Вася Пражкин
Что мы потеряли и что приобрели?

Мы, висишники - ничего не потеряли и приобрели тему для обсуждения. А вообще сберовская GPT-3 может быть полезна студентам и всяким там лингвистам-дата сайенсистам.

Ответить
Развернуть ветку
under construction

скорей всего обученная модель. так то смысла в новости нет.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
1 комментарий
Влад Борщ

Данные пользователей яндекс еды, исходники YDB, нейросеть GPT-3. Молодцы))

Ответить
Развернуть ветку
Илья Дёмин
Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Артём Сычёв

А можете сделать нейросеть, которая придумает, как вам из под санкций выйти?

Ответить
Развернуть ветку
Igor Kowalski

А зачем?

Ответить
Развернуть ветку
Михаил Коновалов

Что за глупости, они не выкладывали полную модель.
Откройте файл по ссылке, там модель RU-GPT, которая уже давно в открытом доступе и она очень "ужатая".

Файл с GPT-3 не может весить 2.8 GB (https://files.sberdisk.ru/s/NzeBqYE84TAQDiS)

Ответить
Развернуть ветку
Саша G

Это "базовая" 1.3 млрд параметров

расширенная версия с 13 миллиардами параметров скоро станет доступна на платформе машинного обучения ML Space от SberCloud.

Ответить
Развернуть ветку
5 комментариев
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
1 комментарий
Andrey Kulakov

- А я печатаю 1200 знаков в минуту!
- Да ладно?!
- ...такая ерунда получается

Ответить
Развернуть ветку
Дмитрий Юрьевич

Копия бредогенератора?

Ответить
Развернуть ветку
Филипп Новиков

Лучшее применение GPT hands down:

https://www.reddit.com/r/SubSimulatorGPT2/top/?t=all

Ответить
Развернуть ветку
Антон

Такой роллеркостер, то смешно — то жутковато.

Ответить
Развернуть ветку
Mikhail Denisov

Прям от нечего делать взяли и перенесли с GitHub, да да, мило)))

Ответить
Развернуть ветку
unknown

когда сервисы настолько плохи, что для рекламы сбердиска нужны сливы технологий

Ответить
Развернуть ветку
Андрей

т.е. локализовал GPT-3. Вообще разработка ПО в России это какое-то лицемерие, попытка присвоить open source проекты и их заслуги под соусом своего родного.

Ответить
Развернуть ветку
Mike Kosulin
И перенёс русскоязычную модель с GitHub на свою платформу SmartMarket.

Достойная замена

Ответить
Развернуть ветку
Artem Petrenkov

Это не платформа, а просто промо-страница. Они так же продолжают хоститься на американском GitHub и американском Hugging Face.

Ответить
Развернуть ветку
Чарльз Мангер

Даешь пятилетку в 4 года?

Ответить
Развернуть ветку
Алексей Морозов

А что мне с этим делать?
SaaS в студию.

Ответить
Развернуть ветку
Кипарис Барбос

Блокчейн экосистемы конвертируют капитализацию искусственным интеллектом с применением криптовалют в супераппе

Ответить
Развернуть ветку
Zoringer
с 13 млрд параметров

состарился и умер пока вводил параметры

Ответить
Развернуть ветку
Аполлон Степанов

Если честно, я не понимаю полезность нейронной сети.

Вот я смотрю: https://github.com/ai-forever/ruGPT3_demos

Цитата:
"Обучена на:

common crawl
wiki
github
stackoverflow
news
social media
books"

Ее смысл, чтобы она отвечала на вопросы из Википедии?? Помогала гуглить??

Уже вижу проблемы, типо передачи формул и рисунков.

Поиграться, да, прикольно.

На мой взгляд, ценностью может являться подход к обучению роботов, который бы позволил автоматизировать ответы на обращения клиентов.

Но их обучать нужно, само собой, на соответствующих датасетах ответов клиентам. Например.

Но в данном случае есть и другие проблемы. Технологическо-экономического плана. 256 GPU это конечно сильно.

Ответить
Развернуть ветку
Ivan the Not So Terrible

Алле, это служба безопасности.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
63 комментария
Раскрывать всегда