Хакатон SberCloud
для разработчиков
До конца регистрации:
06
:
19
:
38
:
41
Подробнее
Machine learning
Рая Хачатрян
11 687

«Сбер» выложил в открытый доступ русскоязычную модель для обучения алгоритма генерации текстов GPT-3 Материал редакции

GPT-3 можно обучить на основе русской литературы, русской и английской «Википедии», новостных сайтах и сайтах с вопросами и ответами и другого.

В закладки

«Сбер» выложил в открытый доступ модель для генерации текстов GPT-3 Large с 760 млн параметров, сообщил управляющий директор департамента SberDevices Сергей Марков на «Хабре».

GPT-3 можно обучить на основе русской литературы, русской и английской «Википедии», новостных сайтах и сайтах с вопросами и ответами, публичных разделов Pikabu, научно-популярного сайта 22century.ru и банковского «Банки.ру», а также с помощью проекта с открытым исходным кодом, содержащим 33 млрд русских слов, Omnia Russica.

Объявление на vc.ru Отключить рекламу
Маркетинг
Как бизнесу заработать в соцсетях в 2020 году: полноценное руководство с прогнозами и примерами
Пошаговая рабочая стратегия продвижения бизнеса в соцсетях с медиапланом и примерами внедрения от директора «Студии…

«Сбер» хотел научить GPT-3 обрабатывать программный код — для этого в обучающий корпус модели включили также данные из GitHub и StackOverflow.

Это первый обучающий корпус на русском языке, отмечают в компании. Проектом занялись подразделения «Сбера» SberDevices, SberCloud и команда по разработке ИИ AGI NLP. Команда AGI NLP провела работу по чистке данных, а также по подготовке наборов для тестирования моделей.

В мае 2020 года лаборатория OpenAI представила алгоритм GPT-3. Он работает с текстом: пишет стихи, прозу, новости и посты, придумывает шутки и литературные пародии, умеет отвечать на вопросы по прочитанному, переводить, решать примеры и программировать.

Оригинальный корпус от OpenAI содержал в основном материалы на английском — соотношение последнего и других языков составляет 93:7. В случае «Сбера» разработчики сделали упор на русский — соотношение к другим языкам составляет примерно 9:1, пишет Марков.

{ "author_name": "Рая Хачатрян", "author_type": "editor", "tags": ["\u0441\u0431\u0435\u0440","\u043d\u043e\u0432\u043e\u0441\u0442\u044c","\u043d\u043e\u0432\u043e\u0441\u0442\u0438","\u0438\u0438","openai"], "comments": 41, "likes": 31, "favorites": 112, "is_advertisement": false, "subsite_label": "ml", "id": 169576, "is_wide": true, "is_ugc": false, "date": "Thu, 22 Oct 2020 15:45:13 +0300", "is_special": false }
Объявление на vc.ru Отключить рекламу
0
41 комментарий
Популярные
По порядку
Написать комментарий...
24

760 миллионов параметров - не 600 ГБ. 600 ГБ весит датасет, на котором обучали.

Это версия GPT-2 с увеличенным контекстом и всякими другими штуками, обученная на русском языке. Она в 150 раз меньше настоящей GPT-3, у которой 175 миллиардов параметров

Ответить
0

На вашей же картинке несколько версий, и все разных размеров.

Ответить
11

GPT-3 не выкладывалась в свободный доступ же, как сбер её повторил? Только GPT-2 есть в открытом доступе. Какая-то особенная и своя 3 походу.

Ответить
12

В комментариях на Хабре указали, что архитектура GPT-3 подробно описана в научных публикацих от Open AI, ребята из Сбера изучили эти публикации и в точь-точь повторили все, что там было описано, только для обучения использовали русский язык.

Ответить
5

Ну как минимум количество параметров сильно отличается, а основной смысл GPT-3 как раз в их количестве.

Ответить
4

GPT-3 в оригинальной публикации OpenAI существует в 8 вариантах — от 125 млн до 174,6 млрд весов (см. табличку выше, она взята именно из публикации OpenAI). Выложенная модель это GPT-3 Large.

Ответить
8

Да ладно! Сбер выпускает свободное программное обеспечение

Ответить
5

GPT-3 займется развитием Сбер.Онлайн

Ответить
8

Круто, молодцы!

Ответить
7

Вот сейчас стало интересно что будет

Ответить
5

Где же в были в 2000-2010. Мечта дорвейшика 

Ответить
0

А сейчас это уже не работает?

Ответить
1

А эта нейросеть может отправить в другое отделение за карточкой уже или надо еще подучиться?

Ответить
0

А можно для не просвещённых ) по простому обьяснить для чего и как это работает ?) плиз😇😅

Ответить
0

Алгоритм берет данные из интернета, ты настраиваешь параметры и он создает текст, приложение, иллюстрацию.
Я например видел, как с помощью текста делали дизайн приложения.

Ответить
0

Офигенно -круто ) т.е. закидываешь параметры и ИИ пишет за тебя пост ?

Ответить
2

В теории да, но как подметил человек ниже, уйдет много времени, чтобы это на русском работало более менее приемлемо.

Ответить
1

И комменты на vc положительные такому ии нефиг делать писать. Вот ему ещё научится регистрироваться задним числом и цены такому боту не будет.
Думаю не проблема, за 5 сёк на ста основных ресурсах регит по сто аккаунтов, а потом по необходимости их поддерживает.

Ответить
0

С этой версией такое не особо получится

Ответить
0

Супер нейросеть, почти ИИ. Лучше загнули gpt3 на vc много статей

Ответить

Предварительный вентилятор

1

Вот где   <word #1>, там и <word #2>.
Сбер, с вас 4,238,432,651 рубль за разработку. 

Ответить
1

круть, спасибо! не знал, что СБЕР выкладывает что-то в open source

Ответить
1

"Сбер» хотел научить GPT-3 обрабатывать программный код — для этого в обучающий корпус модели включили также данные из GitHub и StackOverflow."
Ну и как успехи, именно для этого же ЖПТ3 была нужна? Так то про неё уже везде растризвонили. 

Ответить
1

Кстати, если кому-то интересно, вот песня слова которой написал GPT-3 https://youtu.be/QX2XCBH-6zQ

Ответить
1

"...пишет стихи, прозу, новости и посты, придумывает шутки и литературные пародии, умеет отвечать на вопросы по прочитанному, переводить, решать примеры и программировать" —- написано так, будто бы модель обладает сознанием. Никого понимания написанного у неё нет. Она просто переставляет слова в существующих преложениях в соответствии с языковой моделью. Т.е. ставит наиболее вероятные слова друг за другом.

Ответить
0

Некоторое время у меня был тестовый доступ к GPT-3. Вот эта статья написана при помощи GPT-3. Уже примерно три недели как к сожалению у меня доступа к этому алгоритму нет.
Я искал замену и остановился на Megatron-11b. Это крупнейшая общедоступная языковая модель, создан Facebook и имеет 11 миллиардов параметров. Здесь пример статьи, написанной Megatron-11b https://www.vproexpert.com/what-ai-talks-about-gpt-3/
Как вы можете видеть Megatron-11b создает тексты не хуже, чем GPT-3, но после нее нужно вычитывать (допускает смысловые повторы).

Ответить
0

у вас ссылочка на пример статьи на GPT-3 отвалилась, продублируйте, пожалуйста. И кстати, почему доступ забрали?

Ответить
1

Вот написанное GPT-3 https://www.vproexpert.com/machine-learning-model-validation/ Доступ был предоставлен разработчиком сервису Философ. Сейчас этого доступа нет.

Ответить
0

А где доступ к GPT3 брали, если не секрет?

И Мегатрон на чём запустили? 

Ответить
0

Брал доступ тут https://philosopherai.com/philosopher/how-to-learn-machine-learning-f6069b Это пример формирования текста.

Ответить
0

Так и не понял прикладная польза какая?

Ответить
0

Прикладная польза может быть во многом. Создание при помощи ИИ сценариев, цитат, эссе, новостей.

Вот пример мануала по поисковой оптимизации для новичков. https://www.vproexpert.com/search-engine-optimization/

Если бы там не было примечания, что это написал GPT-3, то вполне себе достойный мануал. Всё в нем логично и правильно.

Ответить
0

Сегодня статьи и новости имеют плохую структуру и низкое качество, а с ИИ это и вообще будет случайный набор информации. Это только увеличивает проблему роста информационного шума. Возможно это будет новым трлчком для ее решения, но я боюсь как бы человек не оказался в роли этакой собачки при мощьных ИИ когда видит что что-то происходит, но понять не может что ...

Ответить
0

Прикладная польза - возможность оптимизации ряда коммуникативных процессов + всякие супер индивидуальные сценарии игр, фильмов. То есть например, книгу можно будет сделать интерактивной и развивающейся в реальном времени.

Но и немаловажен момент демонстрации возможностей ИИ, как победа Deep Blue над Каспаровым.

Ответить
0

Все системы ИИ с которыми мне приходилось говорить не могут решить плохо сформулированные и частные вопросы, а типовые вопросы можно оешить через мобильное приложение или сайт. Одним словом это просто способ отсева людей с типовыми вопросами.

Ответить
0

Ну NLP системы развиваются.
Это, например, возможности GPT-3. (болдом) Довольно высокий уровень

Ответить
0

Антон, поймите мы говорим про сегмент услуг в котором каждый звонок в поддержку это запрос на обслуживание и каким бы хорошим ИИ не сделать все равно сложный кейс предстоит разруливать людям. Сегодня например я писал в поддержку холдинга о невозможности работы с чатом приложения дочки компании и что бы мне предложил ИИ смириться. А нужно что бы просто рестартанули Apache. Короче нам еще долго времени терпеть это все и скорее всего сделать полный ИИ мы пока не сможем, а если сможем, то что тогда? Допустим ли его до управления банком?

Ответить
0

.

Ответить

Комментарии

null