{"id":14262,"url":"\/distributions\/14262\/click?bit=1&hash=8ff33b918bfe3f5206b0198c93dd25bdafcdc76b2eaa61d9664863bd76247e56","title":"\u041f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u0442\u0435 \u041c\u043e\u0441\u043a\u0432\u0435 \u0438\u043d\u043d\u043e\u0432\u0430\u0446\u0438\u044e \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 \u0434\u043e 1,5 \u043c\u043b\u043d \u0440\u0443\u0431\u043b\u0435\u0439","buttonText":"\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435","imageUuid":"726c984a-5b07-5c75-81f7-6664571134e6"}

«Сбер» выложил в открытый доступ русскоязычную модель для обучения алгоритма генерации текстов GPT-3 Статьи редакции

GPT-3 можно обучить на основе русской литературы, русской и английской «Википедии», новостных сайтах и сайтах с вопросами и ответами и другого.

«Сбер» выложил в открытый доступ модель для генерации текстов GPT-3 Large с 760 млн параметров, сообщил управляющий директор департамента SberDevices Сергей Марков на «Хабре».

GPT-3 можно обучить на основе русской литературы, русской и английской «Википедии», новостных сайтах и сайтах с вопросами и ответами, публичных разделов Pikabu, научно-популярного сайта 22century.ru и банковского «Банки.ру», а также с помощью проекта с открытым исходным кодом, содержащим 33 млрд русских слов, Omnia Russica.

«Сбер» хотел научить GPT-3 обрабатывать программный код — для этого в обучающий корпус модели включили также данные из GitHub и StackOverflow.

Это первый обучающий корпус на русском языке, отмечают в компании. Проектом занялись подразделения «Сбера» SberDevices, SberCloud и команда по разработке ИИ AGI NLP. Команда AGI NLP провела работу по чистке данных, а также по подготовке наборов для тестирования моделей.

В мае 2020 года лаборатория OpenAI представила алгоритм GPT-3. Он работает с текстом: пишет стихи, прозу, новости и посты, придумывает шутки и литературные пародии, умеет отвечать на вопросы по прочитанному, переводить, решать примеры и программировать.

Оригинальный корпус от OpenAI содержал в основном материалы на английском — соотношение последнего и других языков составляет 93:7. В случае «Сбера» разработчики сделали упор на русский — соотношение к другим языкам составляет примерно 9:1, пишет Марков.

0
46 комментариев
Написать комментарий...
Михаил Самин

760 миллионов параметров - не 600 ГБ. 600 ГБ весит датасет, на котором обучали.

Это версия GPT-2 с увеличенным контекстом и всякими другими штуками, обученная на русском языке. Она в 150 раз меньше настоящей GPT-3, у которой 175 миллиардов параметров

Ответить
Развернуть ветку
Temporello

На вашей же картинке несколько версий, и все разных размеров.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Alexander Belousov

В комментариях на Хабре указали, что архитектура GPT-3 подробно описана в научных публикацих от Open AI, ребята из Сбера изучили эти публикации и в точь-точь повторили все, что там было описано, только для обучения использовали русский язык.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Сергей Марков

GPT-3 в оригинальной публикации OpenAI существует в 8 вариантах — от 125 млн до 174,6 млрд весов (см. табличку выше, она взята именно из публикации OpenAI). Выложенная модель это GPT-3 Large.

Ответить
Развернуть ветку
Ольга Хошвагт

Да ладно! Сбер выпускает свободное программное обеспечение

Ответить
Развернуть ветку
Mike Kosulin

GPT-3 займется развитием Сбер.Онлайн

Ответить
Развернуть ветку
Myzhik

Круто, молодцы!

Ответить
Развернуть ветку
Радик Галимуллин

Вот сейчас стало интересно что будет

Ответить
Развернуть ветку
Евгений Ларин

Где же в были в 2000-2010. Мечта дорвейшика 

Ответить
Развернуть ветку
Руслан Корнев

А сейчас это уже не работает?

Ответить
Развернуть ветку
Звенислав Николаевич

А эта нейросеть может отправить в другое отделение за карточкой уже или надо еще подучиться?

Ответить
Развернуть ветку
Ilona Morgunova

А можно для не просвещённых ) по простому обьяснить для чего и как это работает ?) плиз😇😅

Ответить
Развернуть ветку
Oleg Gladkov

Алгоритм берет данные из интернета, ты настраиваешь параметры и он создает текст, приложение, иллюстрацию.
Я например видел, как с помощью текста делали дизайн приложения.

Ответить
Развернуть ветку
Ilona Morgunova

Офигенно -круто ) т.е. закидываешь параметры и ИИ пишет за тебя пост ?

Ответить
Развернуть ветку
Oleg Gladkov

В теории да, но как подметил человек ниже, уйдет много времени, чтобы это на русском работало более менее приемлемо.

Ответить
Развернуть ветку
Sandy Bell

И комменты на vc положительные такому ии нефиг делать писать. Вот ему ещё научится регистрироваться задним числом и цены такому боту не будет.
Думаю не проблема, за 5 сёк на ста основных ресурсах регит по сто аккаунтов, а потом по необходимости их поддерживает.

Ответить
Развернуть ветку
Vladimir Miroshnichenko

не совсем....просто достраивает конец одного предложения. статью или новость не напишет осмысленно :)
задаешь начало, а это несколько слов и получаешь одно или несколько предложений в зависимости от "качества" начальных слов

Ответить
Развернуть ветку
Михаил Самин

С этой версией такое не особо получится

Ответить
Развернуть ветку
Dmitry Porkhaev

Супер нейросеть, почти ИИ. Лучше загнули gpt3 на vc много статей

Ответить
Развернуть ветку
Юрий Б.

DEL

Ответить
Развернуть ветку
33_rublya
Ответить
Развернуть ветку
Ilona Morgunova

Благодарю )

Ответить
Развернуть ветку
Слава Вареня

Некоторое время у меня был тестовый доступ к GPT-3. Вот эта статья написана при помощи GPT-3. Уже примерно три недели как к сожалению у меня доступа к этому алгоритму нет.
Я искал замену и остановился на Megatron-11b. Это крупнейшая общедоступная языковая модель, создан Facebook и имеет 11 миллиардов параметров. Здесь пример статьи, написанной Megatron-11b https://www.vproexpert.com/what-ai-talks-about-gpt-3/
Как вы можете видеть Megatron-11b создает тексты не хуже, чем GPT-3, но после нее нужно вычитывать (допускает смысловые повторы).

Ответить
Развернуть ветку
Kirill Khatkevich

у вас ссылочка на пример статьи на GPT-3 отвалилась, продублируйте, пожалуйста. И кстати, почему доступ забрали?

Ответить
Развернуть ветку
Слава Вареня

Вот написанное GPT-3 https://www.vproexpert.com/machine-learning-model-validation/ Доступ был предоставлен разработчиком сервису Философ. Сейчас этого доступа нет.

Ответить
Развернуть ветку
Dmitriy Kearo

А где доступ к GPT3 брали, если не секрет?

И Мегатрон на чём запустили? 

Ответить
Развернуть ветку
Слава Вареня

Брал доступ тут https://philosopherai.com/philosopher/how-to-learn-machine-learning-f6069b Это пример формирования текста.

Ответить
Развернуть ветку
Я не скажу свое имя машине

Вот где   <word #1>, там и <word #2>.
Сбер, с вас 4,238,432,651 рубль за разработку. 

Ответить
Развернуть ветку
Anderson Silva

круть, спасибо! не знал, что СБЕР выкладывает что-то в open source

Ответить
Развернуть ветку
Игорь Горячев

"Сбер» хотел научить GPT-3 обрабатывать программный код — для этого в обучающий корпус модели включили также данные из GitHub и StackOverflow."
Ну и как успехи, именно для этого же ЖПТ3 была нужна? Так то про неё уже везде растризвонили. 

Ответить
Развернуть ветку
Слава Вареня

Кстати, если кому-то интересно, вот песня слова которой написал GPT-3 https://youtu.be/QX2XCBH-6zQ

Ответить
Развернуть ветку
Валентин Трофимов

"...пишет стихи, прозу, новости и посты, придумывает шутки и литературные пародии, умеет отвечать на вопросы по прочитанному, переводить, решать примеры и программировать" —- написано так, будто бы модель обладает сознанием. Никого понимания написанного у неё нет. Она просто переставляет слова в существующих преложениях в соответствии с языковой моделью. Т.е. ставит наиболее вероятные слова друг за другом.

Ответить
Развернуть ветку
Vitold S.

Так и не понял прикладная польза какая?

Ответить
Развернуть ветку
Слава Вареня

Прикладная польза может быть во многом. Создание при помощи ИИ сценариев, цитат, эссе, новостей.

Вот пример мануала по поисковой оптимизации для новичков. https://www.vproexpert.com/search-engine-optimization/

Если бы там не было примечания, что это написал GPT-3, то вполне себе достойный мануал. Всё в нем логично и правильно.

Ответить
Развернуть ветку
Vitold S.

Сегодня статьи и новости имеют плохую структуру и низкое качество, а с ИИ это и вообще будет случайный набор информации. Это только увеличивает проблему роста информационного шума. Возможно это будет новым трлчком для ее решения, но я боюсь как бы человек не оказался в роли этакой собачки при мощьных ИИ когда видит что что-то происходит, но понять не может что ...

Ответить
Развернуть ветку
Антон Балакирев

Прикладная польза - возможность оптимизации ряда коммуникативных процессов + всякие супер индивидуальные сценарии игр, фильмов. То есть например, книгу можно будет сделать интерактивной и развивающейся в реальном времени.

Но и немаловажен момент демонстрации возможностей ИИ, как победа Deep Blue над Каспаровым.

Ответить
Развернуть ветку
Vitold S.

Все системы ИИ с которыми мне приходилось говорить не могут решить плохо сформулированные и частные вопросы, а типовые вопросы можно оешить через мобильное приложение или сайт. Одним словом это просто способ отсева людей с типовыми вопросами.

Ответить
Развернуть ветку
Антон Балакирев

Ну NLP системы развиваются.
Это, например, возможности GPT-3. (болдом) Довольно высокий уровень

Ответить
Развернуть ветку
Vitold S.

Антон, поймите мы говорим про сегмент услуг в котором каждый звонок в поддержку это запрос на обслуживание и каким бы хорошим ИИ не сделать все равно сложный кейс предстоит разруливать людям. Сегодня например я писал в поддержку холдинга о невозможности работы с чатом приложения дочки компании и что бы мне предложил ИИ смириться. А нужно что бы просто рестартанули Apache. Короче нам еще долго времени терпеть это все и скорее всего сделать полный ИИ мы пока не сможем, а если сможем, то что тогда? Допустим ли его до управления банком?

Ответить
Развернуть ветку
Test Bot

.

Ответить
Развернуть ветку
Никита Мамаев

Как этим пользоваться, для написания статьи допустим. И есть ли информация по требованиям системы?

Ответить
Развернуть ветку
Alexey Shalaev

Кстати, чудесно сеть (https://sbercloud.ru/ru/warp/gpt-3) отвечает на вопросы:

Ответить
Развернуть ветку
YA PROFI

Где скачать это чудо?

Ответить
Развернуть ветку
Корпорация Связи

Кстати поболтать с Нейромозгом на GPT3+ можно в Телеграм:
@AnotherMindBot

Ответить
Развернуть ветку
43 комментария
Раскрывать всегда