{"id":9132,"title":"\u041f\u043e\u0447\u0435\u043c\u0443 \u043a\u0430\u043d\u0430\u0434\u0441\u043a\u0438\u0435 \u043b\u044e\u0431\u0438\u0442\u0435\u043b\u0438 \u043a\u0432\u0430\u0434\u0440\u043e\u0446\u0438\u043a\u043b\u043e\u0432 \u043f\u043e\u043a\u0443\u043f\u0430\u044e\u0442 \u0437\u0430\u043f\u0447\u0430\u0441\u0442\u0438 \u0432 \u0420\u043e\u0441\u0441\u0438\u0438","url":"\/redirect?component=advertising&id=9132&url=https:\/\/vc.ru\/pochta\/325041-kak-kanadskie-lyubiteli-snegohodov-i-kvadrociklov-otkryli-dlya-sebya-rossiyu&placeBit=1&hash=cd54543b13c8a6083dd50d5669dab69e3e15e40792f9ed69859d5c8934b50d3d","isPaidAndBannersEnabled":false}

«Сбер» выложил в открытый доступ русскоязычную модель для обучения алгоритма генерации текстов GPT-3 Статьи редакции

GPT-3 можно обучить на основе русской литературы, русской и английской «Википедии», новостных сайтах и сайтах с вопросами и ответами и другого.

«Сбер» выложил в открытый доступ модель для генерации текстов GPT-3 Large с 760 млн параметров, сообщил управляющий директор департамента SberDevices Сергей Марков на «Хабре».

GPT-3 можно обучить на основе русской литературы, русской и английской «Википедии», новостных сайтах и сайтах с вопросами и ответами, публичных разделов Pikabu, научно-популярного сайта 22century.ru и банковского «Банки.ру», а также с помощью проекта с открытым исходным кодом, содержащим 33 млрд русских слов, Omnia Russica.

«Сбер» хотел научить GPT-3 обрабатывать программный код — для этого в обучающий корпус модели включили также данные из GitHub и StackOverflow.

Это первый обучающий корпус на русском языке, отмечают в компании. Проектом занялись подразделения «Сбера» SberDevices, SberCloud и команда по разработке ИИ AGI NLP. Команда AGI NLP провела работу по чистке данных, а также по подготовке наборов для тестирования моделей.

В мае 2020 года лаборатория OpenAI представила алгоритм GPT-3. Он работает с текстом: пишет стихи, прозу, новости и посты, придумывает шутки и литературные пародии, умеет отвечать на вопросы по прочитанному, переводить, решать примеры и программировать.

Оригинальный корпус от OpenAI содержал в основном материалы на английском — соотношение последнего и других языков составляет 93:7. В случае «Сбера» разработчики сделали упор на русский — соотношение к другим языкам составляет примерно 9:1, пишет Марков.

0
46 комментариев
Популярные
По порядку
Написать комментарий...

Кстати поболтать с Нейромозгом на GPT3+ можно в Телеграм:
@AnotherMindBot

0

760 миллионов параметров - не 600 ГБ. 600 ГБ весит датасет, на котором обучали.

Это версия GPT-2 с увеличенным контекстом и всякими другими штуками, обученная на русском языке. Она в 150 раз меньше настоящей GPT-3, у которой 175 миллиардов параметров ред.

24

На вашей же картинке несколько версий, и все разных размеров.

0

GPT-3 не выкладывалась в свободный доступ же, как сбер её повторил? Только GPT-2 есть в открытом доступе. Какая-то особенная и своя 3 походу.

11

В комментариях на Хабре указали, что архитектура GPT-3 подробно описана в научных публикацих от Open AI, ребята из Сбера изучили эти публикации и в точь-точь повторили все, что там было описано, только для обучения использовали русский язык.

12

Ну как минимум количество параметров сильно отличается, а основной смысл GPT-3 как раз в их количестве.

5

GPT-3 в оригинальной публикации OpenAI существует в 8 вариантах — от 125 млн до 174,6 млрд весов (см. табличку выше, она взята именно из публикации OpenAI). Выложенная модель это GPT-3 Large.

4

Да ладно! Сбер выпускает свободное программное обеспечение

8

GPT-3 займется развитием Сбер.Онлайн

7

Круто, молодцы!

8

Вот сейчас стало интересно что будет

7

Где же в были в 2000-2010. Мечта дорвейшика 

5

А сейчас это уже не работает?

0

А эта нейросеть может отправить в другое отделение за карточкой уже или надо еще подучиться?

1

А можно для не просвещённых ) по простому обьяснить для чего и как это работает ?) плиз😇😅

0

Алгоритм берет данные из интернета, ты настраиваешь параметры и он создает текст, приложение, иллюстрацию.
Я например видел, как с помощью текста делали дизайн приложения.

0

Офигенно -круто ) т.е. закидываешь параметры и ИИ пишет за тебя пост ?

0

В теории да, но как подметил человек ниже, уйдет много времени, чтобы это на русском работало более менее приемлемо.

2

И комменты на vc положительные такому ии нефиг делать писать. Вот ему ещё научится регистрироваться задним числом и цены такому боту не будет.
Думаю не проблема, за 5 сёк на ста основных ресурсах регит по сто аккаунтов, а потом по необходимости их поддерживает.

1

не совсем....просто достраивает конец одного предложения. статью или новость не напишет осмысленно :)
задаешь начало, а это несколько слов и получаешь одно или несколько предложений в зависимости от "качества" начальных слов

0

С этой версией такое не особо получится

0

Супер нейросеть, почти ИИ. Лучше загнули gpt3 на vc много статей

0

Некоторое время у меня был тестовый доступ к GPT-3. Вот эта статья написана при помощи GPT-3. Уже примерно три недели как к сожалению у меня доступа к этому алгоритму нет.
Я искал замену и остановился на Megatron-11b. Это крупнейшая общедоступная языковая модель, создан Facebook и имеет 11 миллиардов параметров. Здесь пример статьи, написанной Megatron-11b https://www.vproexpert.com/what-ai-talks-about-gpt-3/
Как вы можете видеть Megatron-11b создает тексты не хуже, чем GPT-3, но после нее нужно вычитывать (допускает смысловые повторы).

1

у вас ссылочка на пример статьи на GPT-3 отвалилась, продублируйте, пожалуйста. И кстати, почему доступ забрали?

0

Вот написанное GPT-3 https://www.vproexpert.com/machine-learning-model-validation/ Доступ был предоставлен разработчиком сервису Философ. Сейчас этого доступа нет.

1

А где доступ к GPT3 брали, если не секрет?

И Мегатрон на чём запустили? 

0

Брал доступ тут https://philosopherai.com/philosopher/how-to-learn-machine-learning-f6069b Это пример формирования текста.

0
Параллельный жар

Вот где   <word #1>, там и <word #2>.
Сбер, с вас 4,238,432,651 рубль за разработку. 

1

круть, спасибо! не знал, что СБЕР выкладывает что-то в open source

1

"Сбер» хотел научить GPT-3 обрабатывать программный код — для этого в обучающий корпус модели включили также данные из GitHub и StackOverflow."
Ну и как успехи, именно для этого же ЖПТ3 была нужна? Так то про неё уже везде растризвонили. 

1

Кстати, если кому-то интересно, вот песня слова которой написал GPT-3 https://youtu.be/QX2XCBH-6zQ

1

"...пишет стихи, прозу, новости и посты, придумывает шутки и литературные пародии, умеет отвечать на вопросы по прочитанному, переводить, решать примеры и программировать" —- написано так, будто бы модель обладает сознанием. Никого понимания написанного у неё нет. Она просто переставляет слова в существующих преложениях в соответствии с языковой моделью. Т.е. ставит наиболее вероятные слова друг за другом.

1
Параллельный жар

Так и не понял прикладная польза какая?

0

Прикладная польза может быть во многом. Создание при помощи ИИ сценариев, цитат, эссе, новостей.

Вот пример мануала по поисковой оптимизации для новичков. https://www.vproexpert.com/search-engine-optimization/

Если бы там не было примечания, что это написал GPT-3, то вполне себе достойный мануал. Всё в нем логично и правильно.

0
Параллельный жар

Сегодня статьи и новости имеют плохую структуру и низкое качество, а с ИИ это и вообще будет случайный набор информации. Это только увеличивает проблему роста информационного шума. Возможно это будет новым трлчком для ее решения, но я боюсь как бы человек не оказался в роли этакой собачки при мощьных ИИ когда видит что что-то происходит, но понять не может что ...

0

Прикладная польза - возможность оптимизации ряда коммуникативных процессов + всякие супер индивидуальные сценарии игр, фильмов. То есть например, книгу можно будет сделать интерактивной и развивающейся в реальном времени.

Но и немаловажен момент демонстрации возможностей ИИ, как победа Deep Blue над Каспаровым.

0
Параллельный жар

Все системы ИИ с которыми мне приходилось говорить не могут решить плохо сформулированные и частные вопросы, а типовые вопросы можно оешить через мобильное приложение или сайт. Одним словом это просто способ отсева людей с типовыми вопросами.

0

Ну NLP системы развиваются.
Это, например, возможности GPT-3. (болдом) Довольно высокий уровень

0
Параллельный жар

Антон, поймите мы говорим про сегмент услуг в котором каждый звонок в поддержку это запрос на обслуживание и каким бы хорошим ИИ не сделать все равно сложный кейс предстоит разруливать людям. Сегодня например я писал в поддержку холдинга о невозможности работы с чатом приложения дочки компании и что бы мне предложил ИИ смириться. А нужно что бы просто рестартанули Apache. Короче нам еще долго времени терпеть это все и скорее всего сделать полный ИИ мы пока не сможем, а если сможем, то что тогда? Допустим ли его до управления банком?

0

. ред.

0

Как этим пользоваться, для написания статьи допустим. И есть ли информация по требованиям системы?

0

Кстати, чудесно сеть (https://sbercloud.ru/ru/warp/gpt-3) отвечает на вопросы:

0

Где скачать это чудо?

0
Читать все 46 комментариев
Авито принуждает делиться паспортными данными и биометрией для просмотра объявлений

Моему профилю на Авито больше трёх лет. Сотни сделок как продажи так и купли. Хороший рейтинг.

Американский сервис экспресс-доставки продуктов 1520 с основателями из России закрывается после года работы — Insider Статьи редакции

Стартап не смог найти финансирование и рассчитывал на сделку с конкурентом, но она не состоялась, говорят источники.

Сервис доставки в почтаматы 5post обманывает и присваивает посылки

Совсем недавно я решил заказать с АлиЭкспресс несколько товаров для домашнего бара. По отдельности они не дорогие, но для общей картинки нужны все. Через неделю после заказа мне приходит смс с номера "5post" о том, что одна из этих посылок ждёт меня в ближайшей пятерочке. Я скачал приложение, зарегистрировался там и увидел, что моя посылка будет…

«Сбермегамаркет» и «Эльдорадо»: оплаченный заказ Xbox Series X выборочно отменен избранным покупателям

Итак, продолжение рассказа о ситуации с тем, как «Сбермегамаркет» и «Эльдорадо» приняли многочисленные оплаченные заказы на консоль Xbox Series X, выдали людям чеки об этом, а затем через несколько дней благополучно отменили заказы.

Дайджест новостей Сбера: сайт Digital Пётр, сценарии для умного дома и платина от Forbes

Прошлый дайджест мы целиком посвятили 180-летию Сбера, поэтому новостей накопилось много. Среди них — запуск сайта по распознаванию рукописей Петра I, большое обновление на платформе умного дома Sber и другие. Рассказываем всё самое интересное.

Картинка, сгенерированная ruDALL-E по запросу «рыжий котик»
Продавец eBay из Кургана стала победителем в финале Всероссийского конкурса «Молодой предприниматель России 2021»

27 ноября в Москве состоялся финал ежегодного конкурса «Молодой предприниматель России 2021». В нём приняли участие предприниматели и самозанятые в возрасте до 35 лет. Всего было подано более 300 заявок из 43 регионов страны.

​Почему от коронавируса в Японии умирают по 0-3 человека в день?

Данный пост меня побудило написать отношение людей к ковиду в моей родной стране учитывая всю ситуацию. Мне много людей пишет с вопросами по ситуации в Японии, и рассказывают свои мнения по вопросу вакцинации.

Почему керамика так популярна в наше время? Разбираемся, как это произошло и почему это здорово

Изделия, выполненные из керамики, экологически чистые. Сейчас это очень ценится. Возможно создавать любую уникальную форму — посуда, различные украшения, предметы интерьера. Границ нет. И это стильно. А ещё у керамики огромная история.

SkillFactory раздает подарки: повышенная ставка и новогодний марафон для вебмастеров

В преддверии Нового года мы решили порадовать своих настоящих и будущих партнеров — участников партнерской программы школ Skillfactory, Contented и Product LIVE. Это возможность получить денежный бонус и заодно увеличить прибыль от продажи наших курсов.

И сотрудников тоже касается: кибербуллинг на рабочем месте
Design vector created by pikisuperstar - www.freepik.com
Как мы отправили 2000 распечатанных фото вашим мамам за 1 неделю после запуска

Как это получилось и сколько заработали. Без фейлов не обошлось.

Это моя сестра - Таня. Пришла на помощь, пока срочно искали еще одного менеджера
null