«Сбер» выложил в открытый доступ русскоязычную модель для обучения алгоритма генерации текстов GPT-3 Статьи редакции
GPT-3 можно обучить на основе русской литературы, русской и английской «Википедии», новостных сайтах и сайтах с вопросами и ответами и другого.
«Сбер» выложил в открытый доступ модель для генерации текстов GPT-3 Large с 760 млн параметров, сообщил управляющий директор департамента SberDevices Сергей Марков на «Хабре».
GPT-3 можно обучить на основе русской литературы, русской и английской «Википедии», новостных сайтах и сайтах с вопросами и ответами, публичных разделов Pikabu, научно-популярного сайта 22century.ru и банковского «Банки.ру», а также с помощью проекта с открытым исходным кодом, содержащим 33 млрд русских слов, Omnia Russica.
«Сбер» хотел научить GPT-3 обрабатывать программный код — для этого в обучающий корпус модели включили также данные из GitHub и StackOverflow.
Это первый обучающий корпус на русском языке, отмечают в компании. Проектом занялись подразделения «Сбера» SberDevices, SberCloud и команда по разработке ИИ AGI NLP. Команда AGI NLP провела работу по чистке данных, а также по подготовке наборов для тестирования моделей.
В мае 2020 года лаборатория OpenAI представила алгоритм GPT-3. Он работает с текстом: пишет стихи, прозу, новости и посты, придумывает шутки и литературные пародии, умеет отвечать на вопросы по прочитанному, переводить, решать примеры и программировать.
Оригинальный корпус от OpenAI содержал в основном материалы на английском — соотношение последнего и других языков составляет 93:7. В случае «Сбера» разработчики сделали упор на русский — соотношение к другим языкам составляет примерно 9:1, пишет Марков.
760 миллионов параметров - не 600 ГБ. 600 ГБ весит датасет, на котором обучали.
Это версия GPT-2 с увеличенным контекстом и всякими другими штуками, обученная на русском языке. Она в 150 раз меньше настоящей GPT-3, у которой 175 миллиардов параметров
На вашей же картинке несколько версий, и все разных размеров.
Комментарий недоступен
В комментариях на Хабре указали, что архитектура GPT-3 подробно описана в научных публикацих от Open AI, ребята из Сбера изучили эти публикации и в точь-точь повторили все, что там было описано, только для обучения использовали русский язык.
Комментарий недоступен
GPT-3 в оригинальной публикации OpenAI существует в 8 вариантах — от 125 млн до 174,6 млрд весов (см. табличку выше, она взята именно из публикации OpenAI). Выложенная модель это GPT-3 Large.
Да ладно! Сбер выпускает свободное программное обеспечение
GPT-3 займется развитием Сбер.Онлайн
Круто, молодцы!
Вот сейчас стало интересно что будет
Где же в были в 2000-2010. Мечта дорвейшика
А сейчас это уже не работает?
А эта нейросеть может отправить в другое отделение за карточкой уже или надо еще подучиться?
А можно для не просвещённых ) по простому обьяснить для чего и как это работает ?) плиз😇😅
Алгоритм берет данные из интернета, ты настраиваешь параметры и он создает текст, приложение, иллюстрацию.
Я например видел, как с помощью текста делали дизайн приложения.
Офигенно -круто ) т.е. закидываешь параметры и ИИ пишет за тебя пост ?
В теории да, но как подметил человек ниже, уйдет много времени, чтобы это на русском работало более менее приемлемо.
И комменты на vc положительные такому ии нефиг делать писать. Вот ему ещё научится регистрироваться задним числом и цены такому боту не будет.
Думаю не проблема, за 5 сёк на ста основных ресурсах регит по сто аккаунтов, а потом по необходимости их поддерживает.
не совсем....просто достраивает конец одного предложения. статью или новость не напишет осмысленно :)
задаешь начало, а это несколько слов и получаешь одно или несколько предложений в зависимости от "качества" начальных слов
С этой версией такое не особо получится
Супер нейросеть, почти ИИ. Лучше загнули gpt3 на vc много статей
DEL
https://ru.wikipedia.org/wiki/GPT-3
Благодарю )
Некоторое время у меня был тестовый доступ к GPT-3. Вот эта статья написана при помощи GPT-3. Уже примерно три недели как к сожалению у меня доступа к этому алгоритму нет.
Я искал замену и остановился на Megatron-11b. Это крупнейшая общедоступная языковая модель, создан Facebook и имеет 11 миллиардов параметров. Здесь пример статьи, написанной Megatron-11b https://www.vproexpert.com/what-ai-talks-about-gpt-3/
Как вы можете видеть Megatron-11b создает тексты не хуже, чем GPT-3, но после нее нужно вычитывать (допускает смысловые повторы).
у вас ссылочка на пример статьи на GPT-3 отвалилась, продублируйте, пожалуйста. И кстати, почему доступ забрали?
Вот написанное GPT-3 https://www.vproexpert.com/machine-learning-model-validation/ Доступ был предоставлен разработчиком сервису Философ. Сейчас этого доступа нет.
А где доступ к GPT3 брали, если не секрет?
И Мегатрон на чём запустили?
Брал доступ тут https://philosopherai.com/philosopher/how-to-learn-machine-learning-f6069b Это пример формирования текста.
Вот где <word #1>, там и <word #2>.
Сбер, с вас 4,238,432,651 рубль за разработку.
круть, спасибо! не знал, что СБЕР выкладывает что-то в open source
"Сбер» хотел научить GPT-3 обрабатывать программный код — для этого в обучающий корпус модели включили также данные из GitHub и StackOverflow."
Ну и как успехи, именно для этого же ЖПТ3 была нужна? Так то про неё уже везде растризвонили.
Кстати, если кому-то интересно, вот песня слова которой написал GPT-3 https://youtu.be/QX2XCBH-6zQ
"...пишет стихи, прозу, новости и посты, придумывает шутки и литературные пародии, умеет отвечать на вопросы по прочитанному, переводить, решать примеры и программировать" —- написано так, будто бы модель обладает сознанием. Никого понимания написанного у неё нет. Она просто переставляет слова в существующих преложениях в соответствии с языковой моделью. Т.е. ставит наиболее вероятные слова друг за другом.
Так и не понял прикладная польза какая?
Прикладная польза может быть во многом. Создание при помощи ИИ сценариев, цитат, эссе, новостей.
Вот пример мануала по поисковой оптимизации для новичков. https://www.vproexpert.com/search-engine-optimization/
Если бы там не было примечания, что это написал GPT-3, то вполне себе достойный мануал. Всё в нем логично и правильно.
Сегодня статьи и новости имеют плохую структуру и низкое качество, а с ИИ это и вообще будет случайный набор информации. Это только увеличивает проблему роста информационного шума. Возможно это будет новым трлчком для ее решения, но я боюсь как бы человек не оказался в роли этакой собачки при мощьных ИИ когда видит что что-то происходит, но понять не может что ...
Прикладная польза - возможность оптимизации ряда коммуникативных процессов + всякие супер индивидуальные сценарии игр, фильмов. То есть например, книгу можно будет сделать интерактивной и развивающейся в реальном времени.
Но и немаловажен момент демонстрации возможностей ИИ, как победа Deep Blue над Каспаровым.
Все системы ИИ с которыми мне приходилось говорить не могут решить плохо сформулированные и частные вопросы, а типовые вопросы можно оешить через мобильное приложение или сайт. Одним словом это просто способ отсева людей с типовыми вопросами.
Ну NLP системы развиваются.
Это, например, возможности GPT-3. (болдом) Довольно высокий уровень
Антон, поймите мы говорим про сегмент услуг в котором каждый звонок в поддержку это запрос на обслуживание и каким бы хорошим ИИ не сделать все равно сложный кейс предстоит разруливать людям. Сегодня например я писал в поддержку холдинга о невозможности работы с чатом приложения дочки компании и что бы мне предложил ИИ смириться. А нужно что бы просто рестартанули Apache. Короче нам еще долго времени терпеть это все и скорее всего сделать полный ИИ мы пока не сможем, а если сможем, то что тогда? Допустим ли его до управления банком?
.
Как этим пользоваться, для написания статьи допустим. И есть ли информация по требованиям системы?
Кстати, чудесно сеть (https://sbercloud.ru/ru/warp/gpt-3) отвечает на вопросы:
Где скачать это чудо?
Кстати поболтать с Нейромозгом на GPT3+ можно в Телеграм:
@AnotherMindBot