«Сбер» выложил в открытый доступ русскоязычную модель для обучения алгоритма генерации текстов GPT-3 Статьи редакции
GPT-3 можно обучить на основе русской литературы, русской и английской «Википедии», новостных сайтах и сайтах с вопросами и ответами и другого.
«Сбер» выложил в открытый доступ модель для генерации текстов GPT-3 Large с 760 млн параметров, сообщил управляющий директор департамента SberDevices Сергей Марков на «Хабре».
GPT-3 можно обучить на основе русской литературы, русской и английской «Википедии», новостных сайтах и сайтах с вопросами и ответами, публичных разделов Pikabu, научно-популярного сайта 22century.ru и банковского «Банки.ру», а также с помощью проекта с открытым исходным кодом, содержащим 33 млрд русских слов, Omnia Russica.
«Сбер» хотел научить GPT-3 обрабатывать программный код — для этого в обучающий корпус модели включили также данные из GitHub и StackOverflow.
Это первый обучающий корпус на русском языке, отмечают в компании. Проектом занялись подразделения «Сбера» SberDevices, SberCloud и команда по разработке ИИ AGI NLP. Команда AGI NLP провела работу по чистке данных, а также по подготовке наборов для тестирования моделей.
В мае 2020 года лаборатория OpenAI представила алгоритм GPT-3. Он работает с текстом: пишет стихи, прозу, новости и посты, придумывает шутки и литературные пародии, умеет отвечать на вопросы по прочитанному, переводить, решать примеры и программировать.
Оригинальный корпус от OpenAI содержал в основном материалы на английском — соотношение последнего и других языков составляет 93:7. В случае «Сбера» разработчики сделали упор на русский — соотношение к другим языкам составляет примерно 9:1, пишет Марков.
760 миллионов параметров - не 600 ГБ. 600 ГБ весит датасет, на котором обучали.
Это версия GPT-2 с увеличенным контекстом и всякими другими штуками, обученная на русском языке. Она в 150 раз меньше настоящей GPT-3, у которой 175 миллиардов параметров
GPT-3 не выкладывалась в свободный доступ же, как сбер её повторил? Только GPT-2 есть в открытом доступе. Какая-то особенная и своя 3 походу.
В комментариях на Хабре указали, что архитектура GPT-3 подробно описана в научных публикацих от Open AI, ребята из Сбера изучили эти публикации и в точь-точь повторили все, что там было описано, только для обучения использовали русский язык.
GPT-3 в оригинальной публикации OpenAI существует в 8 вариантах — от 125 млн до 174,6 млрд весов (см. табличку выше, она взята именно из публикации OpenAI). Выложенная модель это GPT-3 Large.
А эта нейросеть может отправить в другое отделение за карточкой уже или надо еще подучиться?
А можно для не просвещённых ) по простому обьяснить для чего и как это работает ?) плиз😇😅
Алгоритм берет данные из интернета, ты настраиваешь параметры и он создает текст, приложение, иллюстрацию.
Я например видел, как с помощью текста делали дизайн приложения.
Офигенно -круто ) т.е. закидываешь параметры и ИИ пишет за тебя пост ?
В теории да, но как подметил человек ниже, уйдет много времени, чтобы это на русском работало более менее приемлемо.
И комменты на vc положительные такому ии нефиг делать писать. Вот ему ещё научится регистрироваться задним числом и цены такому боту не будет.
Думаю не проблема, за 5 сёк на ста основных ресурсах регит по сто аккаунтов, а потом по необходимости их поддерживает.
Некоторое время у меня был тестовый доступ к GPT-3. Вот эта статья написана при помощи GPT-3. Уже примерно три недели как к сожалению у меня доступа к этому алгоритму нет.
Я искал замену и остановился на Megatron-11b. Это крупнейшая общедоступная языковая модель, создан Facebook и имеет 11 миллиардов параметров. Здесь пример статьи, написанной Megatron-11b https://www.vproexpert.com/what-ai-talks-about-gpt-3/
Как вы можете видеть Megatron-11b создает тексты не хуже, чем GPT-3, но после нее нужно вычитывать (допускает смысловые повторы).
у вас ссылочка на пример статьи на GPT-3 отвалилась, продублируйте, пожалуйста. И кстати, почему доступ забрали?
Вот написанное GPT-3 https://www.vproexpert.com/machine-learning-model-validation/ Доступ был предоставлен разработчиком сервису Философ. Сейчас этого доступа нет.
А где доступ к GPT3 брали, если не секрет?
И Мегатрон на чём запустили?
Брал доступ тут https://philosopherai.com/philosopher/how-to-learn-machine-learning-f6069b Это пример формирования текста.
"Сбер» хотел научить GPT-3 обрабатывать программный код — для этого в обучающий корпус модели включили также данные из GitHub и StackOverflow."
Ну и как успехи, именно для этого же ЖПТ3 была нужна? Так то про неё уже везде растризвонили.
Кстати, если кому-то интересно, вот песня слова которой написал GPT-3 https://youtu.be/QX2XCBH-6zQ
"...пишет стихи, прозу, новости и посты, придумывает шутки и литературные пародии, умеет отвечать на вопросы по прочитанному, переводить, решать примеры и программировать" —- написано так, будто бы модель обладает сознанием. Никого понимания написанного у неё нет. Она просто переставляет слова в существующих преложениях в соответствии с языковой моделью. Т.е. ставит наиболее вероятные слова друг за другом.
Прикладная польза может быть во многом. Создание при помощи ИИ сценариев, цитат, эссе, новостей.
Вот пример мануала по поисковой оптимизации для новичков. https://www.vproexpert.com/search-engine-optimization/
Если бы там не было примечания, что это написал GPT-3, то вполне себе достойный мануал. Всё в нем логично и правильно.
Сегодня статьи и новости имеют плохую структуру и низкое качество, а с ИИ это и вообще будет случайный набор информации. Это только увеличивает проблему роста информационного шума. Возможно это будет новым трлчком для ее решения, но я боюсь как бы человек не оказался в роли этакой собачки при мощьных ИИ когда видит что что-то происходит, но понять не может что ...
Прикладная польза - возможность оптимизации ряда коммуникативных процессов + всякие супер индивидуальные сценарии игр, фильмов. То есть например, книгу можно будет сделать интерактивной и развивающейся в реальном времени.
Но и немаловажен момент демонстрации возможностей ИИ, как победа Deep Blue над Каспаровым.
Все системы ИИ с которыми мне приходилось говорить не могут решить плохо сформулированные и частные вопросы, а типовые вопросы можно оешить через мобильное приложение или сайт. Одним словом это просто способ отсева людей с типовыми вопросами.
Ну NLP системы развиваются.
Это, например, возможности GPT-3. (болдом) Довольно высокий уровень
Антон, поймите мы говорим про сегмент услуг в котором каждый звонок в поддержку это запрос на обслуживание и каким бы хорошим ИИ не сделать все равно сложный кейс предстоит разруливать людям. Сегодня например я писал в поддержку холдинга о невозможности работы с чатом приложения дочки компании и что бы мне предложил ИИ смириться. А нужно что бы просто рестартанули Apache. Короче нам еще долго времени терпеть это все и скорее всего сделать полный ИИ мы пока не сможем, а если сможем, то что тогда? Допустим ли его до управления банком?
Как этим пользоваться, для написания статьи допустим. И есть ли информация по требованиям системы?
