«Яндекс» создал нейросеть для генерации текста «Зелибоба» — но через полтора часа закрыл к ней доступ
Доступ открыли раньше времени по ошибке, пользователи успели потестировать сервис.
Нейросетевой языковой алгоритм генерации текстов YaLM может продолжать текст на основе слов, которые ввёл пользователь, рассказали в «Яндексе».
Модель в основе «Зелибобы» была обучена на терабайтах текстов, в том числе новостных заметках, книгах, статьях «Википедии», постах в социальных сетях, форумах и других.
Через «Зелибобу» можно было создавать тексты в разных стилях: новостной заметки, анекдота, рекламного слогана, короткой истории и других.
У такой модели ровно одна задача — генерировать каждое последующее слово в предложении. Чтобы текст получился связным и грамматически правильным, во время обучения модель оценивает каждое предсказанное слово: например, решает может ли после «Мама мыла...» идти слово «бегать» или слово «раму».
Сейчас на странице сервиса «Ошибка 404». Демо-версию технологии открыли раньше времени по ошибке, пояснили TJ в «Яндексе». «Зелибоба» всё ещё находится в стадии внутреннего тестирования.
Уже давно есть такие нейронки и покруче. А Яндекс как обычно слизал код с открытых репозиториях и спустя годы внедряет. Это росссииииия!
⚠️Ниже под коментом этим выложил пруфы-ссылки на такие сервисы.
⚠️Ну а далекие, кто дизлайкает, вам же по факту все расписали, что вы можете ещё сделать, как на кнопки жать:)))
Например?
То есть ты думаешь, что в яндексе не могут сделать свой аналог, не слизывая?
На самом деле, чтобы адекватно оценить масштаб свершения, нужно понимать хотя бы сколько в модели параметров. По ссылке написано, что максимальный размер модели, которая есть у Яндекса это 13 миллиардов параметров, но в Зелибабе, которую открыли людям - только 3 миллиарда.
Как это сопоставляется с российскими аналогами:
Модель от Сбербанка rugpt-3 - от 125 миллионов до 12 млрд. параметров, в открытом доступе модель с 1 млрд. параметров.
Русская GPT-2 (1 млрд параметров), обученная частным энтузиастом также доступна тут (https://github.com/l4rz/gpt-2-training)
Сервис https://aiwriter.ru использует две модели модель с 1.2 млрд параметров.
Как это сопоставляется с зарубежными аналогами:
Американская GPT-3 от OpenAI содержит 192 млрд. параметров (https://openai.com/blog/gpt-3-apps/)
Китайская WuDao 2.0 (университет Пекина) - 1.75 триллиона параметров (правда там другая архитектура - система состоит из большого числа сетей меньшего размера, подробнее можно прочитать например тут https://habr.com/ru/news/t/560854/)
Тем не менее выводы:
- С точки зрения российских достижений эта система находится на уровне, но не особо лучше аналогов
- С точки зрения положения вещей в мире, еще сильно есть куда расти
Как-то так.
Комментарий недоступен
Ребёнок узнал про существование гитхаба и сделал правильные выводы) До тебя реально не доходит, что к похожему результату можно прийти разными способами? А когда результат не похожи?
"Ты берешь слова и складываешь их в предложения, все люди так делают, у тебя нет своего мнения, ахаха, ну понятно, это Россия, ничего своего не можешь сказать, полно людей, которые именно так уже говорят, все, что ты можешь, это настучать текст на клаве и нажать сабмит". Это твоя вот логика)
Открытый исходный код для того и существует, чтобы кто угодно мог взять и натренировать сеть на своих данных. Если трансформеры придумали не в Яндексе им теперь что, запрещено тренировать модели?