В Китае заявили о создании нейросети в 10 раз мощнее самой «продвинутой» нейросети GPT-3 Статьи редакции
Она способна писать эссе и стихи, генерировать изображения на основе описаний и предсказывать структуру белков.
Специалисты Пекинской академии искусственного интеллекта объявили о создании генеративной нейронной сети глубокого обучения Wu Dao 2.0 с рекордными свойствами. Её мощность намного больше, чем у ближайших конкурентов — Open AI GPT-3 и Google Switch Transformers. Об этом сообщает издание Engadget.
Мощность нейросетей условно измеряется в количестве параметров обучения. То есть, это число факторов, которые нейросеть может использовать в процессе своей работы. Для примера: в линейном уравнении y = ax + b параметрами выступают переменные a и b — от них зависит решение уравнения. Чем больше параметров использует нейросеть, тем она «умнее» и тем точнее результат её работы.
Нейросеть Open AI GPT-3 использует 175 миллиардов параметров — такая мощность позволяет ей генерировать осмысленные тексты, создавать музыку и программный код.
Количество параметров Wu Dao 2.0 превышает 1,75 триллиона — то есть, она в 10 раз мощнее, чем GPT-3. С новой китайской нейросетью по числу параметров может сравниться только Google Switch Transformers с её 1,6 триллионами параметров. Нейросеть от Google способна подбирать пропущенные слова в тексте и формулировать «естественные» ответы на вопросы человека.
Новая китайская нейросеть мультимодальна — она может выполнять множество разнородных задач. Wu Dao 2.0 пишет эссе, стихи и двустишия на традиционном китайском языке, распознаёт изображения и генерирует их по словесному описанию, имитирует речь, создаёт кулинарные рецепты, а также предсказывает трёхмерную структуру белков, подобно AlphaFold.
Для обучения Wu Dao 2.0 учёные использовали почти пять терабайтов изображений и текстов, включая 1,2 терабайта текстов на китайском и английском языках. Разработкой уже заинтересовались 22 компании, включая Xiaomi.
По словам председателя академии, Wu Dao 2.0 — это «источник питания для будущего реального искусственного интеллекта, с мегаданными, вычислительной мегамощью и мегамоделями».
нейросети в 10 раз мощнее самой «продвинутой» нейросети GPT-3
Нейросеть Open AI GPT-3 использует 175 миллиардов параметров
по числу параметров может сравниться только Google Switch Transformers с её 1,6 триллионами параметров
самой «продвинутой» нейросети GPT-3
Я дурак или лыжи не едут?
так бывает когда не знаешь о чем пишешь
Суть в том что модель китайцев - это считай собрание n моделей внутри себя
GPT это 1 модель, таки самая большая по кол-ву параметров
Гугловский свитч - тоже самое что и китайская, собрание моделей
В статье просто сравниваются разные сущности
В том то и дело, не разбираюсь в теме. Поэтому первая моя цитата про то как измеряется мощность. После вашего комментария дошло. Тем не менее, к чему такое сравнение, если Google = китайцы, но не Google = GPT?
первую строку адресовал автору) В целом метрика кол-ва параметров смысла в себе вообще не несет, важны лишь метрики которые не указаны
Про сравнение если честно не понял вопроса
Почему китайцев с собранием n моделей можно сравнивать с GPT, а Google с этой же системой нельзя?
Ну в плоскости количества параметров сравнивать можно только китай со Switch - ибо подход к созданию моделей там архитектурно такой же, GPT и Switch это разные сущности - их можно конечно сравнить вот в таком виде, но надо это учитывать. Китайскую модель/Switch с GPT сравнивать в одной плоскости - то же самое что сравнить в плоскости "ума" 40-летнего умника и 10-летнего ребенка. Таки 40-летний будет решать диффуры лучше, но айкью то учитывает возраст и является метрикой более объективной и учитывающей неравность "сущностей" ребенка и взрослого
Почему в статье именно такое сравнение? Ну чтобы люди покликали, интрига