В Китае заявили о создании нейросети в 10 раз мощнее самой «продвинутой» нейросети GPT-3 Статьи редакции
Она способна писать эссе и стихи, генерировать изображения на основе описаний и предсказывать структуру белков.
Специалисты Пекинской академии искусственного интеллекта объявили о создании генеративной нейронной сети глубокого обучения Wu Dao 2.0 с рекордными свойствами. Её мощность намного больше, чем у ближайших конкурентов — Open AI GPT-3 и Google Switch Transformers. Об этом сообщает издание Engadget.
Мощность нейросетей условно измеряется в количестве параметров обучения. То есть, это число факторов, которые нейросеть может использовать в процессе своей работы. Для примера: в линейном уравнении y = ax + b параметрами выступают переменные a и b — от них зависит решение уравнения. Чем больше параметров использует нейросеть, тем она «умнее» и тем точнее результат её работы.
Нейросеть Open AI GPT-3 использует 175 миллиардов параметров — такая мощность позволяет ей генерировать осмысленные тексты, создавать музыку и программный код.
Количество параметров Wu Dao 2.0 превышает 1,75 триллиона — то есть, она в 10 раз мощнее, чем GPT-3. С новой китайской нейросетью по числу параметров может сравниться только Google Switch Transformers с её 1,6 триллионами параметров. Нейросеть от Google способна подбирать пропущенные слова в тексте и формулировать «естественные» ответы на вопросы человека.
Новая китайская нейросеть мультимодальна — она может выполнять множество разнородных задач. Wu Dao 2.0 пишет эссе, стихи и двустишия на традиционном китайском языке, распознаёт изображения и генерирует их по словесному описанию, имитирует речь, создаёт кулинарные рецепты, а также предсказывает трёхмерную структуру белков, подобно AlphaFold.
Для обучения Wu Dao 2.0 учёные использовали почти пять терабайтов изображений и текстов, включая 1,2 терабайта текстов на китайском и английском языках. Разработкой уже заинтересовались 22 компании, включая Xiaomi.
По словам председателя академии, Wu Dao 2.0 — это «источник питания для будущего реального искусственного интеллекта, с мегаданными, вычислительной мегамощью и мегамоделями».
Комментарий недоступен
У нас так и есть(
В прошлом году Китайцы познакомили весь мир с Covid 19, границы закрыли. В этом году Китайцы познакомят нас с Wu Dao 2.0 и мы будем сидеть в локальных сетях.
Там полгода назад еще это самое....
Комментарий недоступен
нейросети в 10 раз мощнее самой «продвинутой» нейросети GPT-3
Нейросеть Open AI GPT-3 использует 175 миллиардов параметров
по числу параметров может сравниться только Google Switch Transformers с её 1,6 триллионами параметров
самой «продвинутой» нейросети GPT-3
Я дурак или лыжи не едут?
так бывает когда не знаешь о чем пишешь
Суть в том что модель китайцев - это считай собрание n моделей внутри себя
GPT это 1 модель, таки самая большая по кол-ву параметров
Гугловский свитч - тоже самое что и китайская, собрание моделей
В статье просто сравниваются разные сущности
Что не так
Что, даже круче Олега от Тинькофф получилось у китайцев?
Комментарий недоступен
Олега и защитника Олега
Комментарий недоступен
Комментарий недоступен
Космическую станцию построили, на марс высадились, нейросеть сделали, токамак прокачали. Рад за китайских баринов
Сибирь освоили
Стишок про Винни-Пуха или картинку с ним сможет сгенерировать?
"Околесицу" нарисовать? Слова "исконный" и "давеча" уместно использовать?
А 63+1 вычислить?
Надеюсь, это не начало конца 🤷🏼♂️
У меня есть куча внешних хардов на десятки терабайт, с фоточками. Может переплюнем китайцев и натренируем свою сетку? Вернем Максимова в цифровом виде.
Чувак дикпики в качестве данных немного не подходят для того что нам надо
Молодцы
А некоторые диванные иксперты до сих пор верят что китайцы могут только паршивые фэйковые найки клепать.
Китай въебет ещё всю планету, вангую
Но мы ещё живы...
Значит, сингулярность ещё не наступила, но и по Курцвейлу ещё рано
Так, если каждые 2 года мощность растёт в 2 раза, то в 2050 г. сингулярность наступит при мощности AI около 50 000 триллионов параметров
Жуть
Не каждые два года. А с каждым разом срок удвоения сокращается в два раза.
https://vc.ru/future/25099-ray-kurzweil-is-wrong
Комментарий недоступен
Даю 10 лет человечеству. Не больше.
Сергей, это ультиматум лично от вас? Стоит ли поставить в известность правительство?
На всякий случай беру 10 лет от лица всего человечества! Пока дают надо брать...
Так...ну когда уже всех с работы уволят и можно будет снова на дерево залезть?
Ну так понятно дело, на Уйгурах тренировали годами свою сеть...
Искусственный интеллект члена компартии
Майнить может? Какой хешрейт?
100500 в миллисекунду
Добро пожаловать в мегарабство побег из которого просчитал мегаинтелект и который просто невозможен.
Нейросеть "Во Даю"
Тестируют сеть, я так понимаю, на спаме на VC, боты осмысленные комменты стали писать.
Ну вообще-то кол-во параметров != мощность сети. Сети с меньшим кол-вом параметров могут быть более выразительными и точными, чем сети с большим. Многое зависит непосредственно от обучающей выборки данных, архитектуры сети и ее hyper parameters. Ну и конечно же от прямых рук.
хах что за комент гуманитария.
что вообще такое мощность нейросети?)
спойлер - нет такого понятия, это обычный высер, а высрать можно что угодно.
Казалось бы, такой умный искусственный интеллект. Но он точно не сможет вычислить 63+1. Да даже показать больших жёлтых уток или Винни-Пуха не в его силах
В чем подвох с 63 + 1?
5 терабайтов текста и фото, 1.2 текст. 3.8 графика, средний jpeg весит 5мегабайт, и это всего 7 600 000 картинок понадобилось для обучения.
Офф топ - это даже, предположительно, меньше, чем понадобилось Пятому элементу, чтобы узнать 5000 летнюю историю.
5 мб это же очень жирно, это 3х4 тыс пикселов примерно. К чему такая избыточность.
Китайцам нет запретов. Им позавидовать нужно всему миру. Просто лидеры всегда и во всем
лолшто
МОЗГ создан!
Не раскрыта тема бенчмарков - это новая SOTA или нет?
Только в бенчмарке XiNefritGlue
Комментарий удален модератором
Скайнет все ближе... Трандец вам, кожаные мешки
Комментарий удален модератором
Комментарий удален модератором
Комментарий недоступен
Да нет у них там никакого голода ) А небольшая нищая часть населения есть в любой стране, а кое-где даже большая (намёк на дефолт кантри, да)
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
Комментарий недоступен
Еще в мае китайцы показали свой аналог DALL-E, который генерит картинки по текстовому описанию. При этом в отличие от Open AI они открыли доступ к онлайн демо, которым может воспользоваться любой. Но эта новость прошла, можно сказать, незамеченной. У китайцев просто хуже с пиаром и маркетингом, а разработки там не отстают. А конкурируют они с США, у которой неограниченный доступ к талантам.
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором