реклама
разместить

GPT-4 имеет 1,76 триллиона параметров и использует технологию 30-летней давности

GPT-4 имеет 1,76 триллиона параметров и использует технологию 30-летней давности

По слухам, OpenAI GPT-4 основан на архитектуре Mixture of Experts и имеет 1,76 триллиона параметров, пишет The Decoder.

По слухам, GPT-4 базируется на восьми моделях, каждая из которых имеет 220 миллиардов параметров, связанных в архитектуре Mixture of Experts (MoE). Этой идее почти 30 лет, и она уже использовалась для больших языковых моделей, например, в Switch Transformer от Google.

Модель MoE - это тип ансамблевого обучения, который объединяет различные модели, называемые "экспертами", для принятия решения. В модели MoE сеть стробирования определяет вес выхода каждого эксперта в зависимости от входных данных. Это позволяет разным экспертам специализироваться на разных частях входного пространства. Такая архитектура особенно полезна для больших и сложных наборов данных, поскольку она позволяет эффективно разделить проблемное пространство на более простые подпространства.

Заявления от OpenAI нет, но источники заслуживают доверия

Информация о GPT-4 исходит от Джорджа Хотца, основателя Comma.ai, стартапа в области автономного вождения. Хотц - эксперт по ИИ, который также известен своим хакерским прошлым: Он был первым, кто взломал iPhone и Sony Playstation 3.

Другие эксперты по ИИ также прокомментировали сообщение Хотца в Twitter, заявив, что его информация, скорее всего, правдива.

Чему открытый исходный код может научиться у GPT-4?

Возможно, архитектура упростила обучение GPT-4, позволив разным командам работать над разными частями сети. Это также объясняет, почему OpenAI смогла разработать мультимодальные возможности GPT-4 независимо от существующего продукта и выпустить их отдельно. Тем временем, однако, GPT-4 мог быть объединен в более компактную модель для повышения эффективности, предположил Сумит Чинтала, один из основателей PyTorch.

Хотц также предположил, что GPT-4 производит не один выход, а итеративно 16 выходов, которые улучшаются с каждой итерацией.

Сообщество разработчиков с открытым исходным кодом могло бы попытаться воспроизвести эту архитектуру; идеи и технология были доступны уже некоторое время. Однако GPT-4, возможно, показал, насколько далеко может зайти архитектура MoE при наличии соответствующих обучающих данных и вычислительных ресурсов.

ps. Лайк, пожалуйста, он продвинет статью вверх

GPT-4 глазами <a href="https://api.vc.ru/v2.8/redirect?to=http%3A%2F%2Ft.me%2FKolersky_Midjorney_Bot&postId=751747" rel="nofollow noreferrer noopener" target="_blank">Midjourney</a>
GPT-4 глазами Midjourney

KolerskyAi - решения на основе нейросетей: telegram боты в ChatGPT, GPT-4 без VPN, а так же Midjourney, Dall-e, Stable Diffusion+.

55
реклама
разместить
7 комментариев

все новое хорошо забытое старое

1

Все нейросети - куча перцептронов Розенблатта с теми или иными модификациями. 1957 год.

Все нейросети - куча перцептронов Розенблатта с теми или иными модификациями - уж слишком утрируете

1

Комментарий недоступен

Комментарий недоступен

Комментарий недоступен

Комментарий недоступен

Nothing представила Phone (3a) и (3a) Pro с тремя основными камерами и встроенными функциями ИИ

Цены на устройства — меньше $500.

Источник здесь и далее: Nothing
1515
66
44
22
11
Это настоящий УБИЙЦА АЙФОНА
реклама
разместить
Госдума поддержала в первом чтении законопроект о штрафах до 500 тысяч рублей за продажу энергетиков детям

С 1 марта 2025 года продавать энергетики несовершеннолетним запрещено по всей России.

77
33
Как устроен бизнес на улитках и крокодилах

Из коровника с упавшей крышей — в комплекс с улиточной и крокодиловой фермой, гостевыми домами, банями и рестораном 😱 «Это ужас ужасов был. Я сначала думал здесь делать конюшню. Потом у меня тут 200 коз стояло. Мы понастроили стен, дойки разные — потом всё переломали. И тут мне в голову пришло: улитка! Надо же людей чем-то удивлять и радовать».

На двух станциях метро в Санкт-Петербурге запустили оплату проезда «лицом»

Чтобы воспользоваться этим методом, нужно зарегистрироваться в системе и привязать биометрию к банковской карте.

Источник: Комитет по транспорту Санкт-Петербурга / «Фонтанка»
77
22
11
Правительство не продлило мораторий на выездные налоговые проверки ИТ-компаний

Его действие завершилось 3 марта 2025 года.

Фото РБК
1212
99
11
Тупняк конечно феерический. Какой нахрен мараторий? Есть подозрение что чтото в компании не чисто - проверяй, нет подозрений, не мешай работать.
Нескучное ретро: как превратить формальную встречу в продуктивное событие

Менеджер цифровых продуктов T2 Digital рассказала о том, как подготовиться и провести ретроспективу с командой. За прочтение статьи дарим готовые шаблоны для ретро!

Нескучное ретро: как превратить формальную встречу в продуктивное событие
США начали обсуждать план по смягчению санкций против России — Reuters

Госдеп и Минфин готовят предложение по снятию санкций с отдельных юрлиц и физлиц. С кого именно — неизвестно.

3939
1515
33
22
22
22
11
11
На переговоры с трампом нужно посылать не чиновников, а специалистов, которые разводят пенсионеров и ветироанов на миллионы рублей. Они американского деда так опрокинут, что он даже ничего не поймет, выполнит все условия и еще аляску взад подарит.
[]