Почему ChatGPT развивается быстрее других языковых моделей?

Каждая уважающая себя поисковая компания разрабатывает собственную языковую модель: Bard в Google, YaLM 2.0 в Яндексе, ERNIE в Baidu и другие. Пока другие пытаются, Microsoft уже внедряет ChatGPT в Bing и Edge.

Обновленный AI-поиск браузера Edge. Источник: blogs.microsoft.com

Прошло всего 4 месяца, как OpenAI открыли публичный доступ к ChatGPT. За это время аудитория активных пользователей ChatGPT достигла 100 миллионов, которые создали десятки миллиардов промптов. Теперь очевидно, что другие языковые модели отстают и не смогут конкурировать с ChatGPT.

Объем тренировочных данных ChatGPT сопоставим с размером интернета. По данным SimilarWeb на август 2021 года, объем интернета - это почти 2 миллиарда сайтов с десятками страниц контента. Далее этот объем тренировочных данных был дообучен в предыдущей версии ChatGPT - InstructGPT (известная как GPT-3.5). Модель была дообучена с помощью обратной связи живых людей на огромном количестве ответов нейросети.

Что мы имеем сейчас? Десятки миллиардов промптов, сгенерированные пользователями и десятки миллиардов ответов ChatGPT. Этими данными отлично пользуется команда OpenAI, чтобы дособирать уникальный корпус текстов, по которому можно будет дообучить ChatGPT.

Чем больше данных собрано и чем больше обратной связи получено на ответы языковой модели, тем более точный результат дает языковая модель.

Вы знаете хотя бы еще одну языковую модель с такими объемами данных и обратной связи? Нет. И чем дальше, тем точнее становится ChatGPT, дообучаясь на уникальном корпусе текстов и обратной связи.

*Перед прочтением рекомендую изучить статью про основы ChatGPT.

0
14 комментариев
Написать комментарий...
Сообщество vc.ru
Ответить
Развернуть ветку
Дмитрий Юрин
Автор

Кажется, что нужно промпт адаптировать, поскольку все смыслы и цифры потерялись

Ответить
Развернуть ветку
Николай Володин

Мне кажется, потому что ChatGPT хорошенько форсили в интернете) И это сработало как хорошая реклама

Ответить
Развернуть ветку
Дмитрий Юрин
Автор

Скорее потому что кроме классной технологии, ещё был легкий интерфейс. Потому что GPT-3 тоже в публике была, но только с API-интерфейсом. И такого форса не было

Ответить
Развернуть ветку
Кирилл Родин

пробовал несколько ии, вот в чат гпт самый удобный интерфейс и там как-то приятнее создавать запросы

Ответить
Развернуть ветку
J D

Интересно что там с утекшей большой моделью от Facebook - llama.
Насколько она хороша.

Ответить
Развернуть ветку
Дмитрий Юрин
Автор

Пока без новостей

Ответить
Развернуть ветку
J D

Наоборот, новости позитивные - https://github.com/ggerganov/llama.cpp

Ответить
Развернуть ветку
J D
Ответить
Развернуть ветку
Сообщество vc.ru

Угнали Ламу.

Киберпанк уже здесь.
Старперчики еще помнят время, когда кино, музыка и вот это вот все валялось на торрентах.
Сливали, качали, смотрели..

Теперь, как вы понимаете пришло время сливать более крупные формы.
Я бы даже сказал большие.
Большие языковые модели.

Только что все писали про LLAMA - ответочку фейсбучека на хайп с языковыми моделями.
https://ai.facebook.com/blog/large-language-model-llama-meta-ai

Угнали ламу. И выложили на торрент.
Подробности и ссылки тут:
https://github.com/facebookresearch/llama/pull/73/files

Ответить
Развернуть ветку
Саша G

"Теперь очевидно, что другие языковые модели отстают и не смогут конкурировать с ChatGPT." - нахуя писать хуйню?

Ответить
Развернуть ветку
4Chan Sung

не успел выйти 3 ChatGPT уже выходит 4

Ответить
Развернуть ветку
Dudka Trubnik

GPT-3 уже пара лет

Ответить
Развернуть ветку
Valentin Budaev
Теперь очевидно, что другие языковые модели отстают и не смогут конкурировать с ChatGPT.

Не понял, а это с чего взяли? И в каком смысле "не может"?

Вы знаете хотя бы еще одну языковую модель с такими объемами данных и обратной связи? Нет. И чем дальше, тем точнее становится ChatGPT, дообучаясь на уникальном корпусе текстов и обратной связи.

Не становится. У архитектуры есть фундаментальные ограничения и они по сути практивески достигнуты.

Ответить
Развернуть ветку
11 комментариев
Раскрывать всегда