Почему ChatGPT развивается быстрее других языковых моделей?

Каждая уважающая себя поисковая компания разрабатывает собственную языковую модель: Bard в Google, YaLM 2.0 в Яндексе, ERNIE в Baidu и другие. Пока другие пытаются, Microsoft уже внедряет ChatGPT в Bing и Edge.

Обновленный AI-поиск браузера Edge. Источник: <a href="https://blogs.microsoft.com/blog/2023/02/07/reinventing-search-with-a-new-ai-powered-microsoft-bing-and-edge-your-copilot-for-the-web/" rel="nofollow noreferrer noopener" target="_blank">blogs.microsoft.com</a>
Обновленный AI-поиск браузера Edge. Источник: blogs.microsoft.com

Прошло всего 4 месяца, как OpenAI открыли публичный доступ к ChatGPT. За это время аудитория активных пользователей ChatGPT достигла 100 миллионов, которые создали десятки миллиардов промптов. Теперь очевидно, что другие языковые модели отстают и не смогут конкурировать с ChatGPT.

Объем тренировочных данных ChatGPT сопоставим с размером интернета. По данным SimilarWeb на август 2021 года, объем интернета - это почти 2 миллиарда сайтов с десятками страниц контента. Далее этот объем тренировочных данных был дообучен в предыдущей версии ChatGPT - InstructGPT (известная как GPT-3.5). Модель была дообучена с помощью обратной связи живых людей на огромном количестве ответов нейросети.

Что мы имеем сейчас? Десятки миллиардов промптов, сгенерированные пользователями и десятки миллиардов ответов ChatGPT. Этими данными отлично пользуется команда OpenAI, чтобы дособирать уникальный корпус текстов, по которому можно будет дообучить ChatGPT.

Чем больше данных собрано и чем больше обратной связи получено на ответы языковой модели, тем более точный результат дает языковая модель.

Вы знаете хотя бы еще одну языковую модель с такими объемами данных и обратной связи? Нет. И чем дальше, тем точнее становится ChatGPT, дообучаясь на уникальном корпусе текстов и обратной связи.

*Перед прочтением рекомендую изучить статью про основы ChatGPT.

10
14 комментариев
4
Ответить

Кажется, что нужно промпт адаптировать, поскольку все смыслы и цифры потерялись

Ответить

Мне кажется, потому что ChatGPT хорошенько форсили в интернете) И это сработало как хорошая реклама

1
Ответить

Скорее потому что кроме классной технологии, ещё был легкий интерфейс. Потому что GPT-3 тоже в публике была, но только с API-интерфейсом. И такого форса не было

Ответить

пробовал несколько ии, вот в чат гпт самый удобный интерфейс и там как-то приятнее создавать запросы

1
Ответить

Интересно что там с утекшей большой моделью от Facebook - llama.
Насколько она хороша.

Ответить

Пока без новостей

Ответить