Почему ChatGPT развивается быстрее других языковых моделей?

Каждая уважающая себя поисковая компания разрабатывает собственную языковую модель: Bard в Google, YaLM 2.0 в Яндексе, ERNIE в Baidu и другие. Пока другие пытаются, Microsoft уже внедряет ChatGPT в Bing и Edge.

Прошло всего 4 месяца, как OpenAI открыли публичный доступ к ChatGPT. За это время аудитория активных пользователей ChatGPT достигла 100 миллионов, которые создали десятки миллиардов промптов. Теперь очевидно, что другие языковые модели отстают и не смогут конкурировать с ChatGPT.

Объем тренировочных данных ChatGPT сопоставим с размером интернета. По данным SimilarWeb на август 2021 года, объем интернета - это почти 2 миллиарда сайтов с десятками страниц контента. Далее этот объем тренировочных данных был дообучен в предыдущей версии ChatGPT - InstructGPT (известная как GPT-3.5). Модель была дообучена с помощью обратной связи живых людей на огромном количестве ответов нейросети.

Что мы имеем сейчас? Десятки миллиардов промптов, сгенерированные пользователями и десятки миллиардов ответов ChatGPT. Этими данными отлично пользуется команда OpenAI, чтобы дособирать уникальный корпус текстов, по которому можно будет дообучить ChatGPT.

Чем больше данных собрано и чем больше обратной связи получено на ответы языковой модели, тем более точный результат дает языковая модель.

Вы знаете хотя бы еще одну языковую модель с такими объемами данных и обратной связи? Нет. И чем дальше, тем точнее становится ChatGPT, дообучаясь на уникальном корпусе текстов и обратной связи.

*Перед прочтением рекомендую изучить статью про основы ChatGPT.