Эволюция нейросетей: от T9 до ChatGPT

Вы когда-нибудь задумывались, что общего у ChatGPT и Т9? А общего у них много: ChatGPT — это внук T9 в мире ИИ-технологий, его усовершенствованная версия. В этой статье расскажем, как появились современные языковые модели и причем тут Т9.

Т9 или Text on 9 keys разработала американская компания Tegic Communication в конце 1990-х. Т9 предназначался для кнопочных телефонов, владельцы которых тратили много времени на набор текста. Например, чтобы напечатать слово «‎кто», нужно было нажать клавиши 9 раз. Т9 ускорил набор текста. Система предсказывала слова, которые вводили пользователи — искала совпадения в своем словаре.

Т9 совершил прорыв в области языковых моделей. Но технология была далека от идеала — она не учитывала контекст предложения и выдавала нечто странное. Например, «‎Купи яблочный рок».

В нулевых Т9 заменила iTAP — система, созданная Motorola. iTAP не только предугадывала слова, но и учитывала контекст. Например, если пользователь вводил «‎яблочный», алгоритм предлагал слова «‎сок», «‎пирог» и т.д. Еще система позволяла добавлять в словарь собственные слова.

Сотрудники Microsoft заметили, что пользователи Microsoft Word часто делают опечатки в одних и тех же словах. Причина — близость клавиш, непроизносимые сочетания букв и ошибки. Проблему решила функция автозамены. Она автоматически заменяла слова, введеные пользователям, на предопределенные. В основе алгоритма — глоссарий, состоящий из пар «‎искомое слово — слово для замены». Когда программа находила совпадения между введенными символами и словом для замены, она вносила исправление.

В Microsoft научили инструмент учитывать контекст. Например, алгоритм понимает, когда нужно заменить строчную букву на заглавную, а когда — нет.

Автозаполнение — это алгоритм, который предсказывает часть слова или фразу. Прототип технологии изобрели китайские лингвисты в 1950-х годах. Они поняли, что печатать на китайской пишущей машинке очень долго и неудобно. Подобные устройства не имели клавиатуры. Вместо нее был поднос, на котором располагались иероглифы. Машинистка выбирала нужный символ, специальное устройство захватывало его и переносило на бумагу. Машинистки тратили много времени на поиск нужного иероглифа. Чтобы ускорить набор текста, лингвисты собрали самые распространенные слова и фразы и поместили их на клавиши.

Сегодня функция автозамены есть в самых разных компьютерных программах: браузерах, поисковых системах, текстовых редакторах и т.д. Например, если вы вводите данные в Excel, программа предсказывает продолжение числовой последовательности или текста.

Языковые модели или LLM — это технологии, которые вобрали в себя все самое лучшее от Т9, iTAP, автозамен и -заполнений. Прототип современных LLM — ELIZA — разработали еще в 1966 году. Она имитировала диалог с психотерапевтом — задавала уточняющие вопросы. Например, если пользователь говорил «Мне грустно и тревожно», ELIZA отвечала: «Расскажите мне о своих чувствах подробнее». Она не понимала язык и не могла обучаться — адаптироваться к новым задачам, обрабатывать и запоминать новую информацию.

Современные программы типа ChatGPT понимают естественные языки и способны к обучению. Они пользуются обширной библиотекой данных, в которой содержатся не только языковые единицы, но и информация об их корректном написании и взаимосвязи. Поэтому нейросеть предсказывает следующее слово с высокой точностью и понимает контекст. Программы могут генерировать не только отдельные фразы, но и связные тексты.

Итак, языковые модели прошли долгий путь: от простых алгоритмов до сложных и мощных программ. Возможно, этот путь был бы еще более длинным, если бы не технология T9. Именно она определила принцип работы современных LLM.