Почему компьютер может писать как человек, но при этом не понимать написанного Статьи редакции

Автор MIT Technology Review Карен Хао — о том, как работает искусственный интеллект OpenAI.

14 февраля некоммерческая исследовательская компания OpenAI выпустила новую языковую модель, способную генерировать убедительные отрывки текста. Настолько убедительные, что создатели решили не выкладывать полный код в открытый доступ: он мог бы стать инструментом для создания ложных новостей.

Несмотря на впечатляющие результаты, методы OpenAI не новы, и в первую очередь прорыв был обеспечен огромным количеством обучающих данных.

Тексты, созданные программой, вполне могут сойти за написанное человеком. Однако эту способность не стоит путать с подлинным пониманием языка — конечной целью учёных, занимающихся обработкой естественных языков. (В компьютерном зрении происходит то же самое — алгоритмы умеют синтезировать реалистичные изображения, совершенно не понимая зрительных образов.)

Сегодня развитие обработки естественных языков обеспечивают четыре философских подхода; начнём с того, который приняли исследователи OpenAI.

Дистрибутивная семантика

MIT Technology Review

Философское обоснование: значение слова определяется его употреблением. Так, значения слов «кошка» и «собака» родственны, так как они употребляются схожим образом. Вы можете покормить и приласкать и кошку, и собаку. А вот апельсин, например, покормить и приласкать не получится.

На практике: алгоритмы на основе методов дистрибутивной семантики продвинули обработку естественных языков. Здесь исследователи полагаются на машинное обучение — отыскивают паттерны, подсчитывая, насколько часто и близко слова используются относительно друг друга.

На основе этих паттернов получающиеся в результате модели конструируют предложения или абзацы; так работают автозаполнение и другие предиктивные текстовые системы. Некоторые разработчики экспериментируют с распределением случайных последовательностей символов, а не слов, чтобы сделать модели более восприимчивыми к акронимам, пунктуации, сленгу — всему тому, чего нет в словаре. А также к языкам, где граница между словами нечёткая.

Преимущества: подобные алгоритмы очень гибкие и легко масштабируются, потому что они применимы в любом контексте и учатся на неразмеченных данных.

Недостатки: получаемые модели не понимают создаваемых предложений. По большому счёту они пишут, опираясь на словесные ассоциации.

Фреймовая семантика

MIT Technology Review

Философское обоснование: язык используется для описания действий и явлений, поэтому предложения делятся на субъекты, глаголы и второстепенные члены.

На практике: алгоритмы, в основе которых лежит фреймовая семантика, в анализе предложений полагаются на набор правил или большое количество размеченных данных. Поэтому они особо хороши для интерпретации простых команд и для чат-ботов, голосовых ассистентов.

Если вы, например, попросите Alexa: «Найди на завтра четырёхзвёздочный ресторан». Такой алгоритм поймёт требование, разбив его на категории: действие — «найди», что — «четырёхзвёздочный ресторан» и когда — «завтра».

Преимущества: в отличие от алгоритмов на основе дистрибутивной семантики, не понимающих тексты, на которых они учатся, алгоритмы фреймовой семантики различают информацию в предложении.

Недостатки: такие алгоритмы справляются с очень простыми предложениями, не фиксируя тонкости; они не очень подвижные, поскольку требуют серьёзного контекстного обучения.

Модельно-теоретическая семантика

Философское обоснование: язык нужен для передачи знаний.

На практике: в основе модельно-теоретической семантики лежит старая идея — любое знание можно закодировать (смоделировать) последовательностью логических правил.

Если известно, что птицы умеют летать, а орёл — птица, можно заключить: орёл умеет летать. Такой подход всё же вышел из моды, ведь на каждое правило приходится слишком много исключений (пингвины — птицы, но не летают).

Тем не менее модельно-теоретические алгоритмы полезны для извлечения информации из моделей представления знаний вроде баз данных. Как и алгоритмы фреймовой семантики, они анализируют предложения, разбивая их на части, но эти части мыслятся как логические правила, кодирующие сообщение.

Модельно-теоретический алгоритм разобьёт вопрос «Город с самым большим населением в Европе?» на серию замкнутых запросов: «все города мира?», «какие из них в Европе?», «какое у них население?», «в каком городе население самое большое?». И после этого даст ответ.

Преимущества: подобные алгоритмы позволяют машине отвечать на сложные вопросы.

Недостатки: они требуют модели представления знаний, на создание которых уходит много времени; контекстуальная сфера этих алгоритмов ограничена.

Опытная семантика

Философское обоснование: язык получает значение из опыта. Люди создали язык для достижения определённых целей, поэтому его следует понимать в рамках целеположенного мира.

На практике: этот подход самый новый и многообещающий. В обучении языку алгоритм пытается подражать человеку: начинает машина с чистого листа и учится связывать слово и значение в диалоге.

Простой пример. Обучая компьютер передвижению предметов в виртуальном пространстве, вы даёте ему команду «передвинь красный куб влево», а затем показываете, что имеете в виду. Со временем компьютер научится понимать и исполнять команды без помощи.

Преимущества: в теории «опытные» алгоритмы очень податливы и наиболее близко подбираются к настоящему пониманию языка.

Недостатки: обучение занимает много времени; не все слова и словосочетания иллюстрируются так же легко, как «передвинь красный куб».

В долгосрочной перспективе у каждого подхода есть ограничения.

«Вероятно, существует качественный разрыв между пониманием языка, восприятием мира человеком и современными моделями», — отмечает профессор информатики в Стэнфорде Перси Лян. Преодоление этого разрыва потребует нового мышления, добавляет он, и гораздо больше времени.

0
8 комментариев
Написать комментарий...
Kirill Pankin
компьютер может писать ..., но при этом не понимать написанного

Множество людей тоже так делает.

Ответить
Развернуть ветку
Denis Shiryaev

OpenAI уже лучше некоторых людей пишет о чем-то, тоже факт

Ответить
Развернуть ветку
Руслан Серазетдинов

вопрос от гуманитария: когда создадут такой алгоритм для русского языка? прогнозы?

Ответить
Развернуть ветку
Denis Shiryaev

Хоть сегодня если есть семантическое ядро достаточного размера и большой датасет (:

Ответить
Развернуть ветку
Кирилл Казаков
Автор

Корпус русского языка, к слову, довольно неплохой и даже размеченный местами.

Ответить
Развернуть ветку
topovyj

И чтобы это кому-то было нужно настолько, чтобы тратить на это много-много денег.

Ответить
Развернуть ветку
Mr. Burns

Интересно, а пробовали LSA натравить на такие тексты? Или Томита-парсер.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Oleg Marchuk

Для начала нужно узнать что такое понимание в своей сущностной природе.

Ответить
Развернуть ветку
Читать все 8 комментариев
null