Разработка Kirill Kazakov
5 046

Почему компьютер может писать как человек, но при этом не понимать написанного

Автор MIT Technology Review Карен Хао — о том, как работает искусственный интеллект OpenAI.

В закладки

14 февраля некоммерческая исследовательская компания OpenAI выпустила новую языковую модель, способную генерировать убедительные отрывки текста. Настолько убедительные, что создатели решили не выкладывать полный код в открытый доступ: он мог бы стать инструментом для создания ложных новостей.

Несмотря на впечатляющие результаты, методы OpenAI не новы, и в первую очередь прорыв был обеспечен огромным количеством обучающих данных.

Тексты, созданные программой, вполне могут сойти за написанное человеком. Однако эту способность не стоит путать с подлинным пониманием языка — конечной целью учёных, занимающихся обработкой естественных языков. (В компьютерном зрении происходит то же самое — алгоритмы умеют синтезировать реалистичные изображения, совершенно не понимая зрительных образов.)

Сегодня развитие обработки естественных языков обеспечивают четыре философских подхода; начнём с того, который приняли исследователи OpenAI.

Дистрибутивная семантика

MIT Technology Review

Философское обоснование: значение слова определяется его употреблением. Так, значения слов «кошка» и «собака» родственны, так как они употребляются схожим образом. Вы можете покормить и приласкать и кошку, и собаку. А вот апельсин, например, покормить и приласкать не получится.

На практике: алгоритмы на основе методов дистрибутивной семантики продвинули обработку естественных языков. Здесь исследователи полагаются на машинное обучение — отыскивают паттерны, подсчитывая, насколько часто и близко слова используются относительно друг друга.

На основе этих паттернов получающиеся в результате модели конструируют предложения или абзацы; так работают автозаполнение и другие предиктивные текстовые системы. Некоторые разработчики экспериментируют с распределением случайных последовательностей символов, а не слов, чтобы сделать модели более восприимчивыми к акронимам, пунктуации, сленгу — всему тому, чего нет в словаре. А также к языкам, где граница между словами нечёткая.

Преимущества: подобные алгоритмы очень гибкие и легко масштабируются, потому что они применимы в любом контексте и учатся на неразмеченных данных.

Недостатки: получаемые модели не понимают создаваемых предложений. По большому счёту они пишут, опираясь на словесные ассоциации.

Фреймовая семантика

MIT Technology Review

Философское обоснование: язык используется для описания действий и явлений, поэтому предложения делятся на субъекты, глаголы и второстепенные члены.

На практике: алгоритмы, в основе которых лежит фреймовая семантика, в анализе предложений полагаются на набор правил или большое количество размеченных данных. Поэтому они особо хороши для интерпретации простых команд и для чат-ботов, голосовых ассистентов.

Если вы, например, попросите Alexa: «Найди на завтра четырёхзвёздочный ресторан». Такой алгоритм поймёт требование, разбив его на категории: действие — «найди», что — «четырёхзвёздочный ресторан» и когда — «завтра».

Преимущества: в отличие от алгоритмов на основе дистрибутивной семантики, не понимающих тексты, на которых они учатся, алгоритмы фреймовой семантики различают информацию в предложении.

Недостатки: такие алгоритмы справляются с очень простыми предложениями, не фиксируя тонкости; они не очень подвижные, поскольку требуют серьёзного контекстного обучения.

Модельно-теоретическая семантика

Философское обоснование: язык нужен для передачи знаний.

На практике: в основе модельно-теоретической семантики лежит старая идея — любое знание можно закодировать (смоделировать) последовательностью логических правил.

Если известно, что птицы умеют летать, а орёл — птица, можно заключить: орёл умеет летать. Такой подход всё же вышел из моды, ведь на каждое правило приходится слишком много исключений (пингвины — птицы, но не летают).

Тем не менее модельно-теоретические алгоритмы полезны для извлечения информации из моделей представления знаний вроде баз данных. Как и алгоритмы фреймовой семантики, они анализируют предложения, разбивая их на части, но эти части мыслятся как логические правила, кодирующие сообщение.

Модельно-теоретический алгоритм разобьёт вопрос «Город с самым большим населением в Европе?» на серию замкнутых запросов: «все города мира?», «какие из них в Европе?», «какое у них население?», «в каком городе население самое большое?». И после этого даст ответ.

Преимущества: подобные алгоритмы позволяют машине отвечать на сложные вопросы.

Недостатки: они требуют модели представления знаний, на создание которых уходит много времени; контекстуальная сфера этих алгоритмов ограничена.

Опытная семантика

Философское обоснование: язык получает значение из опыта. Люди создали язык для достижения определённых целей, поэтому его следует понимать в рамках целеположенного мира.

На практике: этот подход самый новый и многообещающий. В обучении языку алгоритм пытается подражать человеку: начинает машина с чистого листа и учится связывать слово и значение в диалоге.

Простой пример. Обучая компьютер передвижению предметов в виртуальном пространстве, вы даёте ему команду «передвинь красный куб влево», а затем показываете, что имеете в виду. Со временем компьютер научится понимать и исполнять команды без помощи.

Преимущества: в теории «опытные» алгоритмы очень податливы и наиболее близко подбираются к настоящему пониманию языка.

Недостатки: обучение занимает много времени; не все слова и словосочетания иллюстрируются так же легко, как «передвинь красный куб».

В долгосрочной перспективе у каждого подхода есть ограничения.

«Вероятно, существует качественный разрыв между пониманием языка, восприятием мира человеком и современными моделями», — отмечает профессор информатики в Стэнфорде Перси Лян. Преодоление этого разрыва потребует нового мышления, добавляет он, и гораздо больше времени.

#искусственныйинтеллект #машинноеобучение

{ "author_name": "Kirill Kazakov", "author_type": "editor", "tags": ["\u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435","\u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439\u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442"], "comments": 8, "likes": 26, "favorites": 17, "is_advertisement": false, "subsite_label": "dev", "id": 59105, "is_wide": false, "is_ugc": false, "date": "Thu, 21 Feb 2019 11:17:41 +0300" }
{ "id": 59105, "author_id": 127882, "diff_limit": 1000, "urls": {"diff":"\/comments\/59105\/get","add":"\/comments\/59105\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/59105"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 235819 }

8 комментариев 8 комм.

Популярные

По порядку

Написать комментарий...
9

компьютер может писать ..., но при этом не понимать написанного

Множество людей тоже так делает.

Ответить
1

OpenAI уже лучше некоторых людей пишет о чем-то, тоже факт

Ответить
0

вопрос от гуманитария: когда создадут такой алгоритм для русского языка? прогнозы?

Ответить
0

Хоть сегодня если есть семантическое ядро достаточного размера и большой датасет (:

Ответить
1

Корпус русского языка, к слову, довольно неплохой и даже размеченный местами.

Ответить
0

И чтобы это кому-то было нужно настолько, чтобы тратить на это много-много денег.

Ответить
0

Интересно, а пробовали LSA натравить на такие тексты? Или Томита-парсер.

Ответить

Комментарий удален

0

Для начала нужно узнать что такое понимание в своей сущностной природе.

Ответить
0
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Нейронная сеть научилась читать стихи
голосом Пастернака и смотреть в окно на осень
Подписаться на push-уведомления
{ "page_type": "default" }