Рубрика развивается при поддержке
Будущее
Up Great
1152

ИИ и Natural Language Processing: большой обзор рынка. Часть 2

Мы продолжаем цикл статей о том, как выглядит рынок Natural Language Processing. Сегодня в нашем обзоре — список самых влиятельных игроков и технологий мирового рынка NLP. Тем временем российские разработчики NLP-решений по-прежнему могут подать заявку на профильный конкурс Up Great и побороться за приз в 200 млн руб.

В закладки
​Amazon Echo https://new.qq.com/

1. Google (США)

NLP-подразделение: Группы NLP и Speech в Google AI, Google Brain, DeepMind

Ключевые исследователи: Hugo Larochelle, Ilya Sutskever, Tomas Mikolov, Oriol Vinyals, Greg Corrado, Geffrey Dean

Количество патентов: 266

Продукты и проекты:

Google Ассистент позволяет общаться с Google как с живым человеком. Технология NLP анализирует предложения целиком, чтобы понять контекст и дать подходящий ответ на запрос пользователя.

Google Переводчик — бесплатный инструмент для перевода текста с одного языка на другой. Сервисом ежемесячно пользуются более 500 млн людей по всему миру, а в день Переводчик обрабатывает больше 100 млрд слов. Во время телефонного разговора технология распознавания речи превращает звуки в слова, а обработка естественных языков помогает компьютеру понять смысл речи.

Автоматическое создание субтитров для YouTube — с помощью машинного обучения YouTube автоматически создал субтитры более чем для 1 млрд видео на 10 языках.

Google Cloud ML APIs — набор уже обученных моделей для машинного обучения в виде готовых к использованию облачных сервисов, которые могут быть интегрированы с продуктами. Среди них есть и сервисы для NLP: Google Cloud Natural Language — сервис для глубокого анализа текстов. Позволяет делать синтаксический анализ, вычленять образы, анализировать эмоции и т.д.

Google Cloud AutoML Natural Language — позволяет создавать специализированные модели для категоризации текстовых данных на основе данных, не требуя при этом глубоких знаний в области NLP.

Dialogflow — комплексный пакет разработки для создания диалоговых интерфейсов для веб-сайтов, мобильных приложений, популярных платформ обмена сообщениями. Может быть использован для создания интерфейсов (таких как чат-боты и разговорный IVR, голосовые ассистенты), которые обеспечивают естественное и насыщенное взаимодействие между пользователями и бизнесом.

Intro to Dialogflow. Dialogflow

2. Microsoft (США)

NLP-подразделение: Microsoft Natural Language Processing Group

Ключевые исследователи: Scott Guthrie (исполнительный вице-президент, руководитель Microsoft Cloud + AI Group), Harry Shum (исполнительный вице-президент, руководитель Microsoft Artificial Intelligence and Research Group), Eric Horvitz, Christopher Bishop, Bill Dolan (лидер Microsoft Natural Language Processing Group), Chris Brockett, Michel Galley, Jianfeng Gao, Matthew Richardson

Количество патентов: 574

Продукты и проекты:

Cortana — голосовой помощник, работающий на Windows Phone 8.1, Microsoft Band, Windows 10, Android, Xbox One и iOS. На основе персональных данных предугадывает потребности пользователя, строит индивидуальные рекомендации, осуществляет поиск необходимой информации в интернете.

Luis (Language Understanding) — сервис обработки естественного языка на основе машинного обучения, встраиваемый в различные приложения, боты и устройства IoT. Может применяться как обычными, так и индустриальными пользователями.

What’s New with Language Understanding Service (LUIS). Microsoft Developer

Microsoft анализ текста — API для извлечения информации из текста, анализа тональности, определения языка текста, выделения ключевых слов и именованных сущностей.

3. Amazon (США)

NLP-подразделение: NLP-группа Amazon AI Labs, Amazon Alexa

Ключевые исследователи: Rohit Prasad (главный научный сотрудник Amazon Alexa), Ruhi Sarikaya, Yaser Al-Onaizan, Edleno Thomas Drugman, Thomas Merritt, Young-Bum Kim

Количество патентов: 59

Продукты и проекты:

Alexa — виртуальный помощник с алгоритмами обработки естественного языка.

What Is Alexa? An Introduction to Amazon's Alexa Voice Service. Alexa Developers

Twinword — API для оценки сходства двух слов, предложений или абзацев, определения расстояния между частями текста и классификации текстов.

Amazon Comprehend — сервис обработки естественного языка (NLP), в котором для поиска закономерностей и взаимосвязей в тексте применяются технологии машинного обучения. Опыт в сфере машинного обучения не требуется.

4. IBM (США)

NLP-подразделение: IBM Research China, IBM Research Israel, IBM Research Ireland, IBM Research Almanden, IBM Research Austin, IBM Research Cambridge

Ключевые исследователи: Rob High (вице-президент и CTO IBM Watson), Dario Gil (директор IBM Research), Jeffrey Welser, Oded Cohn, Kevin Nowka, Rakesh Agrawal, Prabhakar Raghavan, Philip S. Yu, Brian Kingsbury, Andrew W. Senior

Количество патентов: 932

Продукты и проекты:

Watson Natural Language Understanding — модели на основе IBM Watson, позволяющие выделять из текста понятия, сущности, ключевые слова, категории, настроения, эмоции, отношения и семантические роли.

Watson Speech-to-Text — система, позволяющая конвертировать аудиозаписи в написанный текст.

Watson Discovery — облачная технология, позволяющая при помощи комбинации алгоритмов машинного обучения и обработки естественного языка анализировать данные в рамках конкретной индустрии и выделять тенденции и тренды.

IBM Watson Explorer — набор моделей для поиска информации в тексте, выделения сущностей и отношений.

Watson Explorer Overview. IBM Watson

Watson Neural Machine Translation — технология машинного перевода на основе алгоритмов глубокого обучения, позволяющая осуществлять автоматический перевод с ряда европейских языков.

Project Debater — разговорный ИИ, который может общаться на различные темы, «понимает» вопросы и самостоятельно конструирует развернутые ответы на базе поиска вариантов ответов в Интернете.

Watson Beat — нейронная сеть, способная создавать оригинальные музыкальные композиции с использованием различных инструментов.

5. Baidu (Китай)

NLP-подразделение: Baidu Institute of Deep Learning, NLP-платформа

Ключевые исследователи: Andrew Ng (до марта 2017 г. — ведущий специалист лаборатории искусственного интеллекта), Yuanqing Lin (директор Baidu Institute of Deep Learning), Liang Huang, Kenneth Ward, Church, Yanjun Ma, Mark Liberman, Hao Tian

Количество патентов: 29

Продукты и проекты:

DuerOS — Разговорная ИИ-платформа, установлена более, чем на 100 миллионах устройств.

Baidu DuerOS -Powered: From In-Home to In-Car. Baidu Inc.

Raven H, Aladdin — голосовые помощники.

ERNIE 2.0 — фреймворк для понимания естественного языка, работает на английском и китайском языках, поддерживает логический вывод, определение семантического сходства, распознавание именованных сущностей, анализ тональности и сопоставление вопросов и ответов

6. Apple (США)

NLP-подразделение: исследования Apple в сфере NLP направлены на создание инфраструктуры на базе iOS, включающей умных виртуальных ассистентов и ПО с возможностью распознавания и синтеза речи, а также продвинутого поиска информации по запросу пользователя

Ключевые исследователи: John Giannandrea (старший вице-президент по машинному обучению и стратегии ИИ Apple, ранее работал в Microsoft и ИИ-подразделении Google), Ian Goodfellow (директор направления «машинное обучение» в Группе Специальных Проектов Apple, ранее работал в Google Brain и OpenAI)

Количество патентов: 73

Продукты и проекты:

Siri — виртуальный помощник и вопросно-ответная система с встроенной технологией обработки естественного языка, работающая на базе всех устройств Apple.

Платформа для обработки естественного языка — фреймворк для идентификации языка, токенизации, лемматизации, тегирования частей речи и распознавания именованных объектов.

Speech framework — фреймворк для распознавания произнесенных или записанных в аудиофайле слов. Алгоритмы распознавания речи используются для перевода аудиоконтента в текст.

SoundAnalysis — фреймворк для анализа и классификации аудиозаписей.

Speech Manager — встроенный в Mac OS алгоритм, который позволяет приложениям генерировать речь.

7. Nuance (США)

NLP-подразделение: Nuance Research. Направления исследований: распознавание речи, биометрия, улучшение качества речи, NLP, синтез речи

Ключевые исследователи: Joe Petro, Markus Buck, Gerhard Schmidt, Tim Haulick, Brian Roundtree, William Ganong, David Kay

Количество патентов: 920

Продукты и проекты:

Cerence — новый спин-офф компании Nuance, специализирующийся на внедрении разговорных ИИ-платформ в транспортные средства.

Engagement of things — решение на основе разговорного ИИ и интернета вещей, объединяющее все электронные устройства пользователя в рамках единой платформы.

Nuance Healthcare Solutions — виртуальные ассистенты, системы распознавания речи и программное обеспечение для обработки документации, применяемые в медицинских учреждениях.

Dragon Drive — виртуальный помощник для автомобиля с функциями разговорного ИИ, биометрии, распознавания голоса и дополненной реальности.

Siri — система распознавания голоса, используемая в голосовом помощнике Siri (Apple, Inc.), была разработана Nuance.

Inside Nuance: the art and science of how Siri speaks. The Verge

Project Pathfinder — проект по машинному обучению, запущенный Nuance в начале 2019 г., направлен на усовершенствование алгоритмов, используемых в виртуальных агентах и чат-ботах. На основе логов чатов и транскриптов диалогов между агентами и пользователями Project Pathfinder строит более эффективные разговорные модели.

Nina — виртуальный помощник, интегрируемый в мобильные приложения на операционных системах iOS и Android, объединяет в себе технологии распознавания речи, преобразование текста в речь, систему голосовой биометрии. На базе Nina разработчики программного обеспечения могут создавать собственные системы распознавания голоса.

8. Facebook (США)

NLP-подразделение: Facebook AI Research Lab (FAIR)

Ключевые исследователи: Jérôme Pesenti (VP по искусственному интеллекту в Facebook), Yann LeCun, Tomas Mikolov, Devi Parikh, Antoine Bordes

Количество патентов: 44

Продукты и проекты:

CommAI — разработка виртуальных агентов общего назначения, полезных для человека в повседневной жизни.

ParlAI — открытая платформа для обучения чат-ботов.

bAbI — платформа для автоматического понимания текстов, а также набор датасетов для тестирования алгоритмов понимания естественного языка.

FastText — фреймворк для классификации текста, выделения ключевых слов и именованных сущностей.

FastText Tutorial - How to Classify Text with FastText. Fullstack Academy

9. Tencent (Китай)

NLP-подразделение: группа NLP Tencent AI Lab

Ключевые исследователи: Zhengyou Zhang (директор Tencent AI Lab), Bo Chen, Xiang Zhang, Lou Li, Eryu Wang и Shuai Yue

Количество патентов: 13

Продукты и проекты:

TingTing, Xiaowei — голосовые помощники, работающие на базе мессенджера WeChat.

Ayla & Tencent Xiaowei demo video. Ayla Networks - Taiwan

Jingle — голосовой помощник, аналог Amazon Alexa.

Tencent NLP — открытая платформа с функциями семантического анализа, предоставляющая API для разработки NLP-систем и решения прикладных задач по обработке естественного языка.

10. DeepL (Германия)

NLP-подразделение: немецкая ИИ-компания, специализирующаяся в области глубокого обучения, которая разрабатывает системы искусственного интеллекта для решения задач, связанных с языками. Отмечена многими изданиями и экспертами как лидирующая система в области машинного перевода

Ключевые исследователи: Jaroslaw Kutylowski, Gereon Frahling

Количество патентов: н/д

Продукты и проекты:

DeepL Переводчик — бесплатная система машинного перевода. К середине 2019 г. доступны версии DeepL Переводчика на английском, немецком, французском, нидерландском, испанском, русском, итальянском, польском и португальском языках.

DeepL Pro — продукт, выпущенный в марте 2018 г., предлагает профессиональный API и расширенные возможности для онлайн-перевода. DeepL Pro представляет собой платформу, на основе которой разработчики могут создавать новые продукты: например, приложения для синхронного перевода видео и чартов, дополнения к браузеру и почтовым программам, а также переводчики в режиме дополненной реальности.

Linguee — глобальная система контекстуального поиска по переводам.

11. Alibaba (Китай)

NLP-подразделение: Лаборатория языковых технологий DAMO Academy

Ключевые исследователи: Yangqing Jia (директор по ИИ в Alibaba, ранее работал в Facebook)

Количество патентов: 10

Продукты и проекты:

Tmall Genie — голосовой помощник.

What is Tmall Genie? Alibaba Group

AliReader — технология анализа неструктурированного текста, интеллектуального поиска и извлечения информации из различных документов, использующаяся во многих продуктах Alibaba.

AliTranx — переводчик, применяемый в Alibaba International B2B, AliExpress и платформе Lazada, ежедневно его используют более 700 млн человек.

Judicial brain — NLP-платформа для юристов.

AliNLP — NLP-система, использующаяся в различных продуктах Alibaba, более 800 млрд. использований в день.

Технологический барьер конкурса Up Great по ИИ – создание системы, которая сможет за секунды в напечатанном человеком тексте найти фактические, логические и смысловые ошибки, а также объяснить, в чем суть ошибки, на понятном человеку языке. И сделать она должна это лучше, чем человек, у которого есть ограниченное время – несколько минут на страницу текста.

Тексты, которые будет ИИ анализировать – эссе, написанные студентами и школьниками по широкому набору тематик. Почему мы выбрали эссе?

Во-первых, для них существуют объективные критерии проверки. Другие актуальные задачи, например, выявление Fake News, очень сложно автоматизировать по причине неопределенности самого понятия. Эту проблему хорошо иллюстрирует кейс Facebook, который купил в 2018 году перспективную британскую команду Bloomsbury, но после первых экспериментов отказался от идеи заменить модераторов на алгоритм.

Во-вторых, такой барьер решает важную социальную задачу. Инструмент, который позволит миллионам обучающихся и преподавателей автоматизировать операции, связанные с работой со смыслом текста, нахождением фактических ошибок и разрывов в логике, будет крайне востребован в любого рода образовательных процессах. Такой ИИ будет использоваться как тренажер и позволит обучающимся независимо от места проживания получить доступ к качественной обратной связи.

Юрий Молодых
Директор по развитию Up Great

Продолжение следует.

Текст подготовлен на основе исследования Frost&Sullivan в интересах Технологических конкурсов Up Great (организаторы — РВК, АСИ и Фонд "Сколково")

Материал опубликован пользователем.
Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "Up Great", "author_type": "self", "tags": [], "comments": 2, "likes": -1, "favorites": 14, "is_advertisement": false, "subsite_label": "future", "id": 102380, "is_wide": false, "is_ugc": true, "date": "Thu, 23 Jan 2020 10:30:18 +0300", "is_special": false }
Самый сильный бренд
страны*
*Третий год подряд по версии Brand Finance
0
{ "id": 102380, "author_id": 375960, "diff_limit": 1000, "urls": {"diff":"\/comments\/102380\/get","add":"\/comments\/102380\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/102380"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199118, "last_count_and_date": null }
2 комментария
Популярные
По порядку
0

С где часть 1 ??

Ответить
0

Ловите большой отчет по NLP https://aireport.ru/nlp 

Ответить
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "Article Branding", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "cfovx", "p2": "glug" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Баннер в ленте на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "disable": true, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } }, { "id": 20, "label": "Кнопка в сайдбаре", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "cgxmr", "p2": "gnwc" } } } ] { "token": "817507bb-dd21-48f2-b782-5393c1684d6b", "release": "c0d1b4db" } { "page_type": "default" }