Нейросети и искусственный интеллект — хайп или ближайшее будущее

Разберёмся: способны ли технологии Machine Learning сегодня полностью автоматизировать человеческий труд, а умные роботы с искусственным интеллектом заменить вас на работе.

В закладки
Аудио

Привет, vc. Machine learning, big data, data science, artificial intelligence — термины, которые всем давно известны. Но что внутри?

Нейросеть — это математическая модель. Её главная особенность в том, что «физические» формулы модели не программируются в привычном смысле этого слова, а обучаются. Например, чтобы предсказать: выдавать кредит или нет, вместо разработки формул на основе анкеты человека, мы обучаем нейросеть, подразумевая, что она сама «выучит» нужные формулы.

Формулы расчета «ячейки» LSTM, одного из самых популярных типов рекуррентной нейронной сети.

Нейронная сеть — не единственный класс алгоритмов машинного обучения (ML), есть и другие часто используемые в бизнесе.

Любое обучение ML-алгоритма начинается с данных. Например, мы хотим, чтобы наша нейронка отличала биологический вид рыб. Для этого мы должны собрать фотографии рыб, которые нужно отличить. В разных ракурсах, потому что иначе сетка будет различать только рыбу в лежачем виде, как на фото ниже.

Просто спарсить картинки недостаточно. Для начала обучения все фотографии в разных ракурсах нужно разметить, то есть добавить к каждой наименование вида. Например, лосось, тунец, махи-махи и так далее. Как вы правильно поняли, это делается вручную.

Если мы хотим получить высокий процент точности различения, то размеченных фотографий в разных ракурсах должно быть несколько миллионов. Желательно в равной пропорции на каждый вид рыбы. Много, не правда ли? На самом деле ни много, ни мало — столько, сколько нужно для целевой точности. Собранные и размеченные данные называют датасетом. Датасет это уже то, на чём обучается сетка.

Теперь можем перейти к обучению, которое выглядит следующим образом.

  • Подаем на вход сети картинку, получаем наименование вида рыбы, например, «тунец».
  • Сравниваем с истинным значением. Если совпадает — ничего не делаем. Если различаются, то модифицируем так, чтобы она для этой картинки выдавала «правильный» ответ.
  • Повторяем первый и второй шаги несколько миллионов раз.

Вначале нейронная сеть будет выдавать абсолютно случайные ответы. Но со временем её ответы будут точнее.

Так выглядит график ошибки правильного процесса обучения. С ростом количества итераций ошибка падает.


http://torch.ch/blog/2016/02/04/resnets.html

Сам процесс обучения довольно нестабилен. И поэтому существует такая вакансия, как инженер data science, который занимается:

  • очисткой датасета от ложных или некачественных данных;
  • перебором вариантов нейросетей;
  • поиском способов обогатить и расширить датасет.

Приведу примеры и часто встречающиеся типы нейронных сетей, которые успешно применяют на практике.

Детекция объектов на фото. Например, лица людей, фигуры человека, дорожные знаки, номера автомобилей и так далее.

https://towardsdatascience.com/yolo-v3-object-detection-53fb7d3bfe6b

Используются «сверточные сети» (VGG, Inception, ResNet и другие). Их название произошло от математической операции свёртка, которая отражает их главное свойство. Сети этого типа работают с маленькими частями всего изображения и учат паттерны: короткие линии разной толщины, повернутые под разными углами, изменение цвета и так далее.


http://cs231n.github.io/convolutional-networks/

Они «пробегают» по всей картинке слева направо, сверху вниз и на основе «сигналов» от каждой такой характеристики учатся определять, что изображено на картинке в целом — машина, человек или рыба.

Машинный перевод

Используются рекуррентные нейронные сети (Seq2Seq, Encoder-Decoder и другие). Называются они так потому, что работают последовательно. Например, если это перевод с китайского на английский (как на картинке ниже), то рекуррентной сети на вход подают по одному слову из предложения на китайском.

Затем она порождает по одному слову на английском. Рекуррентные нейронные сети могут выучить периодические связи (иногда скрытые внутри) входящего сигнала, не зная физическую природу происхождения этого сигнала.

Перевод звука в текст и обратно

Также используются рекуррентные нейронные сети или специальные модификации сверточных (WaveNet).

Сможете отличить на какой из записи звук сгенерирован нейросетью?

Во всех примерах выше за последние несколько лет нейронные сети вытеснили предшествующие алгоритмы, разработанные на базе экспертных знаний людей, наработанных за десятилетия.

Почему же массовое внедрение ML-моделей пока не происходит повсеместно

Опишу пару важных, исключительно на мой взгляд, проблем.

Проблема интепретируемости. После обучения нейросети у нас практически нет никакой возможности определить, на основании чего нейросеть принимает то или иное решение (и тем более повлиять на это решение). Часто говорят, что нейросеть — это «черный ящик».

Один из способов с этим справиться — определить «цену» ошибки. Например, если мы выдадим кредит злостному неплательщику (сеть предсказала положительный ответ, а на самом деле он отрицательный), мы потеряем стоимость кредита.

Если мы не выдадим кредит платежеспособному клиенту (сеть предсказала отрицательный ответ, а на самом деле он положительный), то потеряем прибыль, также есть затраты на привлечение клиента.

После того, когда цена ошибок определена, можно обучать нейросеть так, чтобы в сумме она давала значительную выгоду при определенном уровне потерь.

В более сложных задачах обычно применяют правила, которые ограничивают допустимое поведение.

Проблема подготовки данных для обучения и их количество. Тут три аспекта. Первое — это трудозатраты на организацию этого процесса (сбор и разметка). Второе — данные часто содержат персональную информацию или являются коммерческой тайной. Третье — для получения результатов высокого качества нужно огромное количество данных. А данные сегодня — золото, поэтому получить их очень сложно.

Для определения объектов на фото используют технику transfer learning — перенос знаний. Нейросеть сначала учат определять объекты на специальном датасете — ImageNet. Он публично доступен всем желающим и содержит 14 млн фотографий с пояснениями, что на них изображено.

Затем уже обученную нейросеть дообучают на собственных данных или данных заказчика. В этом случае может хватить и нескольких сотен фотографий для каждого вида рыб.

Можно ли использовать ML на малом количестве данных и получать нужный результат

Можно. Например не так давно наша команда занималась кейсом управляющей компании «Альфа-Капитал» с запросом анализа новостного потока на выявления важной информации. Работа эта однообразная и требует много времени. Поэтому человек быстро устаёт и теряет эффективность.

Для начала мы запросили примеры 100 важных и 100 неважных новостей. На этом миниатюрном датасете можно было проверить есть ли вообще отличимый сигнал важности новости. Оказалось, что мы можем отличить более 60% важных новостей из общих 200.

Это было хорошим сигналом и на следующем шаге мы попросили увеличить датасет в десять раз. Сотрудник заказчика за неделю работы собрал суммарно 2000 новостей. Мы провели серию экспериментов и отобрали лучший алгоритм.

Средняя точность предсказания за девять дней на реальных данных получилась 83,7%. И это очень хороший результат, однако сократила ли компания заказчика штат сотрудников? По результатам работы мы получили следующий комментарий:

Своевременный мониторинг негативного новостного фона относится к числу важных задач кредитного риск-менеджмента. Каждый день мы просматриваем более тысячи новостей на предмет выявления информации, способной оказать негативное влияние на кредитное качество эмитентов, контрагентов или котировки долговых финансовых инструментов.

Нам требовалось решение, способное повысить эффективность и точность мониторинга новостного фона, прямо или косвенно касающегося кредитного качества анализируемых компаний.

Совместно с командой прикладных разработок проекта iPavlov мы реализовали пилотный проект по внедрению ИИ в кредитный мониторинг. И теперь процедура отслеживания и выявления важных новостей не занимает много времени. Мы очень довольны результатом и будем продолжать сотрудничество в других направлениях.

То есть сократить трудозатраты — да, полностью заменить работу человека — нет.

Мы также работаем над другими продуктами, работающими на малом количестве данных. Например, роботы-продавцы, которые пока просто разгружают отдел продаж, но в перспективе должны автоматизировать его полностью. Как минимум процесс общения и передвижения лида по воронке.

Заключение

Вышеуказанный пример является хорошим ответом на вопрос, можно ли полностью автоматизировать человеческий труд с помощью нейронных сетей. Сократить трудозатраты на рутинную работу — можно, полностью автоматизировать человеческий труд пока непросто.

Будет ли это возможно сделать в ближайшем будущем? К этому, частично, первыми придут корпорации и крупный бизнес. Так как у них есть доступ к большому массиву данных, а также есть ресурсы для организации процесса, который на мелком уровне в основном не рентабелен.

Что же касается разговоров Масков и Цукербергов об искусственном интеллекте, который опасен для человечества, это не более, чем PR. До этого еще далеко.

Материал опубликован пользователем. Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "Евгений Ботвиновский", "author_type": "self", "tags": [], "comments": 15, "likes": 43, "favorites": 102, "is_advertisement": false, "subsite_label": "future", "id": 56498, "is_wide": true, "is_ugc": true, "date": "Thu, 24 Jan 2019 17:15:55 +0300" }
{ "id": 56498, "author_id": 241437, "diff_limit": 1000, "urls": {"diff":"\/comments\/56498\/get","add":"\/comments\/56498\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/56498"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199118 }

15 комментариев 15 комм.

Популярные

По порядку

Написать комментарий...
0

"Что же касается разговоров Масков и Цукербергов об искусственном интеллекте, который опасен для человечества, это не более, чем PR. До этого еще далеко."

Ну да, ну да. В 30е тоже говорили:"Что же касается антисемитских настроений, якобы это может зайти слишком далеко, это не более, чем популистские лозунги НСДАП, просто часть предвыборной компании. До газовых камер ещё далеко"

Ответить
4

Это как сравнить хер с пальцем.

Ответить
0

Мне кажется вот что творится в разуме типичного технократа, живущего в отдельном своем мире:
"О, нейросети могут определять людей! Хмммммм, могут ли это использовать военные для беспилотных аппаратов? Хмммм, может ли мое государство использовать это для контроля? Да не, бред какой-то!
Были ли у нацистов ученые, которые изобретали передовые на то время технологии, использовавшиеся для массовых убийств? Да не, бред!
Зато я двигаю вперёд прогресс и науку."

Я, конечно, понимаю, что многим технарям нет времени на такие ущербные гуманитарные дисциплины как этика, история, политика, логика (я к тому, что у гуманитариев более глубокий курс логики)
Но неужели так трудно понять, что я имел в виду?
Пока общество вот так неосознанно и безответсвенно будет принимать новое, обещающее ему золотые горы, оно будет наступать на те-же самые грабли. Те, кто меняет гуманность на молох прогресса, не заслуживают даже презрения.

Ps: Ещё есть отдельная интеллектуальная прослойка людей, которые на полном серьёзе ссылаются на закон Годвина. И похоже ещё гордятся тем, что знают его!

Ответить
1

И опять мимо. Никто не отрицает, что ИИ может использоваться для контроля государством и как бэ это уже тут.
Но продвигать историю про Скайнет, и то что машины нас же и нагнут это полнейшая глупость.

Ответить
0

А массам только так это и объяснишь. Обычный человек не будет и не должен во все вникать, своих дел по горло. Так что все грамотно. Надо остановить всяких Цукербергов и Бринов.

Ответить
0

Вы явно пересмотрели Терминатора.

Ответить
2

Это тянет на рекорд.
Закон Годвина сработал уже на втором комментарии

Ответить
0

Конечно хайп или проще говоря - хай.
Что бы сделать что-то искуственное надо понимать как работает настоящее.
А до этого .рать и .рать и ратью погоняет.
Где умеет там, так называемый "ИИ" уже лет сто работает.
А вот людей дурачить пока ему не дано.
Ну может инвесторов-проходимцев, разве что.
Честно надо называть вещи своими именами и всё у нас получится.

Ответить
4

ИМХО: в 95% сфер — пустой хайп, в 4% сфер — ближайшее будущее, в 1% — настоящее настоящее.

Ответить
0

сократила ли компания заказчика штат сотрудников?

Это не обязательно так работает, когда появляется технология, способная выполнить одну и туже задачу меньшим кол-вом людей, вопрос времени, когда появится стартап который попытается влезть на рынок с меньшим ценником или лучшей услугой. Потом появляются другие стартапы которые копируют модель первого, все вместе они выгоняют с рынка компании старого типа.

Ответить
0

Хотя нейросеть, выявляющая дефекты мозга авторов подобных высказываний была бы кстати, чтобы провести своевременную лоботомию.

Ответить
0

Дайте мне ресурс, в виде специалиста (программиста) по написанию нейросети (финтех) и я заработаю для нас миллионы долларов.

Варианты типа - «за миллион рублей, мы готовы реализовать вашу идею» не предлагать!

Ответить
0

А чем вам вариант с миллионом не нравится? Миллионы долларов всё больше чем миллион рублей. Просто таких вот идейных на каждом углу по 2рубля пучёк. А хорошего спеца могущего в машинлернинг хрен найдешь.

Ответить
0

Финтех и без денег?

Ответить
0
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Голосовой помощник выкупил
компанию-создателя
Подписаться на push-уведомления
{ "page_type": "default" }