iPhone 13 Pro уже в продаже
Пространство возможностей
ООО «Портативная техника», юр.адрес: 190031, Санкт-Петербург, наб. реки Фонтанки, д.109, литер А, пом. 13Н, ОГРН № 1057811930296
{"id":6586,"title":"\u041f\u0440\u0435\u0434\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u0435\u043b\u0438 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443\u0442, \u043a\u0430\u043a \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043d\u0430 \u043e\u0431\u043b\u0430\u043a\u0430\u0445","url":"\/redirect?component=advertising&id=6586&url=https:\/\/vc.ru\/yandex.cloud\/296199-kak-ispolzovat-oblachnye-tehnologii-dlya-rosta-biznesa-v-2022-godu-rasskazhem-na-yandex-scale&placeBit=1&hash=86a9775af69c8d2b0b7ae05611e0ceeeee68d1fee132c87b743ace298a8cf221","isPaidAndBannersEnabled":false}
Machine learning
Sociaro

AI = “Automated Inspiration"

Сегодня в рубрике #чтопочитать мы снова поговорим об искусственном интеллекте, машинном обучении и вдохновении. Это перевод статьи с Medium Towards Data Science.

Краткий обзор истории (и будущего!) науки о данных

В 19 веке врачи могли прописать ртуть при перепадах настроения и мышьяк при астме. Возможно, им также не приходило в голову мыть руки перед операцией. Но дело не в том, что они пытались убить вас — они просто не знали, что делать стоит, а что — нет.

У этих ранних врачей в тетрадях хранились ценные данные, но каждый из них обладал лишь одним кусочком большого пазла. Без современных инструментов обмена и анализа информации — а также науки для осмысления этих данных — суеверие с легкостью замещало всё то, что можно было бы увидеть через замочную скважину наблюдаемых фактов.

С тех пор технологии прошли долгий путь развития, но современный расцвет машинного обучения и искусственного интеллекта не сильно оторван от прошлого. Он является лишь продолжением основного человеческого инстинкта — осмысления окружающего мира, с целью принятия более разумных решений. Просто теперь технологии более совершенны, чем когда-либо.

Современный расцвет машинного обучения и искусственного интеллекта не оторван от прошлого. Просто теперь технологии более совершенны, чем когда-либо.

Воспринять эту вековую закономерность можно как революцию наборов данных (data-сетов), а не наблюдений (data points). И разница не мала. Наборы данных помогли сформировать современный мир.

Изобретение письменности

Рассмотрим писцов Шумера (современный Ирак), которые прижимали стилусы к глиняным скрижалям более 5000 лет назад. Занимаясь этим, они изобрели не только первую систему письма, но и первую технологию хранения и обмена данными.

Пример первой в мире технологии хранения и обмена данных — глиняный скрижаль. На него нельзя поместить большое количество данных, а их извлечение — тяжелая задача.

Если вас вдохновляет возможность искусственного интеллекта обладать способностями, превосходящими человеческие, воспринимайте инструменты записи данных как путь к сверхчеловеческой памяти. Хотя сегодня легко воспринимать письменность как нечто должное, способность надежно хранить наборы данных является важнейшим первым шагом на пути к высшему интеллекту.

К сожалению, извлечение информации из глиняных скрижалей и их доэлектронных родственников — задача не из легких. Не получится просто по щелчку пальца подсчитать слова в книге. Вместо этого придется "загрузить" каждое слово в мозг, чтобы обработать его. Данная трудность сделала ранний анализ данных трудоемким, так что начальные подходы к нему концентрируются лишь на основном. В то время как королевство может проанализировать, сколько золота оно собрало с налогов, только бесстрашный человек решился бы попробовать такой же подход к, например, медицине, в которой тысячелетние традиции поощряли простую импровизацию.

Расцвет аналитики

Карта Джона Сноу, показывающая скопления случаев заболевания холерой во время эпидемии в Лондоне в 1854 году.

К счастью, в истории человечества было несколько невероятных первопроходцев. Например, карта смертей Джона Сноу во время вспышки холеры в Лондоне в 1858 году вдохновила медиков пересмотреть суеверие о том, что болезнь была вызвана миазмой (токсичным воздухом), и приступить к более детальному анализу питьевой воды.

Флоренс Найтингейл, аналитик (1820-1910)

Если Вы знакомы с книгой "Леди с лампой", написанной Флоренс Найтингейл, и ее героическим сопереживанием при работе медсестрой, вы можете удивиться, узнав, что она также была первопроходцем аналитики. Ее изобретательская инфографика во время Крымской войны спасла много жизней, определив плохую гигиену как основную причину смерти в больницах и вдохновив правительство на серьезное отношение к гигиене.

Полярная диаграмма, изобретенная Флоренс Найтингейл, показывает количество смертей, которые произошли от предотвратимых заболеваний (синий цвет); тех, которые были результатом ран (красный цвет); и тех, которые были вызваны другими причинами (черный цвет)

Эпоха "одного набора данных" началась наряду с тем, как ценность информации стала утверждаться во все большем количестве областей, что привело к изобретению компьютера. Нет, не того электронного приятеля, к которому вы привыкли сегодня. Термин "компьютер" сначала означал человеческую профессию, специалисты которой выполняли вычисления и обрабатывали данные вручную, чтобы извлечь их ценность.

Все эти люди были компьютерами! Фотография была сделана в 1950-х годах сотрудниками Supersonic Pressure Tunnel.

Прелесть данных заключается в том, что они позволяют сформировать мнение на основе минимальной информации. Взглянув на информацию, мы вдохновляемся на выдвижение новых вопросов, следуя по стопам Флоренс Найтингейл и Джона Сноу. В этом и заключается аналитика: вдохновление моделей и гипотез через исследование.

Недостатки аналитики

К сожалению, без второго набора данных мы не можем знать, является ли наше мнение, основанное на данных, глупостью или нет. Работает ли оно за пределами конкретных наблюдений, которые мы провели? У нас нет способа удостовериться в этом. Добро пожаловать в аналитику 1900-х годов.

Иллюстрация Пола J о предвзятости в принятии решений, основанных на данных.

Мы не можем доверять своим выводам, потому что наши бессознательные предубеждения (такие как склонность к подтверждению своей точки зрения) берут верх — мы замечаем то, что нам хочется заметить, а все остальное пропускаем. Нам может показаться, что мы видим всё, что можно увидеть, но на самом деле это всего лишь иллюзия. Мы, люди, обладаем менее хорошими вниманием и памятью, чем нам кажется, поэтому разведочный анализ данных часто является для нас своего рода ловушкой.

Аналитика заключается во вдохновении и разведке, но мнения, которые выходят за рамки изученных данных, нельзя воспринимать всерьез.

Чтобы проверить наше мнение о том, как работает мир за пределами изначальных данных, мы не можем использовать данные, которые вдохновили это мнение в первую очередь. Мы, люди, видим лицо Элвиса Пресли в картофельных чипсах. Хотя этот чипс может и выглядит как Элвис, мы не можем сделать вывод, о том, что большинство чипсов тоже выглядят как Элвис. Чтобы удостовериться в нашем мнении, не ограничиваясь примерами, которые его вдохновили, мы должны протестировать его на новых чипсах, которые мы раньше не видели.

От наборов данных к разделению данных

В начале 20 века желание принимать лучшие решения в условиях неопределенности привело к рождению параллельной профессии: статистика. Специалисты по статистике помогают проверить, разумно ли вести себя так, будто наше предположение распространяется и за пределами текущего массива данных.

Известным примером является первый в мире учебник по статистике. Его автор описывает проведение гипотетического теста в ответ на утверждение своей подруги, о том, что она может на вкус определить, что было добавлено в чай первым — молоко или вода. Надеясь доказать её неправоту, он был вынужден сделать вывод, что она на самом деле обладает такой способностью.

Ахиллесова пята

Аналитика и статистика имеют значительную ахиллесову пяту: нельзя использовать одно и то же наблюдение как для создания гипотезы, так и для её проверки. Если вы решили использовать данные для строгости, а не для вдохновения, вам придется вдохновиться чем-либо другим. Традиционный источник вдохновения — долгие размышления. Другими словами, вы сидите и медитируете в шкафу, тщательно формулируя свой статистический вопрос, формулируя все свои предположения, а затем у вас есть один шанс проверить, действительно ли ваша модель мира имеет смысл.

К сожалению, для математической проверки всей Вашей гипотезы, требуется очень много усилий и обучения. Нужна серьезная психологическая подготовка. Но, по крайней мере, теперь у вас есть работающий способ проверить, стоит ли действовать соответственно вашим догадкам. Добро пожаловать в статистику конца 1900-х годов.

Революция набора данных

Статистическая строгость принуждает нас думать, прежде чем действовать, в то время как аналитика — это скорее игра с расширенным взглядом на прошлое. Эти дисциплины были почти трагикомически несовместимы, пока следующая крупная революция — разделение данных — всё не изменила.

Разделение данных — идея простая, но для такого ученого по данным, как я, это одна из самых важных идей. Если у вас есть только один набор данных, Вы должны сделать выбор между аналитикой (вдохновением, неподлежащим проверке) и статистикой (строгих выводах). Выход? Разделить набор данных на две части!

Такая роскошь сопровождается огромным ценником: количеством. Разделить данные не так уж и легко, если сбор достаточного количества информации даже для одного набора данных был трудным. Эпоха двух наборов данных — это довольно новый этап, который идет рука об руку с лучшим оборудованием для обработки данных, более низкими затратами на их хранение и возможностью обмениваться собранной информацией через Интернет.

Более того, технологические инновации, которые привели к эпохе двух наборов данных, быстро перешли к следующей фазе — эпохе трех наборов данных и автоматизированному вдохновению. Для этого теперь есть более привычное слово: машинное обучение.

Тестирование как одноразовое предложение

Рассматривая набор данных до формирования своих вопросов, мы разрушаем его чистоту как источника статистической строгости. Если мы зададим неправильный вопрос или зададим его глупо, у нас не будет второй попытки.

Даже если вы подумываете о проведении поправки на множественную проверку гипотез — статистической процедуры, позволяющей выдвигать несколько гипотез для каждого набора данных — ваши действия будут действительны только в том случае, если вы планируете все свои гипотезы заранее. Нельзя задать несколько десятков вопросов используя один набор данных, постепенно приходя к лучшему результату и притворяясь, что всё идет гладко.

Для того чтобы строгий подход был обоснован, вы должны продумать всё заранее и, при наличии нескольких вопросов, использовать погрешности, а затем выполнить все тесты одновременно и только один раз. Вы не можете использовать этот тестовый набор данных более одного раза.

Роскошь третьего набора данных

Поскольку у нас есть только одна попытка, откуда нам знать, какой аналитический "инсайт" наиболее достоин тестирования? Если бы у нас был третий набор данных, мы бы могли использовать его для проведения тест-драйва. Этот процесс называется валидацией; он лежит в основе того, что позволяет машинному обучению работать.

Как только у вас есть возможность подвергать всё подряд валидации, вы можете спокойно позволить всем придумать решение: опытному аналитику, стажеру и даже алгоритмам, которые понятие не имеют в чём заключается ваш бизнес.

AI = Automated Inspiration (Автоматизированное вдохновение)

Машинное обучение — это революция в области наборов данных, а не просто данных. Оно зависит от роскоши обладания достаточным количеством данных для их тройного разделения.

Как же искусственный интеллект (ИИ) связан с этим? Машинное обучение с помощью глубоких нейронных сетей технически называется глубинным обучением, но оно получило еще одно прозвище: ИИ. Хотя когда-то термин ИИ имел другое значение, на сегодняшний день, чаще всего, он используется в качестве синонима глубинного обучения.

Глубокие нейронные сети заработали свой ажиотаж благодаря своим преимуществам по сравнению с менее сложными алгоритмами машинного обучения при решении различных сложных задачах. Но для их обучения требуется гораздо больше данных, а системные требования выходят за рамки типичного ноутбука. Поэтому рост современного ИИ связан с технологией облачного хранения информации; облако позволяет арендовать чужой центр данных вместо того чтобы брать на себя все трудности по созданию установки глубинного обучения, что делает ИИ предложением, которое можно попробовать перед покупкой.

В итоге у нас есть полный набор профессий: ML/AI, специалисты по аналитике и специалисты по статистике. Термин, который охватывает все из них, называется наукой о данных — дисциплиной, делающей данные полезными.

Будущее вдохновения

Современная наука о данных является продуктом эпохи трех наборов данных, но многие отрасли промышленности регулярно генерируют более чем достаточно данных. Так может быть можно использовать и четыре набора данных?

Для начала ответьте на вопрос: каков ваш следующий шаг, если модель, которую вы только что обучили, получила низкий балл валидации? Большинство людей сразу же потребуют узнать причину. К сожалению, нет никакого набора данных, который помог бы вам с этим. Возможно, у вас возникнет соблазн залезть в набор данных валидации, но, отладка нарушает его способность работать эффективно.

Подвергая свой валидационный набор данных анализу, вы фактически превращаете три набора данных обратно в два. Вместо того, чтобы искать помощь, вы невольно уходите в прошлый век!

Решение лежит за пределами трех наборов данных. Чтобы разблокировать более умную тренировочную итерацию и настройку гиперпараметров, вам стоит присоединиться к следующему шагу развития: эпохе четырех наборов данных.

Если первые три набора данных представляют собой вдохновение, итерацию и строгое тестирование, то четвертый набор данных ускоряет процесс, укорачивая цикл разработки ИИ благодаря продвинутым аналитическим методикам, нацеленным на построение догадок о том, какие подходы стоит опробовать на каждом шаге. Используя четырехстороннее разделение данных, вы даете себе возможность максимально эффективно использовать обилие данных! Добро пожаловать в будущее.

{ "author_name": "Sociaro", "author_type": "self", "tags": ["\u0447\u0442\u043e\u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c"], "comments": 1, "likes": 2, "favorites": 9, "is_advertisement": false, "subsite_label": "ml", "id": 140179, "is_wide": true, "is_ugc": true, "date": "Tue, 07 Jul 2020 18:15:52 +0300", "is_special": false }
0
1 комментарий
Популярные
По порядку

ну сказочные сказочники переводных понтов
есть супрестартап по анализу рисков при помощи ИИ
думаеетте ктото написал или перевёл*???
этож там в забугряндии обобщения пролохового опыта
и тут релаьность бития
да согласен машина выбирает другую тактику получения результата
и ей вобщем то виднее как разобрать 0,737 триллион алтернатив используя 8-24 вектора решения

поэтому мы не втопе seo8ceo.com  а в шлаке

–1
Читать все 1 комментарий
Нужны ли в России сити-фермы

И появятся ли грядки на крышах пятиэтажек.

re-thinkingthefuture.com
Готовы выбрать победителя премии «Экспортер года eBay — 2021»?
Как традиционному малому бизнесу превратиться в стартап: план действий

Сейчас в России предприниматели переходят из традиционного малого бизнеса в стартапы очень редко — меньше чем в 0,02% случаев. Это не больше 1 000 стартапов из около 6 млн предприятий малого бизнеса. Поговорим о том, что мешает предпринимателям и как действовать, если есть желание создать стартап.

Создал ледовый комбайн в 50, а вместе с ним и рынок таких машин, который сразу захватил — это изобретатель Фрэнк Замбони Статьи редакции

Иногда ледозаливочные машины других производителей по ошибке называют «Замбони», пишет The Hustle.

Ледовый комбайн Замбони Time
Хомяк-криптотрейдер заработал 30% за три месяца в «клетке для торговли» — обойдя Уоррена Баффета и S&P 500 Статьи редакции

Мистер Гокс занимается торговлей криптовалютой с 12 июня.

Как мы проводили командную ретроспективу в Minecraft

Рассказываем историю, на что стоит обратить внимание при проведении командного мероприятия в игре Minecraft, какие грабли могут быть, как организовать онлайн- и офлайн-участие.

Я скрестил «Трибуну» и Product Hunt

Теперь вы никогда не пропустите самые перспективные русскоязычные стартапы.

Жизнь и удаленная работа во Вьетнаме: почему работать со сдвигом на 4 часа — это хорошо

Чтобы разобраться, как живется во Вьетнаме на самом деле, мы пообщались с аналитиком, которая с 2013 года живет здесь с супругом и не собирается никуда уезжать. Она расскажет, какие тут на самом деле цены, как обстоят дела с развлечениями и медициной и в чем главное отличие Вьетнама от других стран Юго-Восточной Азии.

Заказал и оплатил в МТС IPhone 13 Pro Max, но в салоне его не оказалось в наличии — о моём заказе там тоже не знали

Собственно возжелала душа новинку, новый IPhone 13 Pro Max. Начал искать в гугле и нашел на офф.сайте МТС нужную модель в наличии, под самовывоз с салона, заказал и сразу оплатил.

Quick FAQ: Осенняя хандра и то, как её победить

Привет! Это Дмитрий, автор канала «Ноотропы и разгон мозга» и сегодня я хочу поговорить с вами о том, что называют «осенняя хандра» или по-научному — Seasonal Affective Disorder (сезонное аффективное расстройство).

Как испортить лучшую систему комментариев в рунете на примере vc.ru

Иногда мне кажется, на vc.ru идёт прогресс дизайна ради дизайна, а не ради прогресса. Вот и до комментариев добрались.

null