Почему большие данные есть, а мир так и не изменился?

Писал в корпоративный блог, но перечитал перед тем, как нажать на кнопку "Опубликовать", и рассказанный анекдот показался немного сексистским. А без него смысл ускользает. Поэтому публикую здесь на правах пятничных рассуждений.

В 2008 Крис Андерсон, редактор Wired, опубликовал статью о том, как данные меняют науку. В статье была описана очень простая идея: поиск взаимосвязей придёт на смену поиску причинно-следственных связей. В далеком 2008 казалось, будто переход от данных к большим данным подтолкнет мир к тому, чтобы вместо поиска реальных причин заняться поиском моделей, полученных с помощью математики. Такие модели будут описывать мир точнее.

Фотография Anna Dziubinska с Unsplash

Казалось, традиционный путь исследователя, где ему надо сначала выдвинуть гипотезу, создать модель, а потом её проверить, быстро устаревает с приходом Big Data и облачных технологий.

На примере психологии. Зачем она нужна, если мы сможем отслеживать и прогнозировать поведение людей с потрясающей точностью, используя лишь математику?

“Петабайты позволят нам сказать: корреляции достаточно”.

Однако, в 2018, спустя 10 лет после статьи Андерсона, описанный подход кажется немного утопичным. Данных много. Но без гипотез, без причинно-следственных связей, они бесполезны.

Самый простой пример. Facebook знает о людях все. Но никак сегодня на этом не зарабатывает — деньги компании приносят вовсе не знания о своих пользователях. Напоминает старый анекдот, где два эстонца рыбачат на лодке и вдруг им в сеть попадает русалка. Один достает её из воды, осматривает и молча выбрасывает за борт. Второй смотрит на него с недоумением. Первый ему: “А как?”

Это всё напоминает процессы, которые происходят в мире бизнес-аналитики. Данных много даже у небольших компаний. Ещё есть открытые данные. Решения для их обработки доступны с точки зрения стоимости (в 2008 это было не так). На HeadHunter можно найти резюме аналитиков. Трудно, но можно.

Проблема лишь в поиске ответа на вопрос из анекдота: “а как?”

Наверное, у любой компании есть два пути. Первый — вместе с аналитиком данных нанять на работу ещё и бизнес-аналитика, который со временем превратится в CDO (Chief Data Officer). Либо не превратится — это путь сложный.

Но существует и простой путь. Он называется BI-самообслуживание (self-service BI). Надо лишь предоставить доступ к данным менеджерам и специалистам — чтобы они сами делали запросы и получали результаты (а) мгновенно, (б) визуализированные, (в) бесплатно, (г) не отвлекая коллег. Есть ощущение, люди не поймут и не справятся. Но это как раз и хорошо — пока один не понял и проигнорировал новый инструмент, другой разобрался, смог извлечь из него пользу и улучшил свои показатели. Первый шаг в сторону управления на основе данных сделан.

Научить работать с данными тех менеджеров и специалистов, которые сделают хотя бы первый шаг, будет очень просто.

Нет?

Статья Криса Андерсона в журнале Wired, в которой он переоценил возможности Big Data (англ.): https://www.wired.com/2008/06/pb-theory/

0
7 комментариев
Написать комментарий...
Вася Бездомный

Не "а как?", а "а зачем?" Человек так устроен, что если ему что-то нужно, то он прилагает неимоверные усилия чтобы этого добиться. Сдаётся мне, что пока эта самая "бигдата" или просто не нужна или слишком дорога в работе, что аналогично "не нужна".

Ответить
Развернуть ветку
Dmitry Popovich
Автор

Трудно отрицать, что возможности-то сумасшедшие может дать. Просто взять их трудно. Ну а ответить "зачем?" - как раз очень просто. В бизнесе это: больше заработать, выиграть у конкурентов, увеличить предсказуемость шагов, прочее, прочее.

Ответить
Развернуть ветку
Вася Бездомный

Главный, на сегодняшний день, пример использовании бигдаты - система Эшелон (точнее то, что сейчас выросло на ее базе). Огромные вычислительные мощности, большой штат высококвалифицированных сотрудников, почти неограниченный бюджет. А что в результате?

Тут конечно сложно понять реальную цель существования "эшелона", но декларируемой цели борьбы с терроризмом, наркотраффиком и "врагами Америки" эта система явно не добилась. Этого добра только больше становится в последнее время. То есть сама бигдата не решение вопроса, если достигнуты пределы потребления рынка (а Земля это замкнутая система), то никакая бигдата не поможет больше заработать, а деньги сосать будет на отлично.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Илья Рабченок

И почему?

Ответить
Развернуть ветку
Dmitry Popovich
Автор

Так об этом и написал.. С данными проблем нет (хотя есть). С математикой проблем нет. Но начать использовать трудно. Не дает ничего математика сама по себе :)

Ответить
Развернуть ветку
AK

А какие есть на рынке инструменты для того, чтобы "предоставить доступ к данным менеджерам и специалистам — чтобы они сами делали запросы и получали результаты (а) мгновенно, (б) визуализированные, (в) бесплатно, (г) не отвлекая коллег"?
При этом адекватные по цене и сложности инсталла.

Ответить
Развернуть ветку
Dmitry Popovich
Автор
Ответить
Развернуть ветку
4 комментария
Раскрывать всегда