Почему большие данные есть, а мир так и не изменился?

Писал в корпоративный блог, но перечитал перед тем, как нажать на кнопку "Опубликовать", и рассказанный анекдот показался немного сексистским. А без него смысл ускользает. Поэтому публикую здесь на правах пятничных рассуждений.

В 2008 Крис Андерсон, редактор Wired, опубликовал статью о том, как данные меняют науку. В статье была описана очень простая идея: поиск взаимосвязей придёт на смену поиску причинно-следственных связей. В далеком 2008 казалось, будто переход от данных к большим данным подтолкнет мир к тому, чтобы вместо поиска реальных причин заняться поиском моделей, полученных с помощью математики. Такие модели будут описывать мир точнее.

Казалось, традиционный путь исследователя, где ему надо сначала выдвинуть гипотезу, создать модель, а потом её проверить, быстро устаревает с приходом Big Data и облачных технологий.

На примере психологии. Зачем она нужна, если мы сможем отслеживать и прогнозировать поведение людей с потрясающей точностью, используя лишь математику?

“Петабайты позволят нам сказать: корреляции достаточно”.

Однако, в 2018, спустя 10 лет после статьи Андерсона, описанный подход кажется немного утопичным. Данных много. Но без гипотез, без причинно-следственных связей, они бесполезны.

Самый простой пример. Facebook знает о людях все. Но никак сегодня на этом не зарабатывает — деньги компании приносят вовсе не знания о своих пользователях. Напоминает старый анекдот, где два эстонца рыбачат на лодке и вдруг им в сеть попадает русалка. Один достает её из воды, осматривает и молча выбрасывает за борт. Второй смотрит на него с недоумением. Первый ему: “А как?”

Это всё напоминает процессы, которые происходят в мире бизнес-аналитики. Данных много даже у небольших компаний. Ещё есть открытые данные. Решения для их обработки доступны с точки зрения стоимости (в 2008 это было не так). На HeadHunter можно найти резюме аналитиков. Трудно, но можно.

Проблема лишь в поиске ответа на вопрос из анекдота: “а как?”

Наверное, у любой компании есть два пути. Первый — вместе с аналитиком данных нанять на работу ещё и бизнес-аналитика, который со временем превратится в CDO (Chief Data Officer). Либо не превратится — это путь сложный.

Но существует и простой путь. Он называется BI-самообслуживание (self-service BI). Надо лишь предоставить доступ к данным менеджерам и специалистам — чтобы они сами делали запросы и получали результаты (а) мгновенно, (б) визуализированные, (в) бесплатно, (г) не отвлекая коллег. Есть ощущение, люди не поймут и не справятся. Но это как раз и хорошо — пока один не понял и проигнорировал новый инструмент, другой разобрался, смог извлечь из него пользу и улучшил свои показатели. Первый шаг в сторону управления на основе данных сделан.

Научить работать с данными тех менеджеров и специалистов, которые сделают хотя бы первый шаг, будет очень просто.

Нет?

Статья Криса Андерсона в журнале Wired, в которой он переоценил возможности Big Data (англ.): https://www.wired.com/2008/06/pb-theory/