Свет, нефть и инфраструктура, или Как понимать большие данные

Всем привет! Мы — команда компании Platforma, совместного предприятия ВТБ и Ростелекома. Мы разрабатываем инструменты для бизнеса на основе больших данных: сервисы персонализации и лидогенерации, геопространственного анализа, прогнозирования спроса, рекламные и скоринговые инструменты, сервисы для дистанционной оценки имущества, а также развиваем дата-инфраструктуру. И как несложно догадаться, мы посвятим свой блог Big Data и всему, что с ней связано.

Для начала давайте разберемся, что же такое Big Data и как ее понимать. А то с ней прям как в анекдоте — все о ней говорят, а занимается только учитель.

Под определением «большие данные» сегодня понимается не только и не столько сами данные, представленные в виде огромных массивов, сколько всевозможные технологии переработки колоссальных объёмов информации. Одно из самых свежих определений гласит: «Большие данные — это когда для обработки данных требуются средства параллельных вычислений». Параллельными вычислениями, в свою очередь, называют способ организации компьютерных вычислений, при котором программы разрабатываются как набор взаимодействующих вычислительных процессов, работающих одновременно.

Хотя термин Big Data появился ещё в 1990-е, в популярный обиход он вошёл где-то в самом конце позапрошлого — начале прошлого десятилетия. Словосочетание «Big Data» в качестве определения большого массива данных, нуждающихся в обработке, впервые употребил редактор журнала Nature Клиффорд Линч в спецвыпуске от 2008 года, посвященном взрывному росту мировых объемов информации. Линч, как и его знаменитый режиссер-однофамилец, нащупал важнейший тренд, который с годами только крепнет.

Бизнес усмотрел в аналитике больших данных крупные возможности.

Аналитики прогнозировали, что внедрение технологий обработки больших данных окажет существенное влияние на информационные технологии в производстве, здравоохранении, торговле и государственном управлении. Сейчас уже можно сказать, что в этом они были правы: благодаря развитию технологий анализа больших данных изменения в этих сферах произошли весьма существенные. О них постараемся подробнее рассказать в следующих постах.

Развитие технологий продолжается, как продолжаются поиски новых путей монетизации больших данных. К настоящему моменту выработан устойчивый набор определяющих характеристик больших данных, известный в англоязычных источниках как 5V — Volume, Variety, Velocity, Veracity, Value (объем, разнородность, скорость генерации, достоверность, ценность). Характеристики эти, в целом, говорят сами за себя. Пояснения может потребовать только понятие «ценности»: речь идёт о ценности информационного дистиллята, то есть, очищенной от всего лишнего информации, которая может быть получена путём обработки и анализа крупных массивов данных.

Также сформировались три наиболее популярные концепции понимания Big Data: данные как нефть, данные как солнечный свет и данные как инфраструктура.

Сравнение с нефтью хоть и набило многим оскомину, но все-таки не лишено смысла: во-первых, данные — это, с одной стороны, «топливо» пост-индустриальной экономики. С другой, чтобы превратиться в нечто полезное, большие данные нуждаются в очистке, и здесь снова уместны параллели с нефтью. Кроме того, и сами данные, а чаще — практические инсайты, полученные в результате их анализа, — покупаются и продаются, хотя и с куда меньшим успехом, чем ожидалось лет десять назад.

Самый успешный и обширный рынок, где торговля данными процветает вовсю, это онлайн-реклама. По данным издания The Economist, в 2018 году обороты на этом рынке составляли порядка 178 млрд долларов, большая часть приходилось на торговлю персональными данными. Брокеры данных, торгующие с банками и телекомами, также очень неплохо зарабатывают на своей деятельности — их прибыль, по подсчётам компании Strategy&, достигает 21 млрд долларов в год.

Наконец, и Google, и Facebook выручают очень существенные средства на продаже компаниям-рекламодателям инсайтов о том, кто является наиболее выгодной целевой аудиторией.

И тем не менее, у больших данных есть своя специфика, не позволяющая сравнивать их только с нефтью или каким-то другим материальным товаром. Это многообразие их источников, затрудняющее определение законного владельца, и отсутствие универсальных критериев оценки, в результате чего побочный продукт жизнедеятельности одной компании может быть золотым дном для другой.

Несмотря на проблематичность сравнения с нефтью, оно — по крайней мере, пока, — доминирует в США.

Популярность между тем набирают и другие концепции. Одна из них сравнивает большие данные с солнечным светом, воздухом или водой, то есть общим (как вариант — природным) благом. Данные представляются ресурсом, в котором нуждаются все, но который при этом плохо поддаётся оценке и тем более какой-либо приватизации. Сторонники этой концепции указывают, что данные как ресурс сложно превратить в товар, а потому проще и правильнее обеспечивать максимально рачительное и продуктивное их распространение и использование.

Как отмечается в статье The Economist, эта концепция породила движение «открытых данных», выступающее за то, чтобы организации и университеты бесплатно раздавали доступ к своим данным широкому кругу пользователей (например, стартапам). Большинство правительств, общенациональных и локальных, сегодня в той или иной степени поддерживают проекты открытых данных, но качество таких данных может существенно разниться.

Крупный бизнес в той или иной степени также поддерживает эту концепцию: Microsoft, Adobe и SAP, например, уже выступили с инициативой, связанной с открытыми данными.

Но и у сравнения с солнечным светом есть свои недостатки. Всё опять упирается в разнообразие данных и различные ограничения доступа к ним — по законодательным или экономическим причинам. В Европе и США стремительно нарастает слой ограничительного законодательства, нацеленного на защиту персональной информации. Со своей стороны, крупные корпорации готовы делать публичными зачастую лишь очень ограниченную часть генерируемых ими данных, чтобы избежать утечки секретной информации.

Основной проблемой в итоге оказывается адекватное разделение данных на открытые и закрытые. Технологии для этого активно разрабатываются по обе стороны Атлантики, однако, как пишет Economist, одних только технологий недостаточно. Потребуются также организации, которые будут заниматься регулированием доступа к данным — таким образом, чтобы учитывать интересы и их производителей, и потребителей.

Особняком стоит Китай: как пишет The Economist, там в силу политико-экономических причин доминирует отношение к данным именно как к общественному благу, и правительство — ключевой регулятор всего, что связано с информацией на территории КНР, — требует от коммерческих компаний в обязательном порядке делать общим достоянием многие виды данных (например, информацию, относящуюся к здравоохранению).

Наконец, третья доминирующая концепция — это большие данные как инфраструктура. Потоки данных рассматриваются как цифровой вариант транспортных магистралей самого разного рода, которые требуют общественных инвестиций и новых учреждений для эффективного управления.

Этот подход в последнее время стал пользоваться повышенной популярностью в Великобритании и Европе — в первую очередь, у всевозможных регулирующих органов. Там исходят из того, что эффективная инфраструктура позволит расширять и совершенствовать экономику информации, и, возможно, это один из самых практичных подходов к вопросу.

В России, как впрочем, и везде, большие данные — прерогатива крупнейшего цифрового бизнеса.

При этом государство тоже хочет быть и в теме, и в доле. Весной этого года Министерство цифрового развития РФ анонсировало планы создать централизованного государственного оператора больших данных, произведённых и накопленных министерствами и ведомствами страны. Предложение было представлено на заседании рабочей группы АНО «Цифровая экономика». Как писали «Ведомости» в первой половине года, госоператор будет формировать дата-сеты на основании запросов разработчиков ИИ, осуществлять их анонимизацию и обезличивание, а также обеспечит создание и эксплуатацию инфраструктуры доступа к государственным наборам данных. Помимо этого планируемый госоператор будет определять, какие данные каким заказчикам из коммерческой области предоставлять.

Это может означать, что государство попытается создать игрока рынка, который объединит сразу все три концепции больших данных — и товарную («нефть»), и ресурсную («солнечный свет»), и инфраструктурную. Но даже при наличии единого госоператора российский рынок больших данных не будет полностью замкнут на него.

Мы решили спросить экспертов, какая именно из прижившихся в мире концепций может оказаться ближе всего для России? Или, быть может, у нас всё будет выстроено каким-то уникальным образом?

Как видим, какого-либо единого понимания больших данных ещё не сформировалось, и даже наиболее распространённые концепции не могут претендовать на универсальность. В общем и целом мнения сходятся в том, что большие данные во всех отношениях неоднородны. Из-за этого бывает очень сложно, а то и невозможно применять какие-либо объективные критерии к их оценке, к определению полезности и значимости, а также чувствительности или даже опасности.

Описанные выше концепции пользуются большей или меньшей популярностью в разных регионах мира. Это зависит от исторических, политических и экономических факторов. Однако самое важное — это то, что в конечном счёте большие данные призваны служить общему благу, интересам всего общества в целом. Их невозможно полностью «приватизировать», и даже там, где в итоге будут сформированы государственные операторы больших данных, они вряд ли окажутся в состоянии контролировать этот ресурс целиком и полностью. Он слишком велик.