В чём разница между статистикой и аналитикой?

Продолжаем рубрику #чтопочитать статьей с Medium, в которой разберем важность двух абсолютно разных профессий.

Статистика и аналитика являются разделами науки о данных и имеют общих первопроходцев, поэтому всё еще ведутся споры о том, чем они различаются. На практике, современные учебные программы по данным направлениям имеют абсолютно разные цели. В то время как аналитики специализируются в изучении состава данных, статистики приходят к выводам и умозаключениям, выходящим за рамки первоначальных данных.

Дисклеймер: в данной статье рассматриваются обычные выпускники программ, включающих в себя или только статистику, или только аналитику. Я никак не принижаю людей, которые как-либо смогли изучить оба направления. Более того, профессиональные ученые по данным должны быть экспертами и в аналитике, и в статистике (а также в машинном обучении) ... и чудесным образом такие знатоки существуют, правда их не много.

Если вы уже точно знаете, какие вопросы хотите задать, то для нахождения ответов вам будет достаточно одного здравого смысла. Просто поищите их.

Хотите увидеть простейшую аналитику в действии? Попробуйте узнать погоду с помощью Google. Используя поисковые системы, вы практикуете базовую аналитику — в данном случае, находите данные о погоде.

Даже дети могут с легкостью узнавать факты в интернете. Можно сказать, что это — демократизация науки о данных. Хотите узнать холоднее ли Нью-Йорк по сравнению с Рейкьявиком? Вы можете сделать это почти моментально. Такой поиск ответов настолько прост, что мы уже воспринимаем его как аналитику, хотя он всё еще является ей. А теперь представьте, как вы пытались бы найти эту информацию век назад. (Вот именно.)

Если ваша работа заключается в предоставлении необработанных фактов, то вы, по сути, выполняете работу человеческой поисковой системы. К сожалению, эта работа существует лишь до тех пор, пока ваш начальник не узнает, что он и сам может находить ответы... особенно, когда узнать всю внутреннюю структуру компании можно благодаря инструментам аналитики.

Возможно, вам теперь кажется, что ни один аналитик не сможет найти работу, но вы еще просто не знакомы с экспертами. Отвечать на определенный вопрос намного легче, чем определять, какие вообще вопросы стоит задавать (находить "вдохновение").

Я написала целую статью о том, чем занимаются профессиональные аналитики, но в целом их работа заключается в нахождении вдохновения в огромном неизученном наборе данных.

Для этого требуется навык быстрого программирования, умение точно понимать, что ваш руководитель считает полезным, а также характер золотоискателя, способного исследовать целый материк, не зная (пока что), что находится под землей. Чем больше набор данных и чем меньше вы знаете о том, какие факты в нем можно найти, тем тяжелее будет искать в нем полезную информацию без траты времени. Для этого вам понадобится непоколебимая заинтересованность и эмоциональная стойкость, ведь перед тем, как найти хотя бы что-то полезное, вам придется пройти через огромное количество ненужной информации. И, как всегда, легче сказать, чем сделать.

В то время как учебные программы по аналитике обычно концентрируются на навыках изучения больших наборов данных, программы по статистике часто оставляют это умение на выбор учащихся.

Всё становиться еще тяжелее, когда мы имеем дело с неполной информацией. Если вы не уверены в полноценности информации, и, данные, находящиеся в вашем распоряжении, не охватывают интересующую вас тему, вам придется делать выводы с большей осторожностью. Именно поэтому умелые аналитики не делают выводов вовсе.

Вместо этого, они стараются быть идеалами непредубежденности, в случае работы за пределами фактической информации. Избегать предубеждений критически важно, иначе из 20 различных шаблонов в наборе данных вы рискуете заметить только те, которые подтверждают вашу точку зрения, а все остальные пропустите.

Любая учебная программа по статистике включает в себя развитие навыка избегания глупых умозаключений при неполной информации, в то время как программы аналитики едва касаются поверхности математических выводов и эпистемологических нюансов.

Без статистической строгости неосторожный, подобный Икару, прыжок за пределы имеющихся данных скорее всего окончится неприятным падением. (Совет аналитикам: если вы хотите избегать всю сферу статистики, просто не поддавайтесь соблазну делать выводы.)

Суть исследовательской аналитики заключается в формулировке вопросов, при этом аналитики гарантируют качество заданных вопросов, проводя исследование данных. Однако, найденные шаблоны не стоит принимать всерьез до тех пор, пока они не протестированы статистически на новых данных. Аналитика помогает формулировать гипотезы, а статистика — тестировать их.

Я не редко замечала пренебрежительное отношение к аналитикам со стороны других ученых по данным, которые считали свои математические формулы и выражения более сложными. На самом деле, профессиональные аналитики используют точно такие же формулы, просто для другой цели.

Также я много раз видела, как рушатся целые проекты из-за неправильного понимания функции аналитиков. Эффективность вашего проекта или компании опирается на сильный фронт аналитиков. Поэтому, чтобы не копаться в куче ненужных данных, уважайте работу аналитиков и инвестируйте в неё, а затем обращайтесь к статистикам для последующего строгого развития потенциальных инсайтов, которые аналитики смогли найти.

Выбирать между хорошими вопросами или хорошими ответами трудно (и зачастую архаично), поэтому по возможности стоит работать и с аналитиками, и со статистиками. К сожалению, заплатить придется не только за работу специалистов — вам также понадобится изобилие данных и правильное их разделение. Имея как минимум два набора данных, вы можете вдохновиться первым наборов и сформулировать на его основе теории, а затем протестировать их на втором наборе. В этом заключается прелесть количества информации.

Существует только одна причина, по которой люди, обладающие большим количеством данных, не разделяют их — такой подход не был возможен в прошлом веке, во времена нехватки данных. Было очень тяжело собрать достаточное их количество для разделения. Это старомодное мировоззрение осталось с нами, и до сих пор приводит к недопониманиям и неэффективной работе специалистов. Если у вас есть изобилие данных, и вы хотите извлечь из них максимальную пользу, почему бы не использовать и вдохновение, и строгость, когда это нужно? Разделяйте данные!

Разделение данных позволяет двум дисциплинам работать вместе, при этом намного более эффективно. Зачем тогда вообще выбирать другой подход к данным?

Оригинальная статья