{"id":6456,"title":"\u041f\u043e\u0447\u0435\u043c\u0443 \u0434\u043b\u044f \u0441\u043e\u0445\u0440\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0438\u0445 \u0448\u0438\u0444\u0440\u043e\u0432\u0430\u0442\u044c","url":"\/redirect?component=advertising&id=6456&url=https:\/\/vc.ru\/promo\/281058-pochemu-vazhno-zashchishchat-dannye-vo-vremya-obrabotki&placeBit=1&hash=dc7f2bae2bc390fd70ec9b439b852fb5901b27f8537bbae69b6bbdceddf340ad","isPaidAndBannersEnabled":false}
Маркетинг
Sociaro

Здоровый взгляд на данные

Сегодня в рубрике #чтопочитать будет размышление на тему информации, памяти, аналитики и дистрибуций.

Всё то, что мы воспринимаем органами чувств, является данными, но надежность их хранения в нашей памяти оставляет желать лучшего. Намного более надежным способом является их запись, особенно если мы записываем данные на компьютере. Если эти записи хорошо организованы, мы называем их данными… хотя бывает так, что и беспорядочные каракули называют этим же словом. Не всегда понятно, почему слово данные многие употребляют так, словно оно имеет заглавную Д.

Почему мы используем данные с большой буквы?

Нам нужно научиться относиться к данным непочтительно прагматично. Эта статья расскажет об основах науки о данных и поможет новичкам сформировать здоровый взгляд на данные.

От органов чувств к осмыслению

Начинать данную тему с поиска датасетов в интернете не самая лучшая идея — в таком случае мы рискуем забыть, откуда они вообще появляются. Я же начну с самого начала, чтобы наглядно показать, что создавать данные вы можете в любое время, в любом месте.

Вот обитатели моего кухонного шкафа, которые я разложила на полу.

Эта фотография уже сама по себе представляет данные — она хранится в качестве информации, которую ваш девайс использует для показа различных цветов.

Давайте разберемся в том, что мы видим на этой фотографии. У нас есть бесконечно огромное количество вариантов того, на что мы можем обратить наше внимание. Вот, на что я обычно обращаю внимания, смотря на полки с едой — вес в граммах.

Нет единого закона, который гласит, что вес в граммах, как представлено на изображении, является лучшим выбором для фокусировки внимания. Мы можем выбрать объем, цену, страну производителя — что душе угодно.

А теперь закройте глаза и попытайтесь вспомнить каждую деталь изображения. Получается? У меня тоже нет. Это и является главной причиной, почему мы собираем данные. Если бы мы могли запоминать и безошибочно обрабатывать их в своей голове, у нас не было бы нужды их собирать. Интернет был бы одиноким отшельником, сидящим в пещере, пересчитывающим твиты всего человечества и идеально обрабатывающим все миллиарды наших фотографий с котами.

Письменность и долговечность

Так как человеческая память — инструмент ненадежный, лучше будет записать информацию на бумаге, прям как я давным-давно делала это в школе, изучая статистику. У меня всё еще где-то здесь лежит бумага! Давайте запишем наши 27 наблюдений.

Это — данные. Напомните мне, пожалуйста, почему мы ими так восхищаемся? Данные — это всегда лишь карикатура реальности, подстроенная под вкусы автора. Эти данные подвергаются множеству выборов: учитываем ли мы массу упаковки или нет? Какую выбрать единицу измерения? К тому же, я могла совершить ошибки. Вам будет трудно использовать мои данные, ведь вы не знаете, как точно проходил их сбор.

Эта версия записи данных (по сравнению с тем, что творится в моей голове или тем, что лежит на полу) имеет преимущество — она более долговечна и надежна.

Человеческая память не надежна.

Мы воспринимаем «революцию памяти» как нечто само собой разумеющееся с тех пор, как она началась тысячелетие назад, когда купцам было необходимо вести надежные записи того, кто кому и в каком количестве продал тот или иной товар. Просто задумайтесь на секунду, насколько прекрасно иметь универсальную систему письменности, которая хранит числа лучше, чем наш мозг. Когда мы записываем данные, мы как-бы искажаем собственное восприятие реальности, но это дает возможность передавать эти самые данные в неизменном виде другим людям. Письменность замечательна! Она позволяет небольшим кусочкам нашей памяти жить вне наших голов.

Анализируя данные, мы читаем чьи-то чужие воспоминания.

Волнуетесь, что машины превосходят человеческий мозг? Поздно, ведь даже бумага может это сделать! Эти 27 небольших чисел уже представляют большую трудность для вашей памяти, но, если у вас есть под рукой ручка, долговечность этих данных вам гарантирована.

Долговечность — это, конечно, хорошо, но работать с бумагой довольно неудобно. Что если мне, например, захочется расположить эти числа в порядке убывания? Фокус-покус, бумага, расположи числа в порядке убывания! Нет? Вот блин.

Компьютеры и магические заклинания

Знаете, чем хороши компьютерные программы? Фокус-покус в них на самом деле работает! Поэтому давайте перейдем от бумаги к компьютеру.

Эх, таблицы. Ранний инструмент для работы с данными. На первый взгляд они кажутся довольно дружелюбными.

Таблицы мне не очень нравятся. По сравнению с современными инструментами для анализа данных, они очень ограничены. Я предпочитаю использовать либо Python, либо R. Сегодня давайте разберем R. Вы можете следовать за мной на сайте Jupyter: выберите опцию «with R», затем несколько раз нажмите на иконку ножниц пока не удалится весь начальный код. Поздравляю, 5 секунд — и вы готовы вставить туда мой код и запустить его, нажав Shift + Enter.

Вы уже, наверное, заметили, что в языке R фокус-покус для сортировки данных не такой уж и простой, если вы новичок.

Однако, важно понимать, что это относится как к алгоритмам, так и к различным меню в программе для таблиц. Возможно, вы знаете, как работать с таблицами, но только потому, что вы уже раньше часто встречались с ними, а не потому, что их функционал универсален. Для работы с компьютером, вам надо узнать у вашего знакомого мудреца различные волшебные слова, а затем попрактиковаться в их использовании. Мой любимый мудрец — интернет и он знает абсолютно всё.

Вот так выглядит код, представленный выше, в Jupyter. Для удобства я добавила комментарии, объясняющие работу каждой строки.

Для ускорения вашего обучения, попробуйте изменять некоторые волшебные слова. Например, что произойдет, если поменять TRUE (T) на FALSE (F) в данном коде?

Не правда ли здорово, насколько быстро можно получить ответ? Одна из причин, по которым мне так нравится программирование — это то, что оно объединяет волшебные слова и LEGO.

Если вам когда-либо хотелось научиться волшебству, просто научитесь программированию.

Вся суть программирования вкратце: найдите в интернете, как делать ту или иную вещь; соберите волшебные слова, которые вы выучили; поэкспериментируйте с ними; а затем соберите их как LEGO для достижения поставленной цели.

Аналитика и алгоритмы

С нашими 27 значениями есть небольшая проблема — даже после сортировки они для нас не особо полезны. Прочитав следующее число, мы уже забыли предыдущее. Вот вам и человеческий мозг — дайте нам прочитать сортированный список, состоящий из миллиона чисел, и мы запомним максимум несколько последних. Нам нужен быстрый способ упорядочить данные и сделать о них вывод.

Именно для этого и нужна аналитика!

median (weight)

Благодаря алгоритму median() мы можем моментально найти медиану в нашем списке чисел. (Медиана, по сути, означает «среднее значение»)

В итоге, ответ — 284 г. Кому же не понравится получать результаты настолько быстро? Существует много других алгоритмов: min(), max(), mean(), median(), mode(), variance()… попробуйте использовать их все! Или попробуйте вот это волшебное слово и посмотрите, что получится.

summary (weight)

Кстати, эти результаты называют статистикой. Статистика — это любой способ обобщения данных. Но не путайте с наукой, называемой статистикой. Предлагаю вам посмотреть 8-минутное введение в эту науку.

Составление графиков и визуализация

Теперь давайте поговорим об осмыслении данных с помощью изображений. Оказывается, изображение может быть намного ценнее, чем слова.

Банки для чаевых являются реальным примером столбчатых диаграмм. Чем выше они заполнены, тем более “популярна” данная категория. Гистограммы — это почти то же самое, только категории в них упорядочены.

Если мы хотим узнать, как распределены наши 27 значений — например, больше ли из них попадают в диапазон от 0 г до 200 г или в диапазон от 600 г до 800 г? — гистограмма приходит к нам на помощь.

Гистограммы — это один из многих способов обобщения и представления выборочных данных. Чем выше в гистограмме столбец, тем чаще встречается данная категория.

Для создания гистограммы в программе для работы с электронными таблицами, волшебным словом является долгая последовательность кликов в разных меню. На языке R, это намного быстрее:

hist (weight)

Да, конечно, гистограмма получилась довольно безобразная, но её можно улучшить, добавив несколько дополнительных строк в коде. Безобразно или нет, важно знать, насколько просты основы языка R.

Что мы видим на данной гистограмме?

На горизонтальной оси располагаются столбцы (или банки для чаевых, если так удобнее). Изначально шкала этой оси разделяется с шагом в 200 г, но мы это скоро изменим. Вертикальная ось показывает частоту: сколько значений находится в диапазоне от 0 г до 200 г? График показывает 11. Как насчет 600 г и 800 г? Только один (это вроде была столовая соль, если мне память не изменяет).

Мы можем изменить ширину столбцов — по умолчанию она равна 200 г, но нам может понадобиться, например, 100 г. Без проблем! Надо всего лишь разобраться, как работает это заклинание.

hist(weight, col = «salmon2», breaks = seq(0, 1000, 100))

И вот результат:

Теперь мы можем наглядно увидеть, что самые частые категории — 100-200 и 400-500. Кого-то это волнует? Скорее всего нет. Мы построили эту диаграмму просто, потому что могли. В реальности настоящий аналитик данных преуспевает как в быстрой обработке данных, так и в искусстве нахождения важных данных.

Что такое распределение (дистрибуция)?

Если для нас важны только те 27 измерений, то гистограмма, которую мы построили, представляет собой распределение генеральной совокупности.

Генеральная совокупность — совокупность всех объектов, относительно которых предполагается делать выводы при изучении конкретной задачи.

По сути, распределение — это гистограмма, полученная при использовании hist() на всей генеральной совокупности (всей информации, которая для вас важна), а не только на выборке (данных, которыми мы имеем на текущий момент). Есть и другие важные моменты, конечно, например, шкала оси "y", но их мы разберем в другой статье — математики, не злитесь!

Распределение показывает частоту попадания значений из генеральной совокупности в каждую категорию. Горизонтальная ось показывает значения совокупности. Вертикальная ось — относительную частоту.

Представим, что за генеральную совокупность мы взяли все когда-либо произведенные упакованные продукты питания. В таком случае их распределение приняло бы форму гистограммы всех значений весов данных продуктов. Это распределение может существовать только в теории, ведь мы не можем составить такой набор данных даже если хотели бы, поэтому лучшее, что мы можем сделать это строить догадки, используя хорошие выборки.

Что такое «наука о данных»?

Существует множество определений, но мне нравится следующее: «Наука о данных — это научная дисциплина о том, как делать данные полезными». Она состоит из трех разделов, которые включают в себя сбор большого количества информации для вдохновения (аналитика), принятие продуманных решений на основе ограниченного количества информации (статистика) и использовании шаблонов, извлеченных из данных, для автоматизирования задач (ML/AI).

Всю суть науки о данных можно выразить в двух словах: знания — сила.

Вселенная наполнена информацией, которую можно собрать и как-либо использовать. Человеческий мозг, конечно, хорошо разбирается в окружающем нас мире, но хранить и обрабатывать некоторые виды крайне полезной информации ему тяжело.

Поэтому люди начали использовать сначала глиняные таблички, затем бумагу, и наконец кремний (в компьютерных чипах). Мы изобрели программы для быстрой обработки информации, и теперь люди, умеющие в них работать, называют себя аналитиками данных. Настоящими же героями являются те, кто создает инструменты, которые позволяют аналитикам быстро и эффективно обрабатывать информацию. Кстати, даже интернет является аналитическим инструментом, просто мы его редко так воспринимаем, ведь даже дети могут проводить такой анализ данных.

Продвинутая память доступна всем

Всё, что мы воспринимаем, хранится где-либо, как минимум временно. В данных нет никакого волшебства — они лишь хранятся более надежно, чем в наших головах. Некоторая информация полезна, некоторая, наоборот, вводит в заблуждение, остальная находятся где-то посередине. Также и с данными.

Мы все — аналитики данных и всегда ими были.

Мы воспринимаем свои биологические умения как нечто само собой разумеющееся, при этом утрируя разницу между процессами обработки информации компьютером и человеком. Разница заключается в долговременности, скорости и масштабах… но одни и те же правила здравого смысла распространятся на оба процесса. Так почему же эти правила вылетают в окно при первой же встрече с математическими уравнениями?

Я рада тому, что мы используем информацию в качестве двигателя прогресса, но я не вижу смысла восхвалять данные как нечто мистическое. К данным стоит относиться по-простому, ведь мы все — аналитики данных и всегда ими были. Давайте поможем всем людям воспринимать себя именно так!

{ "author_name": "Sociaro", "author_type": "self", "tags": ["\u0447\u0442\u043e\u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c"], "comments": 1, "likes": 13, "favorites": 22, "is_advertisement": false, "subsite_label": "marketing", "id": 146411, "is_wide": true, "is_ugc": true, "date": "Fri, 31 Jul 2020 10:52:08 +0300", "is_special": false }
0
1 комментарий
Популярные
По порядку
1

Спасибо, интересная статья 

Ответить
Читать все 1 комментарий
«Вам звонок из Циан»: зачем компания скупает номера телефонов и как call-tracking помогает клиентам сервиса

Подменные номера телефонов защищают от нежелательных звонков и упрощают аналитику продаж

Оставленный в «Картах» негативный отзыв на «Яндекс.Лавку» виден только мне

После ситуации с недоставленным заказом из «Яндекс.Лавки» я оставил отзыв на сервисе «Карт». Его приняли и разместили, но доступен он только для аккаунта, с которого я его оставлял)))

«Сбербанк» через час после личного визита позвал 84-летнюю бабушку еще раз в прийти офис

Казалось бы, удобно — оформил получение пенсии на карту и нет проблем. Но это не про историю со «Сбербанком». Здесь через час после получения карты лично в отделении прилетело смс о блокировке онлайн сервисов банка.

Ещё одна рубрика: здоровье(!?)

Насколько будет интересна/полезна?

Дайджест новостей Сбера: AR-экскурсия, распознавание животных и премия для учёных

Прогулки по Политехническому музею с роботом Сепулькой, чудеса компьютерного зрения, научная премия — начало сентября в Сбере выдалось насыщенным. Делимся с вами самыми интересными новостями компании во втором выпуске нашего дайджеста.

Я купил сим-карту МТС и на следующий день получил блокировку

18.09.2021 г. купил симкарту МТС в салоне сотовой связи МТС, 19.09.2021 г. утром я решил сделать звонок, вместо вызова мне сообщили, что данный вид связи недоступен для абонента.

Конференция GoGlobal! соберет ведущих маркетологов

29 сентября 2021 года впервые состоится GoGlobal! — однодневная онлайн-конференция для маркетологов, заинтересованных в ускорении глобального присутствия своих кампаний.

Заказанный в постамат товар 18+ нужно возвращать в пункте самовывоза

Хочу поделиться неудачной историей заказа товара 18+ на «Озоне» и как «Озон» не хочет помогать решить проблему. Текст могут читать только совершеннолетние пользователи сайта.

Как погрузиться в производство и провалиться в продажах, часть 1

Приветствую, вам предстоит прочитать первую часть моей истории о том, как мы с партнером поверили в дело, но что-то пошло не так. Уверен, статья будет полезна для вас и вы сможете сделать какие-нибудь выводы для себя.

Что может быть важнее прибыли. ESG-словарь для инвестора

В 2020–2021 гг. резко возросла популярность темы ответственного инвестирования, или ESG. Идея о том, что инвестиции должны не только приносить прибыль, но и поддерживать экологию и социальную справедливость, привела к тому, что ESG-фонды стали играть значимую роль на мировых рынках капитала.

Делай красиво, а не эффективно!

Для работников найма. Собственникам для информации. (Рубрика: «не правильно, но работает»)

null