Почему по 1000 человек судят обо всех россиянах?

Такие организации, как ФОМ или ВЦИОМ часто публикуют опросы на 1000 человек и называют их «всероссийскими». СМИ активно ставят заголовки «Россияне считают, что...», а затем получают возмущения в комментариях.

Какие россияне!” - возмущённо вопиют в комментариях к таким новостям, - “Меня никто не спрашивал, я не верю этим результатам!”

“Опросили кучку своих родственников/друзей/бюджетников (выбирайте, что нравится) и выдают за всероссийский опрос! Они же просто отмывают деньги!”

Фух… Если вас когда-то затрагивали такие справедливые переживания за деньги социологических компаний, сейчас попробуем вместе во всём разобраться. Самое время выдохнуть и прочитать небольшую статью, написанную в сотрудничестве с коллегами из Russian Field, о том, почему по 1000 человек можно судить обо всех россиянах. В качестве бонуса вы узнаете три новых словосочетания, которые помогут вам намного лучше понимать социологов и щеголять вокабуляром перед знакомыми.

Когда компания решает, что для её продвижения было бы полезно провести исследование с помощью количественных методов (в нашем случае – опроса), она встаёт перед выбором: какое множество объектов будет изучаться в процессе исследования? Если перестать заумничать – сколько людей нужно опросить? Ответ на этот вопрос невозможен без определения ГЕНЕРАЛЬНОЙ СОВОКУПНОСТИ исследования. Генеральная совокупность - это все те объекты (в нашем случае люди), относительно которых исследователь должен дать выводы в рамках поставленного исследовательского вопроса.

Объяснять будем на примере анимационной студии “Мельница” – той самой, которая выпускает мультики про трёх богатырей.

“Мельница” хочет узнать “Сколько девочек мечтают стать похожими на Забаву Путятишну, когда вырастут?“

Генеральная совокупность в нашем случае - российские девочки (допустим, от 7 до 18 лет). Мы должны сделать выводы о желании всех этих девочек стать похожими на Забаву. Все эти девочки – наша генеральная совокупность.

Как вы думаете, сколько в стране таких девочек? Миллион? Два? Десять миллионов? Возможно ли их всех найти, поймать и опросить? И, самое главное, сколько это будет стоить для заказчика? А сколько будет стоить опросить всех россиян при необходимости?...

На последний вопрос мы дадим ответ в конце статьи (спойлер: очень много, анимационная студия “Мельница” не сможет себе такого позволить)!!! Но главное – нужно ли “Мельнице” опрашивать всех девочек в стране, чтобы узнать ответ на исследовательский вопрос?

Статистики успокаивают компанию и уверенно говорят, что если изучаемая группа людей настолько велика, что опросить их всех становится почти невозможно, в опросе всей генеральной совокупности нет необходимости. Исследователь может выбрать из группы ограниченное количество элементов, в сумме отражающих свойства генеральной совокупности, они так и называются – ВЫБОРКА. Результаты анализа такой группы элементов можно, с учётом погрешностей (которые рассчитываются по специальной формуле), обобщить на всю генеральную совокупность.

Выборка будет отражать свойства генеральной совокупности при соблюдении двух условий. Во-первых, если она РЕПРЕЗЕНТАТИВНАЯ (это последнее заковыристое слово на сегодня, обещаем!), то есть как модель копирует основные свойства изучаемого объекта (как планета и глобус, например). Во-вторых, если она достаточная по объёму, с этим как раз и связан главный вопрос статьи, какой объём/размер достаточен.

В отношении глобуса вы можете справедливо возразить, что он хотя и маленькая копия земного шара, но не расскажет нам, например, о неровностях планеты и о соотношении самой высокой и самой низкой точек Земли, если в этом заключается исследовательский вопрос. Здесь как раз стоит задуматься о том, по какому из свойств модель должна быть репрезентативна. Глобус покажет соотношение размеров материков, стран и океанов. А для анализа неровностей планеты нам понадобится топографическая карта.

Выборка также собирается в соответствии с распределением в генеральной совокупности определённых свойств. Например, вернёмся к нашему мульт-примеру. Если мы предполагаем, что возраст девочек может влиять на их желание быть похожей на Забаву, внутри выборки доля девочек каждой возрастной группы должна соответствовать доле девочек в генеральной совокупности. Делим девочек из выборки от 7 до 18 лет на следующие группы: 7-8, 9-11, 12-14, 15-18 лет. Соотношение этих групп друг к другу среди девочек выборки должно быть таким же, как соотношение соответствующих групп среди всех девочек России. Если мы знаем, что в каком-то регионе мультики про богатырей смотрят чаще, нужно сделать пропорциональное распределение по регионам. И так далее.

Проще объяснить на пицце:

С учётом погрешностей, изучив отрезанный от пиццы кусок, можно обобщать выводы о нём на всю пиццу целиком. Пицца здесь - генеральная совокупность, а кусок - выборка.

Но если вдруг мы знаем, что один из 8 кусков пиццы пересолен, мы уже должны для анализа взять нормальный кусок и отрезать часть от пересоленого куска (соответствующую ⅛ нормального куска пиццы). Только тогда, взяв целый нормальный кусок и сложив его с маленьким пересолёным, мы отразим свойства генеральной совокупности в нашей выборке.

К слову, очень важно, чтобы любой из кусков пиццы, а не только тот, который вам нравится, имел равные шансы попасть в вашу выборку, это тоже очень важно для репрезентативности. Если интересно, подробнее об этом вы можете послушать на бесплатном курсе Coursera “Методология научных исследований и котики”

Где подтверждение того, что такой объём действительно достаточен для корректных результатов исследования?

Итак, вроде бы очевидно, что если вы спросите двух своих младших сестёр, хотели бы они быть похожими на Забаву, и обе ответят утвердительно, это совсем не будет означать, что 100 процентов девочек в России хотели бы быть как эта героиня. Объём выборки из двух человек слишком мал для обобщения результатов на генеральную совокупность из нескольких миллионов. Но если мы опросим 100 девочек, точность наших прогнозов станет намного выше и ближе к реальным данным, это подтверждает и ЗАКОН БОЛЬШИХ ЧИСЕЛ (привет, математикам!), который мы не станем здесь описывать подробно в силу чрезмерности информации, необходимой для его понимания.

Что даёт закон больших чисел в нашем случае можно увидеть на картинке выше. С добавлением каждой новой девочки в выборку прирост точности уменьшается. То есть после определённого объёма выборки точность результатов начинает увеличиваться настолько незначительно, что трата средств на поиск новых участников опроса перестаёт быть целесообразной.

Например, если мы хотим устроить всероссийский опрос, а затем получить результаты с точностью 99% и погрешностью 3%, нам будет необходимо опросить всего 1849 человек (формула для проверки наших вычислений ниже!). А если мы решим увеличить точность до 99,7%, то нам придётся найти ещё почти треть от имеющегося числа человек, выборка должна будет равняться 2500!!! То есть увеличение точности на 0,7 требует поиска 651 человека. Стоит ли это того? Социологи и математики уверены, что нет.

В качестве эксперимента, раз мы обещали, давайте узнаем, сколько будет стоить опросить всех россиян. В России, по данным Росстата на 1 января 2021 года, численность населения приблизительно равна 146,17 миллионам. Если мы будем опрашивать людей оффлайн (не у всех граждан есть доступ к интернету), то цена за одного человека (не учитывая прибавки за удалённость проживания и сложность “достигаемости” определённых групп людей), то есть исключительно инструктаж интервьюера, супервизия проекта, тираж анкеты будет равняться минимум 250 рублям (можем назвать это средней ценой по рынку).

Умножаем 250 на 146,17 миллионов, получается 36 542 500 000 рублей. И это всё ещё без цены за составление анкеты, анализ первичных данных, подготовку читабельного для обывателя отчёта и многое другое. Пожалуй, если кто-то и сможет себе такое позволить, то это будет государство. В России, кстати, проводится похожий опрос, он называется “Перепись населения”. Но даже ему в реальности никогда не удаётся охватить всю генеральную совокупность, а периодичность его проведения составляет всего один-два раза в 10 лет.

Часто для проведения подобных исследований социологи берут 95% точность и 3% погрешности. Выходит 1067 человек. Вот и ответ на поставленный в самом начале вопрос.

Репост собственного текста с другого сайта.

#социология #маркетинг #наука #научпоп #полезные_советы #россия #интересныефакты #russian_field