Как измерить влияние сообщества на участников?

Сегодня поделюсь метрикой, которая поможет оценить влияние сообщества на участников. Она называется показателем влияния сообщества (ПВС, community-drive impact или CDI) и была описана Ричардом Миллингтоном в статье.
Особенность метрики в том, что она выходит за рамки простых показателей вовлеченности и фокусируется на результатах, которые получают участники сообщества.

Ценность системы ПВС заключается в трех аспектах:

1. Это прямой причинно-следственный аргумент в копилку пользы сообщества. Метрика преодолевает проблему корреляции, которая мешает другим методам измерения сообщества.

2. Она проста и гибка в применении. Можно запустить опрос и получить результаты через пару дней. Можно адаптировать вопрос для конкретной цели. Например, если больше заботитесь об удержании, чем об опыте, можно адаптировать опрос в соответствии с целью.

3. Она создает цель, отличную от простой вовлеченности. ПВС дает результат, который уравновешивает увеличение вовлеченности с влиянием на каждого участника. Нет смысла добиваться большего вовлечения, если влияние на каждого посетителя падает.

Показатель ПВС перемножает два аспекта данных.

1. Среднее воздействие сообщества на каждого участника.

2. Количество участников сообщества (или охват сообщества).

Дальше рассмотрим некоторые оговорки по этим показателям. Цель метрики — показать влияние сообщества на его участников.

Как и NPS и CSAT, ПВС основано на опросах (или анкетировании). Поэтому метрика проста в применении, но при этом важно относиться с осторожностью при интерпретации данных.

Рекомендуем собрать данные по следующим вопросам:

1. Как часто люди посещают сообщество.

2. Какой вклад они сделали в развитие сообщества?

Далее нужно выбрать один из трех вариантов вопроса для ПВС.

Средний показатель влияния сообщества — это адаптация опроса NPS для сообщества.

Мы спрашиваем:

«Как [сообщество] повлияло на [результат]».

Можно выбрать те результаты, которые важны для вас (при желании можно указать конкретные аспекты сообщества).

В качестве примера приводим вопросы:

Так участники самостоятельно оценят, какое влияние оказало сообщество на их поведение.

Теперь, когда у нас есть вопрос, необходимо продумать ответы на него.

Есть два способа сделать это. Один из — шкала, позволяющая участникам ответить, оказало ли сообщество негативное или позитивное влияние.

Для вопроса о подписке можно использовать следующую систему оценок:

Рекомендуем адаптировать текст так, как вам нужно. Наибольшее число может быть показано как «решающее для продления», а меньшее - как «решающее для отмены». Ответы оцениваются по шкале от 3 до -3, при этом 0 означает «отсутствие влияния».

Другой подход более похож на NPS, когда участников спрашивают:

«По шкале от 0 до 10, как [сообщество] повлияло на [результат]?».

0 обозначается как отсутствие влияния, а 10 — как решающее влияние.

При таком подходе 9-10 баллов считаются решающим влиянием, 6-8 баллов — значительным влиянием, а 4-5 баллов и ниже — незначительным влиянием.

Плюс этого подхода в том, что даже если не хотите сообщать конкретную оценку ПВС, то все равно можете делать такие заявления, как:

Сравнив данные выше со статистикой о продлении, можно получить примерное понимание, на что повлияло сообщество.

Если хотите собрать еще больше информации о влиянии сообщества, сделайте еще один шаг.

Добавьте вопрос, который попросит участников оценить сообщество в сравнении с другими аспектами продукта.

Например:

Пожалуйста, распределите аспекты ниже по важности влияния на ваше решение продлить подписку:

Мы позволяем участникам подчеркнуть, насколько важно сообщество и как оно сопоставляется с другими аспектами организации. Такие данные показывают не только влияние сообщества, но и то, как это влияние сопоставляется с другими каналами.

Шаблон опроса на английском лежит тут на surveymonkey.

В идеальном сценарии стоит проводить опрос среди случайной группы клиентов (не только участников сообщества) каждый месяц. Это позволит получать часто обновляемые данные, которые можно использовать для вовлечения пользователей продукта.

Это также поможет понять процент клиентов, которые принимают участие в опросе, и избежать проблем, связанных с выборкой по принципу удобства (например, если вы просто разместите опрос на странице своего сообщества, то будут принимать участие только и активисты).

На практике опрос проводится нечасто, так как есть дилемма, как часто обращаться к клиентам с запросом, а также из-за того, что несколько отделов хотят проводить свои собственные опросы.

Это означает, что с гораздо большей вероятностью сможете провести опрос одним из двух способов:

1. Отправив опрос в письме по рассылке.

2. Создав всплывающий опрос, который появится в сообществе.

Здесь последний вариант предпочтителен. Хотя анонимность при опросе означает, что будет трудно узнать, кто ответил на него (то есть собираются ли ответы только от ваших активистов, которые любят сообщество?).

Главное — собрать 300+ ответов, чтобы результаты имели статистическую значимость.

Проблема опросов заключается в том, что они становятся жертвой выборки по принципу удобства. Наиболее вовлеченные клиенты также чаще всего отвечают на опросы.

Обычного пользователя трудно заставить заполнить опрос. Это может сильно исказить результаты в благоприятную сторону.

Есть два способа решения этой проблемы.

1. Обобщайте выводы только для тех, кто заполнил опрос. Если вы принимаете ответы только от обычных участников сообщества, то результаты относятся только по к ним (т.е. в итоге вычислять количество активистов и общее количество участников). Это значительно занизит оценку сообщества, поскольку большинство людей — не активисты. При этом может возникнуть та же проблема - отвечать будут только самые активные участники.

2. Скорректируйте результаты опроса. Если вы знаете, что 90 % ваших участников не зарегистрированы в сообществе, а 10 % зарегистрированы, скорректируйте коэффициенты. Например, если средний балл составляет 4,7 из 5 для зарегистрированных пользователей и 3,9 для незарегистрированных, вы можете применить коэффициенты, чтобы получить общий балл 3,89 ((4,7 * 0,1) + (3,9 * 0,9)).

Это слишком упрощенный пример, но идея понятна. Скорректируйте коэффициенты, чтобы они отражали аудиторию.

Очень полезно использовать два разных URL-адреса для опроса. Показывайте один опрос пользователям, не вошедшим в систему, а другой - вошедшим в систему. Это облегчает оценку.

Хотя нельзя повлиять на вовлеченность так сильно, как хотелось бы, у нас остается количество посетителей сообщества, которое важно при рассмотрении влияния сообщества.

Чем больше людей посещают сообщество, тем большее влияние оказывает группа.

Узнав среднее влияние сообщества, рассчитайте полное влияние, умножив среднее на количество посетителей, на которых повлияло сообщество.

Например, если средний показатель влияния равен 3,7, а количество уникальных пользователей в месяц составляет 13 000, то полный ПВС равен 48,1k.

Примечание: Если в сообществе существую подсообщества, можно сравнить их влияние с течением времени.

Есть две проблемы с умножением на общее количество уникальных посетителей. Первая заключается в том, что один и тот же посетитель может быть учтен несколько раз. Посетители, которые не используют файлы cookie и заходят на сайт из разных мест (мобилка, ПК), могут быть учтены несколько раз.

Никто еще не придумал, как точно отслеживать уникальных посетителей на мобильных устройствах (это касается любой метрики, использующей подсчет посетителей, не вошедших в систему).

Другая проблема заключается в том, что в это число входят боты и большое количество посетителей, которые явно не провели в сообществе достаточно времени, чтобы оно оказало на них влияние.

Предполагаем, что сообществу требуется не менее 30 секунд, чтобы оказать влияние. Если меньше, то этих пользователей не стоит учитывать. Именно поэтому стоит исключить из расчетов ПВС посещения длительностью менее 30 секунд.

(Число 30 является несколько условным, используйте собственный опыт).

Настроить это в Google Analytics можно довольно просто. Создайте уникальный сегмент пользователей, используя фильтр «время на странице» или «время на экране».

Теперь мы можем пересчитать наш показатель, чтобы отразить, что, например, 25% посетителей соответствуют этому определению, и получить показатель ПВС 12k (в отличие от 48k).

Самая большая проблема, с которой сталкивается ПВС, — это получение поддержки начальства. ПВ не измеряет отдачу в денежном эквиваленте напрямую (хотя может быть полезен при расчете этой отдачи). Главное преимущество ПВС заключается в том, что он измеряет влияние сообщества на цели бизнеса.

Вот шаги, которые следует предпринять при внедрении ПВС.

1. Расскажите компании о ПВС. Убедитесь, что люди знают, что это такое, как он работает и как его рассчитать.

2. Выберите инструмент для проведения опроса. Убедитесь, что на платформе можно использовать несколько опросов и применять разные варианты для зарегистрированных и незарегистрированных участников.

3. Разработайте опроса. Можно продублировать созданный нами шаблон опроса. Решите, хотите ли вы провести простой опрос, учитывая только сообщество, или сравнить сообщество с другими направлениями компании.

4. Соберите ответы. Опубликуйте опрос в своем сообществе (или отправьте по электронной почте клиентам) и соберите ответы. Следите за возможными ошибками и недочетами.

5. Скорректируйте результаты. Оцените результаты опроса, чтобы они отражали всю аудиторию.

6. Принимайте только посещения длительностью более N секунд. Подумайте, сколько времени потребуется сообществу, чтобы повлиять на желаемое поведение. Если это 60 секунд или несколько посещений в целом, используйте это значение.

7. Отслеживайте результат с течением времени. Установите этот показатель как конечную цель, которую хотите достичь со временем. Если у вас большое сообщество, проводите опрос среди случайной выборки участников (или клиентов) каждый месяц.

Удачи!

Больше об управлении сообществами рассказываю в блоге ÜberCommunity.