15 способов манипулировать данными в кейсах и отчётах

Два года я продвигаю сервисы Callibri в качестве евангелиста: выступаю, провожу вебинары и пишу кейсы. Данные для кейсов я собираю с партнёров и клиентов Callibri, затем проверяю данные, редактирую текст и упаковываю в кейс. За это время я накопила список частых манипуляций данными в кейсах. Сразу внесу ясность, что я имею в виду под манипуляциями и как к ним отношусь.

Манипуляция данными — это скрытое управление фокусом внимания с целью подвести аудиторию к нужному выводу. Это не то же самое, что обман, когда данные просто выдумываются, но близко к нему.

Я за открытое управление вниманием аудитории с помощью сторителлинга, о чем подробно рассказала в этой статье. Берешь:

• злодея, например Яндекс, который объявил о фильтре за накрутку поведенческих факторов;
• жертву — заказчика, который ничего не накручивал, но попал под фильтр;
• героя — агентство, которое доставало заказчика из-под фильтра.

Накидываешь перипетий, добавляешь драмы, и аудитория с распахнутым ртом слушает.

Сторителлинг — белый способ управлять вниманием и делать кейс интересным, и я ратую за его использование. Ниже приведу серые и черные методы, которые я не приветствую.

Строим диаграммы в разных форматах, а потом выбираем ту, которая лучше всего подтверждает наш тезис.

Частный вариант — эффект низкой базы, когда впечатляющие темпы роста связаны с низким стартовым показателем. В интернет-маркетинге используют в кейсах про рост количества лидов. Расти с одного лида в месяц очень просто, поэтому мы скрываем количество лидов (говорим, что клиент против делиться конкретными данными) и выводим в заголовок «Рост лидов в 15 раз за 2 месяца». Это даже не обман — исходные данные же не меняли.

Как проверить на манипуляцию: запросить сырые данные без визуализации.

Зачастую (не всегда, но надо проверять) снижение стоимости лида сопровождается падением качества лидов.

Не все лиды одинаково полезны: вместе с первичными обращениями от целевых клиентов валится:

• спам,
• нецелевые обращения,
• повторные обращения,
• не туда попали, и ещё куча всего «добра».

У меня есть исследование на хорошей выборке, которое показывает, что всего 52% лидов - целевые.

Как проверить: задать вопрос, измеряли ли качество лидов, классифицируют ли обращения.

Когда я делала исследование по качеству лидов на 3200 клиентов Callibri, в выборку попали все клиенты, у которых проставлен хоть один класс в журнале лидов. Если отбросить тех, у кого тегировано более 70%, в выборке станет вдвое меньше проектов. А что будет, если не отбросить? Мы закроем глаза на обращения, по которым не видим класс и получим слепое пятно. Результаты будут искажены.

Аналогичная история была недавно с кейсом, который я редактировала: перенастроили кампании, чтобы избавиться от обращений частных лиц и повысить количество обращений от сметчиков. Кейс выглядел прекрасно до блока “Результаты”: я копнула глубже, и оказалось, что тегировали всего треть обращений, на старте кейса и на финише. И мы не знаем, стало ли лучше, пока не тегируем 100% обращений.

Как проверить на манипуляцию: если была качественная оценка (например, тегирование лидов), спросить, какую долю обращений оценивали.

Многие считают, что рост ROMI — это главный показатель эффективности. И это звучит логично, какой показатель может быть прозрачнее, чем возврат инвестиций, вложенных в рекламу? На самом деле, все зависит от того, как и за какой период ROMI посчитали.

Приведу пример: агентство оптимизировало контекстную рекламу, в результате показатель ROMI вырос вот так:

• янв.18 — 1088,15
• фев.18 — 2308,51
• мар.18 — 1013,84
• апр.18 — 1527,68
• май.18 — 3357,30
• июн.18 — 2040,51
• июл.18 — 2218,84
• авг.18 — 1985,07
• сен.18 — 3004,47

Выглядит красиво, только в этом кейсе:

• считали руками, не отделяя органику от контекстной рекламы, выручку от продаж “с сайта” в целом
• ROMI считали по формуле, в которой не учтена себестоимость продукта.

И стало ли на самом деле лучше за счет оптимизации контекстной рекламы — на самом деле мы этого не знаем.

Как докопаться до правды: спросить формулу ROMI, руками или автоматом считали, как протягивали лиды до денег.

Этим фокусом мастерски владеют производители фармацевтики: набирают несколько небольших групп испытуемых и фокусируются на тех группах, где монета выпала “нужной стороной”.

Как это обычно делают в digital-маркетинге? А/В тестирование посадочной страницы на небольших выборках.

Вариант А видели 350 посетителей, вариант В — 430. В первом случае было 6 конверсий, во втором — 9, CR варианта А — 1,71%, варианта В — 2,09%.

Закрываем глаза на теорию вероятностей и недостаточный объем данных и получаем выигрыш варианта В. Хотя на самом деле это чистая случайность:

А если показать рост не в абсолютных процентах, а в относительных, то можно сделать броский заголовок “Как поднять конверсию на 122%”.

Как избежать манипуляции:

• попросите исходные данные;
• для проверки данных воспользуйтесь калькулятором достоверности А/В тестирования, например таким.

То, сколько раз название предприятия ищут в поиске зависит от имиджевой рекламы и контент-маркетинга - инструментов, направленных на рост узнаваемости. И переходы по всем вариациям брендовых запросов нельзя рассматривать как заслугу SEO специалистов.

Рост трафика с поиска:

Кажется, SEO-специалист - молодец, да?

На самом деле, львиная доля переходов с поиска - брендовый трафик:

Как проверить:

• уточнить запросы, по которым был рост поискового трафика
• отминусовать брендовые запросы в Яндекс.Метрике и снова посмотреть на график

Как это работает:

• размещаем контекстную рекламу на поиске в первом спецразмещении (или другой самой видимой зоне трафарета).
• получаем самый дешевый и конверсионный трафик по витальным запросам.
• число переходов по брендовым запросам с органической выдачи падает

Размещение в органике по вашему название не стоит ничего, а за контекстную рекламу вы платите. Значит ли это, что вообще не нужно размещаться по брендовым запросам в поисковой рекламе? Ни в коем случае, во многих нишах (застройщики, автодилеры) по вашим названиям в поисковой контекстной рекламе размещаются конкуренты, и если вы не займете первое место по своему названию, это сделает конкурент и соберет весь ваш трафик.

Но если подрядчик размещает рекламу только по бренду или выдает в кейсе результаты только по брендовой кампании - это опасный сигнал. Перетягивание бесплатного трафика в платный канал - сомнительное достижение подрядчика по контекстной рекламе.

Как проверить: уточнить запросы.

Я опубликовала этот пост в сообществе по экспертному контенту в facebook. В комментариях Пётр Литвин, руководитель контекстного агентства Артиллерия, поделился своими наблюдениями по манипуляции данными. Наблюдения оказались ценными и хорошо дополнили статью:

На графиках одни и те же цифры, но выглядят по-разному:

А если добавить сюда немного дешевой графики, то на манипуляцию будут обращать еще меньше внимания:

Мне на глаза попался кейс агентства, к которому ушел один из наших клиентов.

В кейсе показывали взрывной росте числа конверсий. График прикрепили реальный — в Google Analytics действительно был резкий рост конверсий, только связан он был с тем, что клиент наконец-то закончил установку трекинга звонков, которую начал еще у нас, и звонки стали учитываться в Analytics. Другие показатели никак не изменились, а со временем даже просели, но про это в кейсе не было ни слова.

Например, кейс «Как мы увеличили количество лидов из регионов в два раза». Да, количество лидов с регионов выросло, но за счёт того, что московский бюджет перекинули на регионы. Рекламу на московский регион пришлось отключить, потому что агентство не справилось с конкурентным столичным рынком. А еще в кейсе нет ни слова о том, что региональные заказы менее маржинальны.

Подрядчик отключает Рекламную Сеть Яндекса и показывает, как растет конверсия и возносится CTR. Какие данные опустили в кейсе: цена клика выросла в 5 раз, а лида - в 2,5 раза.

Трафик с SEO упал на 50%, а с контекстной рекламы вырос на 200% — в итоге смотрите, как трафик поднялся в целом? Бюджет при этом вырос в 7 раз, но про это не пишут.

Агентство увеличило количество лидов в 2 раза. А цена лида выросла с 2 000 до 8 000 рублей, теперь привлечение клиента стоит больше, чем мы зарабатываем с каждого заказа.

Заказчик пришел к агентству в стадии сильного падения, связанного с сезонностью. Трафик с февраля по август упал в 10 раз. И уже в сентябре пошел рост, а к январю агентству удалось восстановить трафик. А теперь угадайте тематику по кейсу! Подсказка на скриншоте ниже.

Это уже не манипуляция, а обман. Самое смешное, когда остаются следы таких действий. Вот пример такого скриншота. Сможете найти в нем 5 нестыковок? Если да - пишите в комментариях.

Фейковые кейсы приводят к тому, что клиенты перестают доверять. Мы не публикуем кейсы, потому что из эффективного инструмента продвижения они стали способом накрутки и манипуляции. Здорово, что автор статьи Светлана Ковалева пытается перевернуть ситуацию и научить агентства делать правдивые и реальные кейсы. Я рекомендую клиентам доверять, но проверять данные. Например, на встрече попросить дополнительные данные из счётчиков или поговорить о том, за счет чего достигли результаты.