15 способов манипулировать данными в кейсах и отчётах

Два года я продвигаю сервисы Callibri в качестве евангелиста: выступаю, провожу вебинары и пишу кейсы. Данные для кейсов я собираю с партнёров и клиентов Callibri, затем проверяю данные, редактирую текст и упаковываю в кейс. За это время я накопила список частых манипуляций данными в кейсах. Сразу внесу ясность, что я имею в виду под манипуляциями и как к ним отношусь.

В закладки

Манипуляция данными — это скрытое управление фокусом внимания с целью подвести аудиторию к нужному выводу. Это не то же самое, что обман, когда данные просто выдумываются, но близко к нему.

Я за открытое управление вниманием аудитории с помощью сторителлинга, о чем подробно рассказала в этой статье. Берешь:

  • злодея, например Яндекс, который объявил о фильтре за накрутку поведенческих факторов;
  • жертву — заказчика, который ничего не накручивал, но попал под фильтр;
  • героя — агентство, которое доставало заказчика из-под фильтра.

Накидываешь перипетий, добавляешь драмы, и аудитория с распахнутым ртом слушает.

Сторителлинг — белый способ управлять вниманием и делать кейс интересным, и я ратую за его использование. Ниже приведу серые и черные методы, которые я не приветствую.

1. Манипуляция через визуализацию

Строим диаграммы в разных форматах, а потом выбираем ту, которая лучше всего подтверждает наш тезис.

Частный вариант — эффект низкой базы, когда впечатляющие темпы роста связаны с низким стартовым показателем. В интернет-маркетинге используют в кейсах про рост количества лидов. Расти с одного лида в месяц очень просто, поэтому мы скрываем количество лидов (говорим, что клиент против делиться конкретными данными) и выводим в заголовок «Рост лидов в 15 раз за 2 месяца». Это даже не обман — исходные данные же не меняли.

Как проверить на манипуляцию: запросить сырые данные без визуализации.

2. Снижение CPA без измерения качества лидов.

Зачастую (не всегда, но надо проверять) снижение стоимости лида сопровождается падением качества лидов.

Не все лиды одинаково полезны: вместе с первичными обращениями от целевых клиентов валится:

  • спам,
  • нецелевые обращения,
  • повторные обращения,
  • не туда попали, и ещё куча всего «добра».

У меня есть исследование на хорошей выборке, которое показывает, что всего 52% лидов - целевые.

Как проверить: задать вопрос, измеряли ли качество лидов, классифицируют ли обращения.

3. Неполные данные

Когда я делала исследование по качеству лидов на 3200 клиентов Callibri, в выборку попали все клиенты, у которых проставлен хоть один класс в журнале лидов. Если отбросить тех, у кого тегировано более 70%, в выборке станет вдвое меньше проектов. А что будет, если не отбросить? Мы закроем глаза на обращения, по которым не видим класс и получим слепое пятно. Результаты будут искажены.

Аналогичная история была недавно с кейсом, который я редактировала: перенастроили кампании, чтобы избавиться от обращений частных лиц и повысить количество обращений от сметчиков. Кейс выглядел прекрасно до блока “Результаты”: я копнула глубже, и оказалось, что тегировали всего треть обращений, на старте кейса и на финише. И мы не знаем, стало ли лучше, пока не тегируем 100% обращений.

Как проверить на манипуляцию: если была качественная оценка (например, тегирование лидов), спросить, какую долю обращений оценивали.

4. Манипуляция за счет ROMI (ROI)

Многие считают, что рост ROMI — это главный показатель эффективности. И это звучит логично, какой показатель может быть прозрачнее, чем возврат инвестиций, вложенных в рекламу? На самом деле, все зависит от того, как и за какой период ROMI посчитали.

Приведу пример: агентство оптимизировало контекстную рекламу, в результате показатель ROMI вырос вот так:

  • янв.18 — 1088,15
  • фев.18 — 2308,51
  • мар.18 — 1013,84
  • апр.18 — 1527,68
  • май.18 — 3357,30
  • июн.18 — 2040,51
  • июл.18 — 2218,84
  • авг.18 — 1985,07
  • сен.18 — 3004,47

Выглядит красиво, только в этом кейсе:

  • считали руками, не отделяя органику от контекстной рекламы, выручку от продаж “с сайта” в целом
  • ROMI считали по формуле, в которой не учтена себестоимость продукта.

И стало ли на самом деле лучше за счет оптимизации контекстной рекламы — на самом деле мы этого не знаем.

Как докопаться до правды: спросить формулу ROMI, руками или автоматом считали, как протягивали лиды до денег.

5. Тест на нерепрезентативной выборке

Этим фокусом мастерски владеют производители фармацевтики: набирают несколько небольших групп испытуемых и фокусируются на тех группах, где монета выпала “нужной стороной”.

Как это обычно делают в digital-маркетинге? А/В тестирование посадочной страницы на небольших выборках.

Вариант А видели 350 посетителей, вариант В — 430. В первом случае было 6 конверсий, во втором — 9, CR варианта А — 1,71%, варианта В — 2,09%.

Тестирование посадочной страницы на нерепрезентативной выборке Светлана Ковалева

Закрываем глаза на теорию вероятностей и недостаточный объем данных и получаем выигрыш варианта В. Хотя на самом деле это чистая случайность:

А если показать рост не в абсолютных процентах, а в относительных, то можно сделать броский заголовок “Как поднять конверсию на 122%”.

Как избежать манипуляции:

  • попросите исходные данные;
  • для проверки данных воспользуйтесь калькулятором достоверности А/В тестирования, например таким.

Часто манипуляция данными идет из слабой позиции, когда агентство или специалист не верит, что может сделать нормальный кейс (а еще, конечно, от лени). Уметь управлять вниманием, делать кейсы и красиво упаковывать результаты своей работы надо, но не с помощью манипуляции, а открытым управлением, "белыми" методами.

Создавать честные и интересные кейсы и презентации мы будем учиться на онлайн-курсе «Экспертный контент», старт 25 января. Подробная программа и регистрация на сайте.

6. Рост трафика из поисковых систем за счет брендовых запросов

То, сколько раз название предприятия ищут в поиске зависит от имиджевой рекламы и контент-маркетинга - инструментов, направленных на рост узнаваемости. И переходы по всем вариациям брендовых запросов нельзя рассматривать как заслугу SEO специалистов.

Рост трафика с поиска:

Кажется, SEO-специалист - молодец, да?

На самом деле, львиная доля переходов с поиска - брендовый трафик:

Как проверить:

  • уточнить запросы, по которым был рост поискового трафика
  • отминусовать брендовые запросы в Яндекс.Метрике и снова посмотреть на график

7. Каннибализация брендового трафика контекстной рекламой

Как это работает:

  • размещаем контекстную рекламу на поиске в первом спецразмещении (или другой самой видимой зоне трафарета).
  • получаем самый дешевый и конверсионный трафик по витальным запросам.
  • число переходов по брендовым запросам с органической выдачи падает

Размещение в органике по вашему название не стоит ничего, а за контекстную рекламу вы платите. Значит ли это, что вообще не нужно размещаться по брендовым запросам в поисковой рекламе? Ни в коем случае, во многих нишах (застройщики, автодилеры) по вашим названиям в поисковой контекстной рекламе размещаются конкуренты, и если вы не займете первое место по своему названию, это сделает конкурент и соберет весь ваш трафик.

Но если подрядчик размещает рекламу только по бренду или выдает в кейсе результаты только по брендовой кампании - это опасный сигнал. Перетягивание бесплатного трафика в платный канал - сомнительное достижение подрядчика по контекстной рекламе.

Как проверить: уточнить запросы.

Дополнение от Петра Литвина

Я опубликовала этот пост в сообществе по экспертному контенту в facebook. В комментариях Пётр Литвин, руководитель контекстного агентства Артиллерия, поделился своими наблюдениями по манипуляции данными. Наблюдения оказались ценными и хорошо дополнили статью:

Я работал руководителем учебного центра и разрабатывал методики противодействия чужим кейсам, сравнивал кейсы агентств с тем, что было в Яндекс. Метрике и Google Analytics у потенциальных клиентов. Данные в кейсах редко совпадали с реальностью в системах аналитики. А если совпадали, подавались более эффектно, ниже поделюсь примерами.

Пётр Литвин
Руководитель контекстного агентства "Артиллерия"

1. Сдвиг точки нуля

На графиках одни и те же цифры, но выглядят по-разному:

Сдвиг точки нуля Пётр Литвин

А если добавить сюда немного дешевой графики, то на манипуляцию будут обращать еще меньше внимания:

2. Рост за счёт трекинга нового вида конверсий

Мне на глаза попался кейс агентства, к которому ушел один из наших клиентов.

В кейсе показывали взрывной росте числа конверсий. График прикрепили реальный — в Google Analytics действительно был резкий рост конверсий, только связан он был с тем, что клиент наконец-то закончил установку трекинга звонков, которую начал еще у нас, и звонки стали учитываться в Analytics. Другие показатели никак не изменились, а со временем даже просели, но про это в кейсе не было ни слова.

3. Учёт только растущих регионов (или других сегментов)

Например, кейс «Как мы увеличили количество лидов из регионов в два раза». Да, количество лидов с регионов выросло, но за счёт того, что московский бюджет перекинули на регионы. Рекламу на московский регион пришлось отключить, потому что агентство не справилось с конкурентным столичным рынком. А еще в кейсе нет ни слова о том, что региональные заказы менее маржинальны.

4. Акцент на росте промежуточных показателей

Подрядчик отключает Рекламную Сеть Яндекса и показывает, как растет конверсия и возносится CTR. Какие данные опустили в кейсе: цена клика выросла в 5 раз, а лида - в 2,5 раза.

5. Смешение каналов

Трафик с SEO упал на 50%, а с контекстной рекламы вырос на 200% — в итоге смотрите, как трафик поднялся в целом? Бюджет при этом вырос в 7 раз, но про это не пишут.

6. Рост количества лидов без учёта цены лида

Агентство увеличило количество лидов в 2 раза. А цена лида выросла с 2 000 до 8 000 рублей, теперь привлечение клиента стоит больше, чем мы зарабатываем с каждого заказа.

7. Сезонность

Заказчик пришел к агентству в стадии сильного падения, связанного с сезонностью. Трафик с февраля по август упал в 10 раз. И уже в сентябре пошел рост, а к январю агентству удалось восстановить трафик. А теперь угадайте тематику по кейсу! Подсказка на скриншоте ниже.

8. Замена цифр через Photoshop или в редакторе кода в браузере

Это уже не манипуляция, а обман. Самое смешное, когда остаются следы таких действий. Вот пример такого скриншота. Сможете найти в нем 5 нестыковок? Если да - пишите в комментариях.

Фейковые кейсы приводят к тому, что клиенты перестают доверять. Мы не публикуем кейсы, потому что из эффективного инструмента продвижения они стали способом накрутки и манипуляции. Здорово, что автор статьи Светлана Ковалева пытается перевернуть ситуацию и научить агентства делать правдивые и реальные кейсы. Я рекомендую клиентам доверять, но проверять данные. Например, на встрече попросить дополнительные данные из счётчиков или поговорить о том, за счет чего достигли результаты.

Материал опубликован пользователем. Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "Светлана Ковалева", "author_type": "self", "tags": [], "comments": 25, "likes": 24, "favorites": 70, "is_advertisement": false, "subsite_label": "marketing", "id": 54780, "is_wide": false, "is_ugc": true, "date": "Thu, 03 Jan 2019 12:16:14 +0300" }
{ "id": 54780, "author_id": 194435, "diff_limit": 1000, "urls": {"diff":"\/comments\/54780\/get","add":"\/comments\/54780\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/54780"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199113 }

25 комментариев 25 комм.

Популярные

По порядку

Написать комментарий...
3

Согласен. У нас в агентстве заставляют делать кейсы из каждого проекта. Сидишь и высасываешь из пальца. У клиента падение по всем параметрам, а надо показать рост. Вместо того, чтобы работать над проектом - сидим в Фотошопе кейсы рисуем. Так и живём.

Ответить
0

ну хотя бы честно)

Ответить
0

Борьба за клиента ожесточается, лживых кейсов будет только больше и они будут становиться еще более лживыми.
Как с этим бороться? - да бесполезно с этим бороться, нужно выбрать свою нишу, и работать на нее, если твоя ниша безмозглые заказчики (которых большинство), то тебе придется играть в эту же игру. Они сами требуют таких кейсов, где на вложенные 100 рублей человек получает миллион прибыли, где результаты быстро и с гарантией и тд. Заказчик предпочитает таких исполнителей которые дают ему сладкую ложь.
Можно ли на честных кейсах с посредственной эффективность строить успешный бизнес?
Конечно, только это будет что-то очень очень нишевое с очень небольшим доходом, что подходит только для настоящих энтузиастов и людей любящих свое ремесло.

Ответить
1

Необязательно показывать нереальный рост, чтобы кейс убедил заказчика. Если показать как вы разбираетесь именно в этой нише, показать подход, как у вас построены процессы в иценности, это привлечёт "своего" заказчика с похожими ценностями. Более того, фейлы в кейсах, когда вы показываете, как ошибались, но разобрались, впечатляют сильнее, чем успешный успех. Про нишевой подход я согласна с вами.

Ответить
0

пока вы там топите за борьбу, вот люди не парятся вообще.
далеко не надо ходить -> https://vc.ru/marketing/54798-uvelichivaem-arpu-i-retention-cherez-keshbek-vitrinu
вот тут все по канонам, и волшебный виджет, и 10х роста, и тинькова упомянули.

Ответить
–1

Необязательно показывать нереальный рост

если хотите быть успешными то обязательно, тк в соседней компании будет такойже кейс, только с результатами в 10 раз лучше чем у вас, кого думаете заказчик предпочтет?
мы живем в эпоху постправды, факты и реальность давно не имеют значения, кто более беспринципно лжет тот и более убедителен, все остальное лирика.

Ответить
0

Не согласна с вами, но спасибо что так точно помогли сформулировать, с чем именно я борюсь. С этой фразы и начну следующий вебинар)

Ответить
0

бороться? зачем вам бороться с ветреными мельницами?
лучше посмотрите как выстраивают свой успех тотже тиньков например и поучитесь это использовать.
а хотя кому я рассказываю, вы же типа эти калбэк трекеры для "повышения конверсии" продаете)))))))))))))))))))

Ответить
1

Мы готовы вас принять в любой...в абсолютно любой отдел чиновников РФ...мы в вас нуждаемся...нам статистику надо поправлять...

P.S. Статья интересная. Спасибо автору.

Ответить
0

Хыхы) спасибо за отзыв

Ответить
0

Крутой материал, настоящее мясо. VC торт!

Ответить
0

Вот поэтому у нас и кейсов мало опубликованных, потому что не "обманываем". Какой выход?

Ответить
1

Писать честные кейсы? Я вижу, что хорошие сильные специалисты не пишут кейсы, не выступают, не ведут вебинары. Потому что не хотят быть как те, кто обманывает, не хотят быть похожими на инфобизнес. Ещё потому что не верят, что делают что то ценное и достойное публикации. В итоге пишут статьи, выступают на конференциях одни и те же лица, люди которые научились упаковывать результаты. Не надо обманывать, но важно уметь убедительно рассказывать о своей экспертности.

Ответить
0

Шахов - красавчик?

Ответить
0

Вы про Дмитрия Шахова? Он умеет и быть и казаться, это круто. Большинство умеют только одно из двух.

Ответить
0

Ну такой себе вывод. Хорошие специалисты типа отмалчиваются с синдромом самозванца, а кругом одни разводилы и инфобиз.

Советую тогда пересмотреть скрипты менеджеров по продажам Коллибри, которые такие байки травят красивые агентствам, чтобы они начали подключать ваш сервис клиентам.

Собственно, если статья ещё кое-как, хотя и вы и Петр явно намеренно сделали перекос, то этот комментарий стал показательным: нужно использовать любой сервис, кроме вашего.

Ответить
0

продают волшебные продукты для "повышения конверсии", при этом топят за "честные кейсы"))))))))))))))))))))

Ответить
0

Я уже это почти понимаю. Тоже было на вебинаре, что хорошие эксперты пишут "в стол". С другой стороны, сами же СМИ всё гребут под гребёнку рекламы.

Ответить
0

По поводу вебинаров: вот мы всё готовим вебинар, то самостоятельный, то с партнрами. Но, конечно, это не инфобизнес. Это просто презентация. А как иначе? Людям же нужно показать, как работает сервис. Инструкции пишем, но люди не особо читают. В итоге начинают тестировать, что-то не получилось и могут бросить.

Ответить

0

У вас сеошнег плохой)))

Ответить
0

Поздравляю у вас уровень Pro.

Ответить
0

В заключении конечно хороший совет, но ведь тот, кто верит во все эти сказочные росты по 300% врядли будет знать какую доп. информацию нужно запросить, чтобы все проверить. А тот, кто знает - не верит сказочным кейсам.

Ответить
0

Что за шрифт на первом слайде?

Ответить
0

Интересная тема, спасибо)

Ответить
0
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Команда калифорнийского проекта
оказалась нейронной сетью
Подписаться на push-уведомления
{ "page_type": "default" }