"Яндекс Взгляд" как самый бесполезный маркетинговый инструмент для стартапа

Всем привет, хотел поделиться своим опытом использования инструмента "Яндекс Взгляд". Сразу хочу сказать, что я изначально не ставил себе цели испытать сам "Яндекс Взгляд", но так уж получилось, что полученные результаты красноречиво могут рассказать о нем.

С чего все началось. Я, как основатель стартапа по обучению людей способам наведения порядка на компьютере по собственной методике «ADIR», естественно хотел оценить рыночные перспективы моего предприятия. Реальных продаж пока мало – не более десятка человек, так что статистики никакой нет. Как раз в этот момент мне и попался на глаза сервис "Яндекс Взгляд".

Как следовало из описания этот инструмент от нашего «любимого» ИТ гиганта просто идеально создан для моей задачи. Текст на сайте радостно вещал что "Яндекс Взгляд" найдет для вас аудиторию и опросит её в мгновение ока»

Суть сервиса, как следует из описания, заключается в том, что за небольшую плату (1500 р за опрос как минимум 100 человек) Яндекс проведет таргетированный опрос по созданной мной анкете, состоящей из четырех вопросов. Предполагается, что эти ответы дадут мне ценный маркетинговый материал о моей ЦА. Я вроде не дурак и понимаю, что в любых опросах возможен брак, люди ленятся отвечать, тыкают наобум и т.д. Но лично я предполагал, что типичная доля брака в ответах около10-15%, что собственно ожидалось и от "Яндекс Взгляда".

Тем не менее сам "Яндекс Взгляд" рапортует, что получит от аудитории честные ответы. Это и склонило меня потратить полторы тысячи рублей из бюджета проекта на использование этого инструмента. Особую пикантность ситуации придает то, что все эти деньги я плачу не людям за прохождение моего опроса, а Яндексу.

Сама процедура составления опроса и его запуска была легкой и непринужденной. Таргетинг осуществлялся по географическому признаку, т.к. я работаю пока только на Санкт-Петербург. Отчет о результатах появился не позднее чем через 4 дня после начала моего опыта.

Я уже было застыл в предвкушении получить те самые сокровенные ответы для моего стартапа, который покажет его рыночные перспективы, но то что я увидел меня сильно удивило. Рассмотрим по порядку результаты опроса.

Первая страница

Выглядит отлично, из обещанных 100 опросов провели в 2 раза больше (200), а начато анкет так вообще 405! Смотрим далее.

Первый ключевой вопрос о том, мешает ли беспорядок в файлах на компьютере работать. Я здесь перестраховался и еще раз попросил людей честно отвечать на этот вопрос.

Результаты выглядят обнадеживающими. Моя ЦА – это люди которым беспорядок на ПК мешает и очень мешает, и их, судя по опросу, целых 32%! Т.е. у этих людей есть проблема, которую мой стартап как раз и решает! Отлично, переходим ко второму вопросу.

Следующий вопрос задавался с целью понять, как люди сейчас решают свою проблему с наведением порядка в файлах на ПК. Т.е. оцениваем ситуацию и конкурентов на текущий момент.

Результаты тоже скорее положительные. Получается что 36% людей ищут пути решения проблемы наведения порядка на ПК, т.е. спрос есть. Этот ответ подтверждает наличие рынка для моего образовательного стартапа, но также говорит и о наличии конкурентов на этом поле. Как минимум они есть и уже захватили около 2/3 рынка, т.к. люди используют какие-то решения. Идем дальше.

Третий вопрос задавался без всякой задней мысли, но в итоге оказался ключевым во всем этом мероприятии. По своей форме это обычный маркетинговый вопрос, нацеленный на выявление уровня узнаваемости моего продукта, который существует под брендом «ADIR».

Видя такие результаты опроса, обычный маркетолог должен был сделать вывод о том, что бренд конечно не самый узнаваемый среди ЦА, но как минимум 25% все-таки слышали о нас, а это для уровня стартапа очень даже неплохо. Более того можно было похвалить отдел продаж, т.к. благодаря их усилиям продукт активно внедряется и им уже сейчас пользуются целых 13%! Если грубо проецировать эти данные на объем ЦА в Санкт-Петербурге, которая судя по механизмам таргетинга "Яндекс Взгляда" должна оцениваться никак не менее чем в 100 тыс. чел (жители 5-ти миллионного города, пользующиеся ПК, использующие Яндекс как поисковик и т.д. и т.п.), то получается что методом ADIR для наведения порядка на компьютере уже пользуются, округленно, около 13 тыс. человек. Вы можете сказать что мои, приведенные выше оценки не совсем корректны, хорошо – остановимся на минимальной оценке, просто на тех 31 людях, которые уверенно и честно ответили в анкете, что они знают метод ADIR и его используют.

Все хорошо, но проблема в том, что в реальности не существует этих 31 человек! Как я уже говорил у нас еще нет такого числа продаж. С самой методикой ADIR до уровня, чтобы её использовать хотя бы в самом простом виде знакомы максимум 10 человек. Я знаю её как разработчик и плюс те 8-9 человек, которые посетили наш единственный бесплатный вводный семинар на локальном фестивале по SMM, проводимый в маленьком муниципальном клубе. Больше о ней никто во всем мире не знает! Это гарантировано! Получается, что "Яндекс Взгляд" просто придумал как минимум 20 ответов на этот вопрос. Понятно что это не входит ни в 10%, ни в 200% погрешности опроса. Эта даже не погрешность, а просто надувательство! С таким же успехом можно было запустить генератор случайных чисел для этой анкеты. Естественно что после этого доверять ответам на любые вопросы моего теста не имеет смысла, как в целом и "Яндекс Взгляду".

Размышляя над ситуацией могу сказать, что маловероятно что сложившаяся ситуация явилось следствием злого умысла "Яндекс Взгляда". Справедливее было бы предположить что большая часть вины лежит на совести тех людей, которые давали заведомо ложные ответы на вопросы моей анкеты, если конечно предположить что "Яндекс Взгляд" действительно показывал анкету кому-то. Возможно наш «любимый» ИТ гигант просто рандомно поставил галочки, и анкету даже не показывал пользователям. Если это так, то даже такое мелкое надувательство требует подготовки или специфических алгоритмов для генерации ответов. Как видим все предыдущие результаты были очень правдоподобными. Более того, не будь у меня такой специфической ситуации, когда продут еще в буквальном смысле никому не известен, я бы не смог уличить систему в обмане. Имей я хотя бы 1000 клиентов, те самые 13% (или 31 человек) пользователей ADIR вполне могли бы сойти за чуть преувеличенный (на уровень погрешности) но все же правдивый результат. Естественно "Яндекс Взгляд" не мог об этом знать когда расставлял свои галочки, вот и попался.

Не пытаясь предъявлять обвинений или финансовых претензий (хотя 1500 руб. за бессмысленные ответы это достаточно дорого) к самому сервису, выводы можно сделать однозначные – "Яндекс Взгляд" совершенно бессмысленный и бесполезный инструмент для маркетинга, по крайней мере пока он не докажет обратное. Именно этой мыслью, с прилагающимися доказательствами, я и хотел поделиться с читателями VC и предотвратить их от ошибок.

P.S. Заметки для тех кто считает, что лучше предлагать изменения, чем критиковать.

Понятно что полностью исключить риск ошибок и погрешности в выполнении интернет опроса нельзя, но можно предпринять ряд мероприятий, которые существенно усилят качество предлагаемого продукта.

Во-первых, хорошо бы как-то идентифицировать людей, которые отвечают на вопросы, и передавать эти данные в обезличенном виде заказчику. Я больше бы доверял ответам, если бы мне не только сказали что в опросе поучаствовало 405 чел, но и дали бы точные данные по пользователям, с разбивкой по времени, локации и конфигурации ответов от конкретного пользователя. В идеале, предоставить возможность написать личный запрос и проверить ответы от небольшого числа респондентов.

Во-вторых, в технологиях опросов хорошо зарекомендовал себя метод повторного интервьюирования – когда один и тот же вопрос задается одному и тому же респонденту через некоторый промежуток времени. Смысл в том, что если респондент в первом случае рандомно натыкал ответы, а не осознанно выразил свое мнение, то через 2-3 недели увидев эти же вопросы он не сможет в точности повторить свои же, наугад поставленные ответы. Это и будет критерием брака. Особенно хорошо этот метод работает при небольших вариациях как в формулировках ответов, так и при изменении порядка вариантов.

Думаю можно говорить, что использование, этих двух предложенных методов позволяющих кардинально улучшить качество предоставляемых услуг, не является чем-то сверх сложным и невозможным для реализации в "Яндекс Взгляде", но разработчики даже не приблизились к этому. В результате мы и получили сервис, который является совершенно бессмысленным и бесполезным.