Всем привет, хотел поделиться своим опытом использования инструмента "Яндекс Взгляд". Сразу хочу сказать, что я изначально не ставил себе цели испытать сам "Яндекс Взгляд", но так уж получилось, что полученные результаты красноречиво могут рассказать о нем.
С чего все началось. Я, как основатель стартапа по обучению людей способам наведения порядка на компьютере по собственной методике «ADIR», естественно хотел оценить рыночные перспективы моего предприятия. Реальных продаж пока мало – не более десятка человек, так что статистики никакой нет. Как раз в этот момент мне и попался на глаза сервис "Яндекс Взгляд".
Как следовало из описания этот инструмент от нашего «любимого» ИТ гиганта просто идеально создан для моей задачи. Текст на сайте радостно вещал что "Яндекс Взгляд" найдет для вас аудиторию и опросит её в мгновение ока»
Суть сервиса, как следует из описания, заключается в том, что за небольшую плату (1500 р за опрос как минимум 100 человек) Яндекс проведет таргетированный опрос по созданной мной анкете, состоящей из четырех вопросов. Предполагается, что эти ответы дадут мне ценный маркетинговый материал о моей ЦА. Я вроде не дурак и понимаю, что в любых опросах возможен брак, люди ленятся отвечать, тыкают наобум и т.д. Но лично я предполагал, что типичная доля брака в ответах около10-15%, что собственно ожидалось и от "Яндекс Взгляда".
Тем не менее сам "Яндекс Взгляд" рапортует, что получит от аудитории честные ответы. Это и склонило меня потратить полторы тысячи рублей из бюджета проекта на использование этого инструмента. Особую пикантность ситуации придает то, что все эти деньги я плачу не людям за прохождение моего опроса, а Яндексу.
Сама процедура составления опроса и его запуска была легкой и непринужденной. Таргетинг осуществлялся по географическому признаку, т.к. я работаю пока только на Санкт-Петербург. Отчет о результатах появился не позднее чем через 4 дня после начала моего опыта.
Я уже было застыл в предвкушении получить те самые сокровенные ответы для моего стартапа, который покажет его рыночные перспективы, но то что я увидел меня сильно удивило. Рассмотрим по порядку результаты опроса.
Первая страница
Выглядит отлично, из обещанных 100 опросов провели в 2 раза больше (200), а начато анкет так вообще 405! Смотрим далее.
Первый ключевой вопрос о том, мешает ли беспорядок в файлах на компьютере работать. Я здесь перестраховался и еще раз попросил людей честно отвечать на этот вопрос.
Результаты выглядят обнадеживающими. Моя ЦА – это люди которым беспорядок на ПК мешает и очень мешает, и их, судя по опросу, целых 32%! Т.е. у этих людей есть проблема, которую мой стартап как раз и решает! Отлично, переходим ко второму вопросу.
Следующий вопрос задавался с целью понять, как люди сейчас решают свою проблему с наведением порядка в файлах на ПК. Т.е. оцениваем ситуацию и конкурентов на текущий момент.
Результаты тоже скорее положительные. Получается что 36% людей ищут пути решения проблемы наведения порядка на ПК, т.е. спрос есть. Этот ответ подтверждает наличие рынка для моего образовательного стартапа, но также говорит и о наличии конкурентов на этом поле. Как минимум они есть и уже захватили около 2/3 рынка, т.к. люди используют какие-то решения. Идем дальше.
Третий вопрос задавался без всякой задней мысли, но в итоге оказался ключевым во всем этом мероприятии. По своей форме это обычный маркетинговый вопрос, нацеленный на выявление уровня узнаваемости моего продукта, который существует под брендом «ADIR».
Видя такие результаты опроса, обычный маркетолог должен был сделать вывод о том, что бренд конечно не самый узнаваемый среди ЦА, но как минимум 25% все-таки слышали о нас, а это для уровня стартапа очень даже неплохо. Более того можно было похвалить отдел продаж, т.к. благодаря их усилиям продукт активно внедряется и им уже сейчас пользуются целых 13%! Если грубо проецировать эти данные на объем ЦА в Санкт-Петербурге, которая судя по механизмам таргетинга "Яндекс Взгляда" должна оцениваться никак не менее чем в 100 тыс. чел (жители 5-ти миллионного города, пользующиеся ПК, использующие Яндекс как поисковик и т.д. и т.п.), то получается что методом ADIR для наведения порядка на компьютере уже пользуются, округленно, около 13 тыс. человек. Вы можете сказать что мои, приведенные выше оценки не совсем корректны, хорошо – остановимся на минимальной оценке, просто на тех 31 людях, которые уверенно и честно ответили в анкете, что они знают метод ADIR и его используют.
Все хорошо, но проблема в том, что в реальности не существует этих 31 человек! Как я уже говорил у нас еще нет такого числа продаж. С самой методикой ADIR до уровня, чтобы её использовать хотя бы в самом простом виде знакомы максимум 10 человек. Я знаю её как разработчик и плюс те 8-9 человек, которые посетили наш единственный бесплатный вводный семинар на локальном фестивале по SMM, проводимый в маленьком муниципальном клубе. Больше о ней никто во всем мире не знает! Это гарантировано! Получается, что "Яндекс Взгляд" просто придумал как минимум 20 ответов на этот вопрос. Понятно что это не входит ни в 10%, ни в 200% погрешности опроса. Эта даже не погрешность, а просто надувательство! С таким же успехом можно было запустить генератор случайных чисел для этой анкеты. Естественно что после этого доверять ответам на любые вопросы моего теста не имеет смысла, как в целом и "Яндекс Взгляду".
Размышляя над ситуацией могу сказать, что маловероятно что сложившаяся ситуация явилось следствием злого умысла "Яндекс Взгляда". Справедливее было бы предположить что большая часть вины лежит на совести тех людей, которые давали заведомо ложные ответы на вопросы моей анкеты, если конечно предположить что "Яндекс Взгляд" действительно показывал анкету кому-то. Возможно наш «любимый» ИТ гигант просто рандомно поставил галочки, и анкету даже не показывал пользователям. Если это так, то даже такое мелкое надувательство требует подготовки или специфических алгоритмов для генерации ответов. Как видим все предыдущие результаты были очень правдоподобными. Более того, не будь у меня такой специфической ситуации, когда продут еще в буквальном смысле никому не известен, я бы не смог уличить систему в обмане. Имей я хотя бы 1000 клиентов, те самые 13% (или 31 человек) пользователей ADIR вполне могли бы сойти за чуть преувеличенный (на уровень погрешности) но все же правдивый результат. Естественно "Яндекс Взгляд" не мог об этом знать когда расставлял свои галочки, вот и попался.
Не пытаясь предъявлять обвинений или финансовых претензий (хотя 1500 руб. за бессмысленные ответы это достаточно дорого) к самому сервису, выводы можно сделать однозначные – "Яндекс Взгляд" совершенно бессмысленный и бесполезный инструмент для маркетинга, по крайней мере пока он не докажет обратное. Именно этой мыслью, с прилагающимися доказательствами, я и хотел поделиться с читателями VC и предотвратить их от ошибок.
P.S. Заметки для тех кто считает, что лучше предлагать изменения, чем критиковать.
Понятно что полностью исключить риск ошибок и погрешности в выполнении интернет опроса нельзя, но можно предпринять ряд мероприятий, которые существенно усилят качество предлагаемого продукта.
Во-первых, хорошо бы как-то идентифицировать людей, которые отвечают на вопросы, и передавать эти данные в обезличенном виде заказчику. Я больше бы доверял ответам, если бы мне не только сказали что в опросе поучаствовало 405 чел, но и дали бы точные данные по пользователям, с разбивкой по времени, локации и конфигурации ответов от конкретного пользователя. В идеале, предоставить возможность написать личный запрос и проверить ответы от небольшого числа респондентов.
Во-вторых, в технологиях опросов хорошо зарекомендовал себя метод повторного интервьюирования – когда один и тот же вопрос задается одному и тому же респонденту через некоторый промежуток времени. Смысл в том, что если респондент в первом случае рандомно натыкал ответы, а не осознанно выразил свое мнение, то через 2-3 недели увидев эти же вопросы он не сможет в точности повторить свои же, наугад поставленные ответы. Это и будет критерием брака. Особенно хорошо этот метод работает при небольших вариациях как в формулировках ответов, так и при изменении порядка вариантов.
Думаю можно говорить, что использование, этих двух предложенных методов позволяющих кардинально улучшить качество предоставляемых услуг, не является чем-то сверх сложным и невозможным для реализации в "Яндекс Взгляде", но разработчики даже не приблизились к этому. В результате мы и получили сервис, который является совершенно бессмысленным и бесполезным.
Посмотрите на последний вопрос со стороны психологии. Люди могут дать на него положительный ответ только потому что не хотят показаться дураками или потому что слышали что то похожее. Возможно никто из них не знаком с этой технологией, но когда их спросили знают ли они ее, то вероятней всего, те которые искали ответы в интернете о том как навести порядок, прочитали много информации и техник, что все не запомнить. И когда им говорят о какой то технологии, то в головах может возникнуть мысль "что то подобное уже слышал" и положительно ответят на вопрос. Тем более, что почти 25% нашли какойто способ и его используют. Это не значит что все помнят название этого способа. Скорей всего 13% из 25% подумали что их способ именно так и называется.
Очень хорошие размышления. Но в общем виде это звучит как аргумент против ЛЮБЫХ опросов, потому что "со стороны психологии...". Между тем, надо разделять
1) добросовестные заблуждения и способы очистки от них методическими и техническими приемами на стороне инструментария, которые похожи по своей логике независимо от техники (телефонники, личные интервью - все одно)
2) лживое недобросовестное кликерство, которое является проблемой всех онлайн-опросов, и честный открытый рассказ держателя сервиса о том, как именно они с этим собираются бороться если вообще
Не известно, где Яндекс берет респондентов для опросов, в поиске по словам ''пройти опрос'' ничего не находится от Яндекса. Поэтому логично предположить, что на вопросы в опросах отвечает тот же искусственный интеллект от Яндекса. Все предыдущие комментаторы в защиту Яндекса - несут явный бред.
Если у Степана было уже 10 человек, купивших 2ух часовой курс за 3000 на апстадипро, то, можно сказать, жизнь удалась. Дальше дорога в БМ
Лучше бы сходили в коворкинг и познакомились там с ребятами) они бы вам явно больше даных дали чем опросы)
Из чуть более 200 ответов чуть более 30 ответов брак - как раз в рамках вашего предположения в начале статьи "Но лично я предполагал, что типичная доля брака в ответах около10-15%"
Степан, вы как-то уж слишком эмоционально относитесь к расшифровке результатов. Почему вы не допускаете, что 30 человек не могу считать, что они используют современный инновационных метод АДИР в своей тяжкой и полной лишений жизни? Или, напротив, радостной и полной приключений. Это вы еще на улице не пробовали спросить про АДИР.
На самом деле ваш опрос ужасен, и конверсия это четко показывает. Каждый второй не стал отвечать на вопросы. До финиша дошли только отчаянные - если бы ответы генерировал робот, нет было бы никакого смысла так вас расстраивать низкой конверсией.
конверсия 50% - это очень много
Применительно к опросам Яндекс - нет, это исключительно мало. Я пользовался платформой, конверсия была 75-80%
Аудитория мотивирована отвечать на вопросы, в этом и суть проекта. И если половина мотивированных пользователей не отвечает - с вопросами какая то беда
"аудитория мотивирована отвечать на вопросы" - это в переводе на русский язык "кликовая ферма в Бангладеш, где люди зарабатывают себе на жизнь заполняя онлайн-опросы"
Плохо составленные вопросы, не продуманная система фиксации результатов, нет чёткой градации по аудитории. Отсюда и проблема. Это не опрос, а фигня. И столько букв в статье ни о чём.
Если опрошено 200 человек, как там написано, то итоговые проценты всегда будут кратны 5.
Т.е. 37 ответов это 18,5%, 115 это 57,7%, а 88 это 44%.
Как интересно у них получилось 5,8% , 72,4% и тд.
Там проценты по каждому вопросу считаются, и у первых вопросов анкеты число людей больше 200 (на картинках показано в числах)
Дмитрий, вы сами явно указали на ещё один недостаток системы Яндекс Взгляд. До конца опроса дошли только 200 чел, но эти люди как раз и представляют нашу ЦА. Те которые отвалились на пол пути нам не интересны. Тогда зачем в результатах ответов на первые вопросы показывать статистику по всем людям. Получается смесь мнений от нашей ЦА и случайных прохожих, что ещё больше запутывает и осложняет интерпретацию результатов. Сделать такую фильтрацию по людям, прошедших опрос до конца опять-таки не сложно, но разработчикам было видимо влом, что их ни разу не красит.
С чего вы это решили: " но эти люди как раз и представляют нашу ЦА. Те которые отвалились на пол пути нам не интересны."
Вам каждый вася интересен, чтобы оценить рыночные перспективы. И результат опроса дает такую оценку. И то что она настолько низка, что вы не можете ее принять не проблема яндекса, так ведь?
"Я здесь перестраховался и еще раз попросил людей честно отвечать на этот вопрос." - Страховщик от Бога прямо))))
Добавлю, что закрытые вопросы для исследования вообще не могут быть полезны. Только открытые и только с целевой аудиторией (лучше лично проводить опрос)!
Исследователя с Большой Буквы вижу я
надо к каждому вопросу добавлять вариант "не хочу отвечать", чтобы снизить процент людей, тыкающих наугад
Яндекс -последняя из организаций, в которую я за чем-либо обращусь... обжигались с ними и не однократно... ведут себя как последняя гопота...
Сегодня сам проходил опрос через яндекс взгляд. Отвечал честно) была интересна реализация, т.к сам готовлю вопросы и ищу информацию по реализации. Об итогах могу написать. Если интересно жмите лайки.