Почему AB тесты не работают?
За что мы так любим AB тесты? За то, что они помогают нам сделать больше продаж, получить больше подписок и наконец сказочно разбогатеть. Стоп, а ведь с последним они не помогают, а мешают даже. Сейчас обсудим как это происходит.
“Невероятный” пример
Допустим, вы маркетолог или модный нынче продакт-менеджер и делаете ручки для дверей. Продукт зрелый, появился где-то в неолите. Но это вас все равно не печалит, вы же инновативный-инноватор: постоянно добавляете новые технологии и делаете исследования с AB тестами. Ваши ручки бодро зажигают: подписки и ревенью постоянно растут, конкуренты плачут кровавыми слезами, и скоро вы к черту монополизируете весь рынок...
Но не тут-то было. Внезапно где-то на Тибете просыпается инфекция, которая перекинулась человеку от кротов. Никто не знает, зачем тибетцам понадобилось жрать этих долбаных кротов, видимо, думали, что улучшит потенцию и долголетие. В результате расклад теперь примерно такой: инфицированный человек потрогал ручку, 80 человек из 100 не заразились, 19 перенесли бессимптомно и пошли заражать другие дверные ручки, а у 1-ого из 100 руки почернели и отвалились. История с перчатками сразу не проканала, так как если в этих перчатках потрогал ручку, а потом нос, то почернел и отвалился нос. СМИ усиливают панику, в соцсетях, вы постоянно видите людей с отвалившимися руками, носами, ушами и прочими местами. Где-то откручивают ручки, где-то вообще выпиливают двери и оставляют проход открытым, в рестораны теперь можно только по QR коду. А это тут причем? А сами не знаем, просто очень старались.
Так вот, вашему бизнесу с дверными ручками пришел пушистый конец. И дело не в том, что вы сделали неудачный интерфейс или неправильно провели AB тест. А в том, что пользователи почему-то стали относиться к вашему интерфейсу иначе и теперь иначе с ним взаимодействуют.
Скептики возразят: “Да какие кроты в тибете, хватит фантазировать, такое невозможно.”
Мой ответ: “А представьте, что завтра в этих ваших Тик-Токах объявят челлендж “Смажь дверную ручку вареньем”? Когда понимаешь принцип, то и кроты из тибета не нужны, можно использовать инструменты попроще!”
Что мы упускаем при AB тестировании?
Когда потребитель взаимодействует с нашим продуктом, то дело не только в самом продукте. Дело в навыках, дело в предыдущем опыте, дело в представлениях и заблуждениях, которые пользователь тащит в своей башке взаимодействуя с нашим продуктом. Да, AB тест дает вам снимок как есть сейчас, но это может измениться мгновенно. Люди, которые уже измазали руки в “варенье”, будут иначе проходить все последующие AB тесты!
А как правильно тогда тестировать?
А теперь давайте подумаем что бы нам такое исследовать и протестировать, чтобы все-таки разбогатеть? Можно ли, не меняя продукт и не меняя интерфейс, изменить взаимодействие пользователя с вашим продуктом? Как мы уже протестили на кротах и на “варенье”, еще как можно. Но хочется бросить вызов стихии, и сделать эти процессы более управляемыми и более подвластными маркетологам и менеджерам продуктов новомодным.
Представьте у вас есть какой-то элитный тематический отель. В нем есть правило “открываем двери попой”. Вы тут впервые, и когда швейцар открывает вам дверь, он делает это попой и таинственно шепчет вам: ”У нас так принято!” Вы заходите внутрь и видите, что весь персонал, постояльцы и все вокруг открывают двери попой. А как только вы пытаетесь ухватиться за дверную ручку, то все смотрят на вас с осуждающим недоумением. Вам все постоянно показывают и рассказывают, как правильно взаимодействовать с дверями. И вы либо к черту съезжаете от этих придурков, либо решаете, как все, разрабатывать ягодицы.
То есть нужно пытаться тестировать не только сам интерфейс, но и правила взаимодействия с ним. Последователи Якоба Нильсена и его Юзабилити ответят мне, что интерфейс должен быть таким, чтобы не требовал правил взаимодействия и обучения. Уважаю Нильсена, но реальность такова, что писать на клавиатуре нужно учиться, взаимодействовать со смартфоном нужно учиться, ездить на велосипеде нужно учиться, ездить на гироскутере с вэйпом и фалафелем и то нужно учиться. И от того, как вы научитесь, зависит, как вы будете взаимодействовать.
Тестировать нужно не только сами правила взаимодействия с продуктами, но и способы донесения этих правил до потребителя. Понятное дело, что если вы напишите инструкцию, повесите всплывашку, влепите бессмысленный онбординг - это не получится. Придется потратить много ресурсов чтобы научиться влиять на безумие в голове потребителя. Кстати, в той истории с кротами в итоге выяснилось, что инфекция передавалась не через дверные ручки, а через воду. Извините, ученые и СМИ угробили ваш бизнес на пустом месте. Попробуйте теперь переубедите их, что ваши дверные ручки безопасны и удобны, когда все научились жить без них.
А что же почитать, посмотреть, чтобы углубиться в тему?
Мне очень помог курс Роберта Сапольски “Биология поведения человека”
Вот тут на английском: https://youtu.be/NNnIGh9g6fA
Вот тут на русском: https://youtu.be/ik9t96SMtB0
Там 27 лекций, ссылку даю только на первую.
Заключение
Я написал эту статью, чтобы в очередной раз пригласить вас подумать над тем, что продукт - это не только условия, интерфейс, конкурентные преимущества, но и то что варится у человека в голове. И когда вы делаете AB тесты, я хочу чтобы вы задумывались: “Тестирую ли я взаимодействие продукта с покупателем? Или же я тестирую способы изменить отношение покупателя ко всему классу продуктов.” Разбогатеть можно, только если научитесь менять отношение. И научиться этому можно!
Меняем интерфейс VS меняем отношение
А теперь давайте перейдем к практике. Чтобы лучше разобраться в том как волшебство в голове потребителя влияет на его взаимодействие с интерфейсами нам нужно больше примеров. Вот тут я собрал несколько. Присылайте мне в комментарии или в личку примеры из вашей жизни, когда вы или другие люди использовали продукты не так как это было задумано производителем. Я с удовольствием добавлю их в эту статью!
Это не просто, придется голову поломать!
1. Поясная сумка
Пришиваем сумку к поясу - получаем поясную сумку, но модники носят ее через грудь.
2. Мешалка для кофе
На пластмассовую мешалку для кофе сделали удобную ручку для пальцев, но все думают что это не ручка а мини-ложка и мешают ею.
3. Укороченные носки
У носков отрезали верх и они стали по щиколотку - круто носки для лета, но модники носят зимой потому что стильно.
4. Символьная графика
На компе столько классных графических пакетов, но кто-то до сих пор рисует символьной графикой.
5. Игры для знакомств
Многопользовательские игры заточены под игру, но кто-то использует их как сайт знакомств.
6. Заметки в мессенджерах
Столько сервисов заметок, но многие делают заметки в неудобных чатах вотсапа, телеграма, фб, а некоторые даже в вк.
7. Из проктологии (пример от Валерии)
У хирургов-проктологов целая коллекция вещей их пациентов, использованных не по назначению :)
8. Дорожки для велосипедистов (пример от Алексея)
Дорожки для велосипедистов были сделаны, чтобы они не мешали пешеходам, а многие мамы с колясками любят по этим дорожкам ходить потому что "ну там же пусто!"
Пример1: Электросамокаты были придуманы для удобства передвижения, а кто-то на них сбивает людей.
Пример2: Дорожки для велосипедистов были сделаны, чтобы они не мешали пешеходам, а многие мамы с колясками любят по этим дорожкам ходить потому что "ну там же пусто!"
Пример3: Компьютеры были созданы для облегчения жизни человека, а теперь мы решаем массу проблем, вызванных появлением компьютеров!
Спасибо, добавлю про Дорожки в статью -)
да он ж прикалывается
С дорожками вообще не смешно. Посмотрите, какие битвы на велодорожках между велосипедистами и пешеходами происходят- в сети масса видео
да я сам как пешеход попадал в такую ситуацию. потому что
1. да, велосипедистов мало
2. велодорожка - экзотика
поэтому когда в парке попадается асфальтированная велодорожка, то ощущается как пешеходный проход, а не "тут велики ездят". велик то и по земле проедет, нафига ему еще дорожки в парке
с другой стороны, а если у меня самокат, мне тоже нельзя на велодорожке?
Велодорожка создана для тех, кто перемещается быстро и на колесном транспорте. Для праздношатающихся пешеходов есть широкая асфальтированная дорога. Но пешеходы страсть как любят велодорожку. Кстати, довольно часто на них прям нарисован символ велосипеда краской каждые N метров. И представьте, что вы едете по правилам на велосипеде, самокате, роликах по велодорожке, а навстречу вам мамаша с коляской при почти пустой дороге: вы будете выезжать на пешеходную часть? метнетесь на обочину с рисков влететь в канаву\дерево? попытаетесь успеть оттормозиться с риском влететь в пешехода, который полез не туда?
А как вы относитесь к электросамокатам на дорогах общего пользования? А к автомобилям на тротуарах?
https://www.youtube.com/watch?v=VYGJ5D-e9WI
Не, вообще не так. По ПДД - самокатчик пешеход, а не велосипедист
Пешеходы любят, потому что асфальт часто лучше, чем на пешеходной. А в Филевском парке, например, дорожки идут не в параллель.
но есть и обратно. Пешеходная дорога, но на ней ходят и ездят все. И самокатчики и велосипедисты (набережная в том же Филевском парке)
Да может и нарисован, кого это смущало? Пешеход не обязан знать ПДД.
Что я буду делать зависит от конкретной ситуации. Я на обычном самокате людей пугаю. Потому что я то уверен, что заторможу, а вот им мое торможение в 10 см от них очень смущает. Неловко да. Велика у меня нет, ничего сказать не могу. Но там посадка выше и колеса больше, не надо в асфальт смотреть, в отличии от самоката с милиписечными (20см) колесами, где любая неровность и можно улететь и распороть брюхо самокатом
"Пешеход не обязан знать ПДД." Чтооо?
Ага, а гражданин РФ, не обязан знать "уголовный кодекс", но от ответственности это не освобождает
Просто оставлю это здесь, на случай, если вы такой"пешеход":
http://www.consultant.ru/document/cons_doc_LAW_2709/1736bcf22f8e05f9d3db535f6d084651bad887a4/
Да, все верно. Незнание законов не освобождает от ответственности. и Я и Вы не обязаны знать уголовный кодекс. Вы его знаете? я нет. Худо-бедно только трудовой
Водители автомобилей должны знать ПДД, потому что они экзамен сдают и там вот это "должноствование" и присутствует.
А чтобы быть пешеходом, не надо сдавать экзамен
За переход на красный сигнал по пешеходному светофору пешехода тоже могут оштрафовать
Но какой штраф за движение по велосипедной дорожке? есть такой пункт?