Почему AB тесты не работают?

За что мы так любим AB тесты? За то, что они помогают нам сделать больше продаж, получить больше подписок и наконец сказочно разбогатеть. Стоп, а ведь с последним они не помогают, а мешают даже. Сейчас обсудим как это происходит.

Допустим, вы маркетолог или модный нынче продакт-менеджер и делаете ручки для дверей. Продукт зрелый, появился где-то в неолите. Но это вас все равно не печалит, вы же инновативный-инноватор: постоянно добавляете новые технологии и делаете исследования с AB тестами. Ваши ручки бодро зажигают: подписки и ревенью постоянно растут, конкуренты плачут кровавыми слезами, и скоро вы к черту монополизируете весь рынок...

Но не тут-то было. Внезапно где-то на Тибете просыпается инфекция, которая перекинулась человеку от кротов. Никто не знает, зачем тибетцам понадобилось жрать этих долбаных кротов, видимо, думали, что улучшит потенцию и долголетие. В результате расклад теперь примерно такой: инфицированный человек потрогал ручку, 80 человек из 100 не заразились, 19 перенесли бессимптомно и пошли заражать другие дверные ручки, а у 1-ого из 100 руки почернели и отвалились. История с перчатками сразу не проканала, так как если в этих перчатках потрогал ручку, а потом нос, то почернел и отвалился нос. СМИ усиливают панику, в соцсетях, вы постоянно видите людей с отвалившимися руками, носами, ушами и прочими местами. Где-то откручивают ручки, где-то вообще выпиливают двери и оставляют проход открытым, в рестораны теперь можно только по QR коду. А это тут причем? А сами не знаем, просто очень старались.

Так вот, вашему бизнесу с дверными ручками пришел пушистый конец. И дело не в том, что вы сделали неудачный интерфейс или неправильно провели AB тест. А в том, что пользователи почему-то стали относиться к вашему интерфейсу иначе и теперь иначе с ним взаимодействуют.

Скептики возразят: “Да какие кроты в тибете, хватит фантазировать, такое невозможно.”

Мой ответ: “А представьте, что завтра в этих ваших Тик-Токах объявят челлендж “Смажь дверную ручку вареньем”? Когда понимаешь принцип, то и кроты из тибета не нужны, можно использовать инструменты попроще!”

Когда потребитель взаимодействует с нашим продуктом, то дело не только в самом продукте. Дело в навыках, дело в предыдущем опыте, дело в представлениях и заблуждениях, которые пользователь тащит в своей башке взаимодействуя с нашим продуктом. Да, AB тест дает вам снимок как есть сейчас, но это может измениться мгновенно. Люди, которые уже измазали руки в “варенье”, будут иначе проходить все последующие AB тесты!

А как правильно тогда тестировать?

А теперь давайте подумаем что бы нам такое исследовать и протестировать, чтобы все-таки разбогатеть? Можно ли, не меняя продукт и не меняя интерфейс, изменить взаимодействие пользователя с вашим продуктом? Как мы уже протестили на кротах и на “варенье”, еще как можно. Но хочется бросить вызов стихии, и сделать эти процессы более управляемыми и более подвластными маркетологам и менеджерам продуктов новомодным.

Представьте у вас есть какой-то элитный тематический отель. В нем есть правило “открываем двери попой”. Вы тут впервые, и когда швейцар открывает вам дверь, он делает это попой и таинственно шепчет вам: ”У нас так принято!” Вы заходите внутрь и видите, что весь персонал, постояльцы и все вокруг открывают двери попой. А как только вы пытаетесь ухватиться за дверную ручку, то все смотрят на вас с осуждающим недоумением. Вам все постоянно показывают и рассказывают, как правильно взаимодействовать с дверями. И вы либо к черту съезжаете от этих придурков, либо решаете, как все, разрабатывать ягодицы.

То есть нужно пытаться тестировать не только сам интерфейс, но и правила взаимодействия с ним. Последователи Якоба Нильсена и его Юзабилити ответят мне, что интерфейс должен быть таким, чтобы не требовал правил взаимодействия и обучения. Уважаю Нильсена, но реальность такова, что писать на клавиатуре нужно учиться, взаимодействовать со смартфоном нужно учиться, ездить на велосипеде нужно учиться, ездить на гироскутере с вэйпом и фалафелем и то нужно учиться. И от того, как вы научитесь, зависит, как вы будете взаимодействовать.

Тестировать нужно не только сами правила взаимодействия с продуктами, но и способы донесения этих правил до потребителя. Понятное дело, что если вы напишите инструкцию, повесите всплывашку, влепите бессмысленный онбординг - это не получится. Придется потратить много ресурсов чтобы научиться влиять на безумие в голове потребителя. Кстати, в той истории с кротами в итоге выяснилось, что инфекция передавалась не через дверные ручки, а через воду. Извините, ученые и СМИ угробили ваш бизнес на пустом месте. Попробуйте теперь переубедите их, что ваши дверные ручки безопасны и удобны, когда все научились жить без них.

Мне очень помог курс Роберта Сапольски “Биология поведения человека”

Вот тут на английском: https://youtu.be/NNnIGh9g6fA

Вот тут на русском: https://youtu.be/ik9t96SMtB0

Там 27 лекций, ссылку даю только на первую.

Я написал эту статью, чтобы в очередной раз пригласить вас подумать над тем, что продукт - это не только условия, интерфейс, конкурентные преимущества, но и то что варится у человека в голове. И когда вы делаете AB тесты, я хочу чтобы вы задумывались: “Тестирую ли я взаимодействие продукта с покупателем? Или же я тестирую способы изменить отношение покупателя ко всему классу продуктов.” Разбогатеть можно, только если научитесь менять отношение. И научиться этому можно!

А теперь давайте перейдем к практике. Чтобы лучше разобраться в том как волшебство в голове потребителя влияет на его взаимодействие с интерфейсами нам нужно больше примеров. Вот тут я собрал несколько. Присылайте мне в комментарии или в личку примеры из вашей жизни, когда вы или другие люди использовали продукты не так как это было задумано производителем. Я с удовольствием добавлю их в эту статью!

Это не просто, придется голову поломать!

Пришиваем сумку к поясу - получаем поясную сумку, но модники носят ее через грудь.

На пластмассовую мешалку для кофе сделали удобную ручку для пальцев, но все думают что это не ручка а мини-ложка и мешают ею.

У носков отрезали верх и они стали по щиколотку - круто носки для лета, но модники носят зимой потому что стильно.

На компе столько классных графических пакетов, но кто-то до сих пор рисует символьной графикой.

Многопользовательские игры заточены под игру, но кто-то использует их как сайт знакомств.

Столько сервисов заметок, но многие делают заметки в неудобных чатах вотсапа, телеграма, фб, а некоторые даже в вк.

У хирургов-проктологов целая коллекция вещей их пациентов, использованных не по назначению :)

Дорожки для велосипедистов были сделаны, чтобы они не мешали пешеходам, а многие мамы с колясками любят по этим дорожкам ходить потому что "ну там же пусто!"