Иерархия доказательств при работе над продуктом

Обычно мы получаем данные о пользователях и продукте в различных формах: это могут быть наблюдения с юзабилити тестирования, данные аналитики, обращения в поддержку или просто случайное замечание знакомого.

Честно говоря, во всём этом потоке информации можно запутаться и уж точно у всех рано или поздно возникают проблемы с тем, чтобы отличить значимые данные от частного случая.

В этом материале разберемся, как использовать пирамиду доказательной медицины (неожиданно) в работе на продуктом.

Концепция «Evidence-Based Medicine Pyramid» представляет собой иерархическую систему организации и визуализации различных типов доказательств.

Эта пирамида доказательств позволяет визуализировать как качество доказательств, так и их количество. По мере того, как вы спускаетесь по пирамиде, количество доказательств будет увеличиваться, а качество доказательств ухудшаться.

В клинической медицине эту концепцию используют в поддержку различных исследований, будь то новое лекарство, технология или любое другое вмешательство в здоровье людей. Существует множество различных формулировок этой иерархии, но здесь можно увидеть простую версию.

Согласно этому порядку, систематический обзор является лучшим типом доказательств. Это включает в себя рассмотрение всех доказательств, представленных в клинических испытаниях, и сводит на нет «cherry-picking».

Благодаря систематическому обзору мы можем быть уверены, что представлены все имеющиеся доказательства.

Рандомизированное контролируемое исследование — это метод удаления любых посторонних факторов из вашего теста и проверки того, что измеряемый вами эффект обусловлен только проводимым вами вмешательством.

Это противоположно отчетам по методу «случай-контроль», которые включают просмотр исторических данных двух групп населения (например, людей, принимавших одно лекарство по сравнению с другим) и наблюдение за их результатами. Это полезно, когда невозможно провести надлежащее исследование, но оно уязвимо для корреляций, ошибочно идентифицированных как причинно-следственная связь.

Например, пациенты, которым был назначен определенный курс лечения, могут жить в более благополучных районах и, следовательно, иметь сотни других факторов, обуславливающих лучшие результаты (лучшее образование, питание, меньше других проблем со здоровьем и т.д.).

Все эти типы тестов следует рассматривать как более авторитетные, чем чье-либо мнение, независимо от того, насколько эти люди опытны или квалифицированы. Часто плохие практики и идеи сохраняются без повторной проверки в течение длительного времени, и единственный способ убедиться, что что-то работает — проверить.

Это верно и в отношении работы над продуктом.

Как и для доказательной медицины для работы над продуктом также можно создать свою «Evidence-Based Pyramid», ориентированную на фактические данные.

Несколько предостережений, прежде чем я начну: эта пирамида ни в коем случае не является всеобъемлющей — между каждым уровнем есть бесчисленное множество оттенков серого, и иногда что-то, что я поместил внизу, будет лучшим решением вашей проблемы, чем что-то наверху.

Я начну снизу и пройду путь от худших до лучших стандартов доказательств.

Очевидно, что самая слабая форма доказательства, на которой вы можете основывать любое решение — это полное отсутствие доказательств, которое может быть основано на прошлом опыте или просто на том, что «кажется правильным».

Но доказательства почти всегда важнее чувств. Особенно, когда дело доходит до принятия правильных решений.

Какими бы хорошими ни были советы по «лучшим практикам», они никогда не смогут сравниться с фактическими данными, адаптированными к вашей конкретной ситуации. Best practices применимы ко всему, но ни для чего не идеальны.

Тем не менее это хороший вариант, когда у вас нет времени или ресурсов для самостоятельного выполнения тщательных тестов, и иногда они играют очень важную роль при принятии решений о том, в каком направлении двигаться.

Вы решили, какое изменение в продукте вы хотите осуществить, вы его осуществили и измерили результаты. Похоже, это именно то, чем вы должны заниматься, не так ли?

Но вы забыли одну ключевую вещь — вам нужно что-то для сравнения, чтобы убедиться, что изменения, которые вы видите после вашего вмешательства, не вызваны случайностью или какими-то другими изменениями вне вашего контроля, которые вы не учли.

Здесь вам нужно помнить, что корреляция не является причинно-следственной связью!

Плохо спланированный эксперимент ничуть не лучше полного отсутствия контроля.

Например, на сайте со спортивными товарами можно изменить половину страниц товаров и измерить эффект на транзакции. Если изменение внесено в категорию «Футбол» непосредственно перед началом чемпионата мира и сопоставлено с категорией «Плаванье», вы можете увидеть рост продаж, который не имеет отношения к внесенным вами изменениям.

Золотым стандартом практически для любой области, является рандомизированное контролируемое исследование. Это верно в медицине и, безусловно, верно и в работе над продуктом, где их обычно называют A/B-тестами.

Это не означает, что в A/B-тестов нет недостатков, и важно правильно настроить эксперимент, чтобы свести на нет любые внешние факторы, которые могут появиться.

Даже при идеально настроенном сплит-тесте все же можно допустить ошибку. Тест может показать вам результаты только того, что вы тестируете: если вы не придумаете хорошую гипотезу для исследования, вы не увидите невероятных результатов.

Кроме того, важно не придавать слишком большого значения своим результатам. Как только вы нашли что-то, что блестяще работает в вашем тесте, не думайте, что это будет работать вечно. Единственное решение — проводить тесты как можно чаще.

Если вам понравилась статья, то у меня для вас классная новость: еще больше самого душного (и иногда смешного) контента про IT можно найти в подкасте «Форточку открой».