Quantitative method, on the other hand, is a bit tricky. I can always do a landing page test, but there are a few challenges with it:
1. Driving traffic to such a page is difficult and expensive, especially in a competitive market.
2. It's as much of a test for my ad, as it is for my product, and getting the ad right, considering its small size, is quite difficult and is a distraction.
3. But most importantly - I won't know how my solution can be compared to the available alternatives. There is no benchmark for the results I will get.
Интересный подход. Я его встречал неоднократно и иногда замечал "подсадного кролика".
Сам процесс написания "listicle" дает большую пользу для автора - лучше узнаешь конкурентов, делаешь функциональное сравнение (функциональный бенчмарк).
В процессе теста "listicle" можно менять само свое ценностное предложение: менять формулировки, набор предлагаемых фич. Заодно и подбирать выгодные формулировки для сравнения с конкурентами. Особенно будет полезно потом при работе с возражениями клиентов. Главное, чтобы трафика хватало для кучи тестов и значимого статистического результата.
С тестом "listicle" есть нюансы, помимо перечисленных в статье, которые надо учитывать:
1) возможное влияние силы бренда, если на статью зашел человек, хоть немного знающий тему. К примеру, статья "какой браузер выбрать" содержит список Chrome, Yournewbrowser, Firefox, Opera. Посетитель остановится на хроме, потому что он слышал это слово раньше, видел у знакомых. Как новый стартап без силы бренда, вы не получите никакой ценной информации для себя с этого пользователя.
2) надо четко фильтровать трафик, с которого в конечном итоге собираем данные. Потому что на страницу могут попадать пользователи из поисковика по запросу "что лучше chrome или firefox". Они проигнорируют остальные варианты и исказят тест.
3) неверный выбор конкурентов может завести вас в тупик. "They give you a benchmark of your value proposition against best alternatives." - написано в статье. Альтернативы должны быть приближены к вашему текущему состоянию проекта. Если вы стартап, пилящий таск-трекер, сравнение с Jira будет некорректным и провальным. Можно выкрутиться и манипулировать (Jira - тормозной, а мы - быстрые), но вы получите искаженный результат, который не принесет вам пользы, а даст ложные надежды и гипотезы для развития ("о, юзеры выбрали нас вместо жиры, значит наше конкурентное преимущество - скорость! Давайте оптимизируем код!").
Спасибо за комментарий и дополнительные нюансы, которые стоит учитывать при использовании тестирования "listicle". Вы правы, выбор конкурентов должен быть приближен к текущему состоянию проекта, и я согласен, что манипулирование результатами может привести к искаженным выводам. Необходимо быть внимательным при фильтрации трафика и проверять, что пользователи понимают ценность предлагаемого продукта и могут выбрать его в качестве решения своих проблем. Большое спасибо за подробный комментарий