Вы генерируете продуктовые гипотезы на тест? Нет. Показываю. Красивое…

В прошлой статье мы писали про синергию количественных и качественных данных в процессе CRO. В этой статье расскажем, как генерировать и приоритизировать продуктовые гипотезы на тест.

Хорошие гипотезы рождаются на стыке двух типов данных — качественных и количественных.

Качественные данные, которые указывают на сложности пользователей, обязательно должны быть подкреплены количественными. То есть проблема должна затрагивать группу или сегмент пользователей, иначе есть риск решать задачи только для одного посетителя.

Поскольку мы говорим об электронной коммерции, то основная область поиска — это воронка продаж и путь клиента на сайте — Customer Journey.

Воронка продаж — это самое наглядное представление пути пользователя к целевому действию — по ходу движения по воронке остается все меньше потенциальных клиентов.

Давайте посмотрим на примере, как могут протекать сценарии:

Вариант 1. Пользователь видит рекламу в «Яндекс.Директ», переходит на сайт, быстро смотрит отзывы на товар и совершает покупку.

Путь клиента: открытие→намерение→покупка.

Это линейное продвижение по воронке, но таких клиентов меньшинство.

Вариант 2. Пользователь видит рекламу, переходит на сайт и смотрит товар, читает отзывы на сайтах-отзовиках, смотрит обзоры на YouTube, потом переходит в соцсети. У клиента появляется доверие к бренду, он идет сразу на сайт и делает покупку.

Путь клиента: открытие→интерес→вовлечение→покупка.

У каждого клиента свои покупательские привычки и разные точки входа, поэтому прохождение воронки не может быть всегда прямым и линейным.

Customer Journey Map — это карта путей клиента, именно она дает возможность определить распространенные маршруты и сценарии поведения покупателей.

Сценарии — это нелинейное прохождение воронки продаж, которые объединяются по некоторым признакам, повторяющихся в части аудитории. То есть, сегмент вашей аудитории будет действовать чаще определенным образом, в рамках привычного сценария.

Например, в примере ниже, согласно данным, высокий показатель отказов и низкую конверсию имеют пользователи из регионов, город которых нельзя выбрать в шапке сайта. По умолчанию была возможность выбрать только те города, в которых были офлайн-магазины ритейлера.

Поэтому идея внедрить функционал автоматического определения города, ручную корректировку города пользователем, если город определится некорректно, персонализацию по региону на странице условий доставки, а также в карточке и чекауте — кажется вполне разумной, можно смело рассчитывать на рост всех KPI для региональных пользователей.

Анализируя пути клиентов и сценарии их поведения, можно найти узкие места в воронке продаж — то есть те этапы, которые вызывают затруднение. С помощью исследований можно выдвинуть гипотезу об устранении барьеров, что в итоге приведет к увеличению количества перешедших на новый этап воронки.

Так, устранив препятствие, мы дадим возможность большему количеству посетителей совершить целевое действие.

Чаще всего пользователи ведут себя нелинейно, то есть прохождение воронки продаж — это не движение от точки А к точке Б. Пользователь может искать альтернативы, сравнивать цены, ждать аванса, бросать корзины и возвращаться.

Чтобы получить реальную картину прохождения воронки, нужно использовать когортный анализ.

С его помощью пользователи разбиваются на группы, которые совершили одно и то же действие в определенный период. Например, группа пользователей впервые посетила сайт 13 сентября, а покупку совершила 15 сентября.

Вот примеры когорт пользователей:

При анализе когорт также необходимо проводить сегментацию аудитории, то есть объединять по определенным признакам: психографическим, демографическим, социальным.

При нелинейном пути в воронке продаж найти узкие места помогут качественные данные — информация о том, какой опыт получает каждый посетитель.

Чтобы понять, как ваши клиенты оценивают свой пользовательский опыт, нужно ответить на несколько вопросов:

Ответить на эти вопросы поможет использование инструментов качественных данных, к которым относятся: тепловые карты, записи сессий, опросы пользователей, глубинные и проблемные интервью. Подробнее об этом в этой статье. Ссылка→

После того как собраны все необходимые данные, можно приступать к поиску идей для решения проблем и формированию гипотез.

Когда вы изучаете данные, у вас могут появиться предположения — идеи о том, что если произвести какое-либо изменение на сайте, то вы получите определенный результат.

Например, если:

Однако, идея — это всего лишь догадка, чтобы подтвердить ее или опровергнуть используется гипотеза.

Гипотеза — это конкретное осмысленное предположение, основанное на данных исследований, которое требуется подтвердить или опровергнуть.

Пример.

Если на мобильных устройствах в карточке товара закрепить кнопку добавления товара в корзину внизу экрана, то увеличится показатель добавлений в корзину.

Согласно данным Google Analytics, только 10% посетивших карточку товара на мобильных устройствах, добавляют товар в корзину. Если закрепить кнопку «В корзину» внизу экрана для мобильных пользователей, то это приведет к росту: CR добавления в корзину, CR в заказы, ARPU в разрезе мобильных устройств.

Гипотеза ложится в основу последующего тестирования — исследований, которые дадут достоверную картину, основанную на данных.

Чтобы определить работоспособность гипотезы, нужно ответить на несколько вопросов:

Все гипотезы формируются по единому шаблону, который мы разработали сами:

При изучении данных аналитики, технического аудита, тестирования юзабилити, CustDev, анализа обратной связи и конкурентного анализа можно собирать различные предположения. Все идеи заносятся в отдельную таблицу — бэклог.

Ряд очевидных вещей — таких как ошибки верстки и проблемы с функционалом — сразу отправляются в категорию Just Do It (просто сделай это). Проблема фиксируется в таблице и отправляется на исправление разработчикам.

Для того чтобы понять, какими идеями и гипотезами стоит заняться в первую очередь, проводится скоринг. Логично браться за те идеи, что смогут принести максимальный эффект при минимальных вложениях.

Сделать это можно с помощью различных инструментов, например, фреймворка ICE Score.

ICE расшифровывается как Impact, Confidence и Ease.

То есть:

Формула расчета приоритета:

Каждый участник команды оценивает все показатели от 1 до 10 баллов. Затем оценки участника перемножаются и суммируются с итоговыми баллами других участников. В итоге каждая гипотеза получает свой ICE Score.

Изучая разные фреймворки, мы столкнулись с тем, что часть параметров носит субъективный характер или дублирует друг друга по смыслу и типам данных. Мы решили отказаться от таких параметров и ориентироваться только на те, что основаны на данных или опираются на более важный показатель скоринга.

Для того чтобы 20% усилий давало 80% результата, разработали фреймворк, в котором заимствованы параметры из разных систем.

Скорим идеи по следующим параметрам:

Нужно отметить, что мы разделяем таблицы скоринга идей и гипотез. Например, чтобы идея с большей вероятностью стала гипотезой, должно быть как минимум два источника данных, которые подтвердят наличие проблемы.

Переносим все значения из таблицы скоринга идеи, для того чтобы не потерять причинно-следственную связь и дополнительно указываем еще ряд важных для нас параметров:

Если для оценки параметра требуется градация по баллам, то он оценивается в интервале значений от 0 до 2, если по принципу «Да/Нет», то выставляем 1 или 0 соответственно.

Для общего понимания всех участников процесса важно дать обоснование для каждой оценки. Например, для параметра «Линия сгиба», обоснование следующее:

Все сформулированные гипотезы на спринт собираем в одном месте — таблице или списке.

Совместно с командой клиента работаем спринтами: проводим митинг, на котором обсуждаем:

По итогу встречи составляется план на очередной спринт, в который включены гипотезы, необходимые для запуска теста.

Здесь важно отметить готовность команды клиента к нововведениям — лучшие результаты показывают компании, в которых принята культура инноваций и экспериментов. В таких компаниях сотрудники вовлечены в процесс, активно предлагают и принимают идеи.

О том, как культура инноваций помогает в работе над сайтом, мы расскажем в следующей статье.

Результаты каждой гипотезы мы описываем в кейсах, которые собираем в собственной «Базе знаний». Это дает опыт, который повышает эффективность и ускоряет результат в аналогичных проектах. Ведь теперь мы с большей вероятностью знаем с погрешностью на специфику проекта — сработает или нет та или иная гипотеза.

Подробнее об этом в этой статье. Ссылка→

Чтобы узнать больше о CRO — присоединяйтесь к нашему каналу в Telegram и подписывайтесь на блог на VC.RU.

KISLOROD специализируется на росте и развитии e-com проектов, и если у вас есть амбициозные и сложные цели — мы всегда готовы помочь: предоставить нашу техническую экспертизу и продуктовую команду роста.

Расскажите нам о своих задачах.