Кейс: исследование и переработка каталога товаров для магазина продуктов питания

Команда компании AIC о том, как разработать продуктовое меню при помощи карточной сортировки.

Меню для ecommerce — ключевой пункт при работе пользователей с ассортиментом товаров, поэтому разработка логичного и понятного каталога в этой сфере необходима.

Это материал про карточную сортировку, которую мы применяли в работе с продуктовым каталогом интернет-магазина, а точнее про несколько её видов. Мы проанализировали, когда их лучше применять и как адаптировать тестирование под пользователей.

Очень часто каталог товаров создается хаотично — новые продуктовые категории добавляются без какой-либо строгой последовательности. Чаще всего у каталога встречаются две видимых проблемы: слишком много категорий второго и третьего уровней и нелогичное расположение некоторых категорий.

Для исследования меню с пользовательской точки зрения и дальнейшей его переработки мы применяем несколько видов карточной сортировки.

В исследование было решено включить только категории с продовольственными товарами. Ограничение категорий было необходимо из-за их большого количества и широкой направленности. С помощью дистанционных карточных сортировок планировалось охватить репрезентативное количество пользователей.

Тестирование запускалось на специализированном сервисе, который позволяет провести все виды карточных сортировок и даёт первичный анализ информации.

Мы привлекли к исследованию лояльных клиентов интернет-магазина, которые уже совершали в нем покупки, потому что эта категория является самым рентабельным сегментом. В то же время это накладывает определенные ограничения на анализ результатов из-за того, что лояльным клиентам свойственно привыкать и к сайту, и к меню.

Ниже мы подробно рассмотрим каждый из видов карточной сортировки, которые мы применяли в ходе исследований.

Первой в порядке исследований была обратная карточная сортировка. Обратная, потому что респонденту уже дано меню (дерево товаров), и задание заключается в том, чтобы указать, в какой категории меню он бы искал конкретные продукты.

Этот метод подходит для тестирования уже существующей версии каталога, так как с его помощью мы не проверяем расположение всех категорий в меню, а оцениваем успешность его использования и выявляем проблемные места.

Ключевой момент в обратной карточной сортировке — определение товаров, которые необходимо включить в исследование. Мы отталкивались от наших целей — оценить работу структуры существующего каталога продуктов и протестировать гипотезы о проблемных местах. На основании этого мы выделили две категории продуктов:

• Первая категория: часто покупаемые товары на сайте. Эта категория нужна, чтобы понять, легко ли находить товары, которые востребованы пользователями. Результат того, что эти товары находят легко, не даст никаких глубинных данных: их быстро и легко нашли, потому что часто покупают. Но если с такими товарами возникают проблемы при поиске, то это сигнализирует о значительных проблемах внутри каталога.
• Вторая категория: спорные товары. В эту категорию вошли товары, которые можно отнести сразу к нескольким категориям, и те, которые сложно категоризировать. Туда же мы включили товары, которые нелогично располагались в рамках каталога, потому что была вероятность, что лояльные клиенты из нашей выборки уже привыкли к их расположению.

В итоге у нас получилось 25 товаров, которые предлагалось распределить по восьми категориям первого уровня, в каждой из которой было еще от пяти до 18 категорий второго уровня. Задания с продуктами предлагались респондентам поочередно в случайном порядке для исключения фактора знакомства с каталогом по ходу выполнения тестирования.

Респонденты могли возвращаться в каталоге на предыдущие уровни, но весь их путь поиска учитывался, что позволило отслеживать не только финальную категорию, но и первый клик, и категории, в которые шли искать продукты изначально. Большой уровень возвратов в данном случае показывает проблемы несоответствия между первым и вторым уровнем категорий.

Стоит предложить поучаствовать в таком исследовании и представителям бизнеса. Это полезная практика, ведь за меню и за сайт может отвечать сразу несколько отделов, которые могут быть не погружены в детали меню и не осознавать всех существующих сложностей. Взгляд со стороны пользователя открывает им новую перспективу.

Результаты тестирования более 400 клиентов показали, что респонденты быстро (медиана десять минут) и прямолинейно (86% идут прямо в категорию, не меняя решения) справились с предложенными заданиями. Критерий успешности при этом составил 59%.

Критерий успешности первой группы популярных товаров оказался выше 90%. Это позволило отвергнуть гипотезу о том, что существующий каталог требует полной переработки. Общий критерий успешности упал за счёт второй группы — спорных продуктов.

Анализ диаграммы кругового дерева узлов, которая показывает путь всех пользователей в поисках расположения каждого отдельного товара, выявил несколько общих проблем, с которыми они столкнулись:

• Некоторые товары могут быть отнесены сразу к нескольким категориям первого уровня. Например, замороженные креветки респонденты шли искать как в категорию «Мясо, Рыба, Кулинария», так и в «Замороженные продукты», а готовые пироги оказались между «Кулинарией» и «Булочной».

• Десертные пасты находятся в «Бакалее, Консервах», но пользователи ожидали увидеть эту категорию в «Булочной, Кондитерской». Проблема заключается не в спорном первом уровне как таковом, а в логической связи с категориями второго уровня, которые к нему относятся.

• Внутри первой категории «Мясо, Рыба, Кулинария» шло разделение на «Полуфабрикаты мясные» и «Кулинарию», что породило проблему в определении бифштекса, котлет и других полуфабрикатов, которые, тем не менее, рассматривались респондентами как часть охлажденных продуктов в «Кулинарии». Это наследует проблему, которая возникала и на первом уровне по определению состояния продуктов — замороженные, свежие, охлажденные — и классификации в соответствии с составом или состоянием.

• Перегруженность второго уровня слишком большим количеством детальных категорий и их спорное объединение также снизили успешность поиска некоторых продуктов. Например, жевательную резинку правильно определили только 53% респондентов, потому что она находилась в «Булочной, Кондитерской» — «Конфеты, Жевательная резинка». В комментариях после выполнения тестирования респонденты отмечали, что конфеты ассоциируются для них с шоколадом, в то время как составители каталога, вероятно, предполагали жевательные конфеты и карамель.

Сегментация пользователей по опытности, то есть частоте покупок, показала предсказуемые результаты. Критерий успешности был ниже у редко покупающих респондентов. Особенно это касалось внутрибрендовых марок и собственной кулинарии. Тем не менее, это нужно учитывать при формировании и оформлении каталога.

Особенно интересной частью анализа стали ответы на открытый вопрос после тестирования «Определение каких продуктов по категориям вызвало наибольшее затруднение? Почему?».

Лояльные клиенты делились болью не только про сам процесс тестирования, но и накопленной временем работы с существующим каталогом. С помощью качественных данных можно не только подтвердить гипотезы, полученные при сортировке, но и понять, какой логикой руководствовались пользователи при выполнении заданий.

По результатам первого исследования нам удалось оценить спорные категории и определить основные проблемные места каталога: замороженные и охлаждённые товары, пересечения между категориям товаров «Бакалея, Консервы» и «Булочная, Кондитерская», «Кулинария» и «Булочная, Кондитерская».

К следующей стадии исследования мы подходили оптимистично из-за высокого отклика пользователей на предыдущее тестирование и вооружились определенным пулом гипотез о проблемных местах каталога.

Вторым исследованием была гибридная карточная сортировка, когда респондентам дается список категорий первого уровня и предлагается рассортировать по ним категории второго уровня. Гибридная сортировка отличается от закрытой тем, что пользователям также дается возможность создавать собственные категории, если их не устраивают данные.

Такая сортировка выявляет существующие проблемы между категориями первого и второго уровня, которые были обнаружены в нашем кейсе в первом тестировании. Мы давали пользователям возможность сделать каталог, соответствующий их представлениям, которые также часто описывали в комментариях к первой сортировке.

С первыми полученными ответами развеялись наши ожидания, что респонденты создадут каталог своей мечты. Большинство из ответивших полностью воспроизвели структуру существующего каталога. Так мы вернулись к парадигме, что пользователи не будут делать больше чем необходимо, и что лояльные клиенты уже привыкли к существующему меню.

На этом можно было бы остановиться и решить, что существующий каталог вполне себе ничего, но резонанс возникал с комментариями, которые пользователи оставляли после тестирования, где продолжали жаловаться на существующую структуру.

Значит проблемы существуют и в каталоге, и в формате тестирования. Ещё одно подтверждение, что качественные данные необходимы в дополнение к статистике.

Научившись на собственных ошибках, мы решили модифицировать идею тестирования и поменять его на открытую карточную сортировку. При таком виде исследования пользователям дается только список категорий второго уровня, при этом группы первого уровня для объединения они должны создать сами.

Это снижает, но не исключает возможность копирования существующей структуры каталога. Также мы поменяли описание задания, сделав особый упор на личное мнение респондентов, и убрали упоминание существующего меню на сайте.

Спасло ли это исследование? Частично. Пользователи продолжали во многом воспроизводить существующую структуру каталога. Однако результаты принесли несколько количественных и качественных инсайтов.

Анализ сортировки более 600 респондентов производился с помощью дендрограммы и матрицы сходств. Дендрограмма по методу фактического согласия объединяет категории в группы на основании процентного соотношения сортировки карточек респондентами. Матрица сходств — процент пользователей, которые объединили каждую отдельную пару категорий вместе.

Пользователи выделили несколько новых категорий первого уровня, например, «Снеки и Сухофрукты», которые в существующем каталоге распределены между «Бакалея, Консервы» и «Кондитерская, Булочная». Туда же отнесли и спорную категорию «Жевательная резинка».

«Кулинарию» и «Полуфабрикаты» респонденты сгруппировали вместе, как и по результатам первого тестирования. Полуфабрикаты воспринимались как уже готовая к употреблению продукция, в то время как в существующем каталоге они располагались в категории «Замороженных продуктов».

Несмотря на то, что по результатам дендрограммы 33% всех пользователей выделили отдельный кластер «Замороженные продукты», по матрице сходств замороженные мясо и птицу сгруппировали вместе с мясом 52% респондентов, с птицей — 51%. Поэтому нельзя отвергать гипотезу, унаследованную из первой карточной сортировки, что состав продукта важнее для классификации, чем его состояние.

В любой карточной сортировке не стоит забывать, что респонденты руководствуются исключительно собственной логикой классификации. Например, для кого-то классификация заключалась во вредных или полезных продуктах, «покупаю» или «не покупаю», быстрая еда, вегетарианское, в дорогу и тому подобное.

Эти категории нельзя напрямую использовать в создании каталога, но можно добавить в фильтры дополнительную информацию о полезных свойствах продуктов или использовать в другом виде.

Что мы узнали из этого кейса?

1. Пользователи не будут делать работу за нас. Как бы нам ни хотелось, чтобы пользователи давали необходимую информацию в нужном формате и с объяснениями. В любое юзабилити-тестирование включается личностный фактор трактовки и выполнения задания. Поэтому задания должны быть максимально четко сформулированы и, по возможности, предвидеть разнообразные интерпретации и влияние предыдущего опыта пользователей.
2. Карточная сортировка — это только метод понимания некоторых частей навигационной архитектуры сайта, она не создаст финальный вариант. Также весь анализ результатов карточной сортировки зависит от экспертного мнения, которое должно аккуратно учитывать влияние разных факторов.
3. Карточная сортировка сочетает количественные и качественные данные, которые не работают друг без друга. Если бы не открытые ответы пользователей, мы бы никогда не узнали, какая логика скрывается за их сортировками. И никогда бы не узнали правду о том, что глубинная карточная сортировка провальна. Даже простые пост-вопросы дают глубинные инсайты.
4. Большинство проблем навигации зависит от категорий первого уровня, с которых начинается дерево каталога. Нелогичный первый уровень — значит, пользователи не смогут найти нужную информацию или не пойдут её искать.
5. Не менее важна группировка категорий второго уровня. Как правило, это уже более объёмная часть каталога по сравнению с первым уровнем, которая по-прежнему должна содержать в себе ограниченное количество категорий, раскрывающихся на третьем уровне. Уточним, в каталогах рекомендуется использовать не больше трёх уровней.
6. Проблемы навигации могут быть скрыты не только в расположении категорий, но и в их названиях.
7. Пользователи склонны искать продукты по составу, а не по состоянию. Безусловно, такие значительные изменения требуют последующей проверки А/B-тестированием на сайте, чтобы понять, действительно ли пользователи руководствуются данной логикой в рамках реальной работы с сайтом.

#кейсы