Почему важно проводить исследование пользовательского опыта после редизайна продукта. Кейс Reindexer

Всем привет! На связи Рома и Никита из дизайн-студии Ростелекома. Недавно мы провели редизайн Reindexer не только со стороны визуала, но и существенно переработали пользовательский опыт. Поэтому мы решили проверить эффективность наших изменений по сравнению со «старым» интерфейсом, делимся с вами процессом и результатом исследований.

Роман Чайковский 

Дизайнер направления профинтерфейсов центра компетенций UX/UI, Ростелеком ИТ
Никита Денисенко 
Тим-лид направления профинтерфейсов центра компетенций UX/UI, Ростелеком ИТ

Кратко о Reindexer

Reindexer — встраиваемая, документоориентированная база данных с высокоуровневым интерфейсом построения запросов. Основная цель: управление базами данных с возможностью быстрого поиска по сложным и тяжелым запросам. Принцип поиска описан в статье от 2018 года. Владелец продукта пришёл к нам с просьбой освежить «лицо» Reindexer'а и провести UX-аудит.

Подробно о редизайне мы рассказывали здесь

Мы недавно провели полноценный редизайн продукта не только со стороны визуала, но и существенно переработали пользовательский опыт, о чем можно прочитать в статье по ссылке выше. Так как до этого наши пользователи работали в «старом» интерфейсе, мы задались вопросом проверки эффективности наших изменений.

Подготовка к исследованию

Конечно же, мы прекрасно понимали, что сделали интерфейс круче и удобнее, но это нужно было ещё раз проверить и доказать. Нам было важно понять, какие именно изменения повлияли на общее удобство интерфейса, какие функции стали удобнее и доступнее для понимания.

Первым делом мы определили гипотезы, которые хотим проверить — их было 28. При составлении гипотез мы основывались на полученной обратной связи из нашего чата в Telegram по поддержке продукта.

В ходе изучения чата обнаружилось много интересного. Приходили комментарии о хотелках и болях. Например, что пользователи хотят видеть пагинацию в таблицах, когда мы в свою очередь осознанно от нее отказались в пользу бесконечного скролла с «ленивой» подгрузкой.

Часть гипотез мы могли проверить исключительно количественным или качественным методом, поэтому выбрали в качестве методов исследования опрос и глубинные интервью.

Сбор контактов

Следующим шагом был поиск респондентов, желающих поучаствовать в нашем исследовании. И тут нам снова на помощь пришёл чат по поддержке продукта в Telegram.

Также эта база контактов помогла бы нам в будущем в проверке новых фич и гипотез. В чате по поддержке примерно 170 активных пользователей, регулярно задающих вопросы по продукту. Там-то мы и рассчитывали найти фокус-группу, однако желающих было немного. Поэтому мы пошли к таким большим игрокам как Citilink, Wildberries, ПИК — именно они делают больше всего запросов через базы данных используя Reindexer.

Анкетирование

Далее мы подготовили опрос по «количественным» гипотезам, который состоял из 20 закрытых и открытых вопросов. Для проведения опроса использовали anketolog.ru, позволяющий делать разветвления, тем самым создали «паутину» вопросов, которая развивается в зависимости от ответов участника.

Полученные результаты легко обработать, так как сервис позволяет смотреть в количественном и процентном разрезе, выводить круговые и столбчатые диаграммы.

Старайтесь уложиться в минимальное количество вопросов, ведь это сэкономит время респондента и повысит вероятность полноценного прохождения анкеты.

Мы «пушили» наших пользователей опросником около месяца и выяснили, что только 20% людей готовы потратить свое время на его прохождение.

Последним вопросом мы добавили возможность оставить свои контакты, если у респондентов есть желание поучаствовать в интервью и подобных опросах для улучшения продукта. Тем самым у нас сформировалась база активных пользователей, готовых помогать в дальнейшем развитии продукта.

Будьте готовы к тому, что активных пользователей будет не много, и потребуется приложить дополнительные усилия, чтобы собрать обратную связь и повысить вовлеченность респондентов.

Итого мы получили 29 ответов по анкетированию и 12 контактов, которые были готовы принять участие в глубинном интервью. Это весьма небольшое количество ответов, однако уже их было достаточно, чтобы определить результат проверки части гипотез.

Глубинные интервью

После количественного исследования мы перешли к глубинным интервью для качественной проверки гипотез; составили по гипотезам список вопросов, который обрисовал нам «тропу» для проведения встреч.

Всегда делайте план вопросов и возможных ответов на них, подумайте как может состоятся разговор заранее. Это поможет не сбиться с толку при общении с респондентом, ведь без грамотной модерации интервью можно уйти в дебри неконструктивных обсуждений и не успеть пройтись по всем ключевым вопросам.

Встречи мы проводили в Zoom, который в условиях удалёнки практически стал стандартом для дистанционного общения.

На интервью с нашей стороны было два человека: один вел встречу и задавал вопросы, а другой вёл протокол со слов респондента. Конечно же, велась запись встреч для последующего анализа. Респондент демонстрировал свой экран с интерфейсом Reindexer и отвечал на открытые вопросы.

Такой способ общения с реальным пользователем открывает глаза на многие вещи. Ты замечаешь, как в действительности пользуются тем, что ты запроектировал, и эффективность изменений видна очень наглядно.

Анализ результатов

Проведя опрос и интервью с пользователями, мы получили крутые инсайты, о некоторых из которых даже и не предполагали.

Например, в нашем интерфейсе был заложен онбординг, который никто из опрошенных никогда не видел и даже не знал как его запустить. И это не проблема юзера, а проблема интерфейса.

Так как у нас много данных в интерфейсе, мы используем таблицы для их отображения, и, казалось бы, все знают как пользоваться ими хотя бы из полученного опыта в Word или Excel. Из всех опрошенных респондентов ни один на интервью не показал, как можно сужать и расширять колонки таблиц. И так же ни один не показал, как скрыть или добавить колонку обратно. Это связано с тем, что мы скрыли управляющие элементы таблицы и стали выводить их по наведению. Стало понятно, что это не самое оптимальное решение.

Для удобства работы с данными мы сделали кнопки, которые помогают открыть/скрыть все вложенные объекты, но никто ими не пользуется. Положили мы их в самый правый угол экрана и тоже спрятали в ховер. Так как наши пользователи в большинстве своём программисты, у них зачастую большие экраны, что мешает в данном случае увидеть всю доступную функциональность.

Наше решение так сделать исходило из того, что ключевыми параметром работы является количество контента, которое помещается только по вертикали, поэтому и разместили ключевые элементы управления слева.

Делая редизайн интерфейса, мы были уверены, что конфигурирование/удаление пространств имен (это папка в базе данных, где хранятся данные) — очень редкая функция, и сознательно ее спрятали поглубже, чтобы не занимать нужное место на экране. Выяснилось, что все-таки потребность более частая. Пользователи ищут эту настройку и не могут найти, даже когда пространство имен уже было настроено.

Полученные инсайты мы перевели в список задач и успешно защитили план по доработкам перед командой, так как по результатам исследования у нас появились неоспоримые доказательства необходимости дальнейших «допилов».

Подводя итоги

Исследование пользовательского опыта по итогам внесённых изменений в продукт — очень важная часть продуктового процесса, которая позволяет чётко старгетировать дальнейшие доработки и узнать, как в действительности пользователи работают в вашем продукте.

Проводя исследования, будьте готовы к холодной аудитории, которая не всегда готова участвовать в ваших опросах и интервью. Будьте внимательны к деталям, на которые указывает пользователь. Во время интервью старайтесь задавать открытые вопросы, не перебивайте респондента. Дайте ему вести диалог и самому все рассказать, так вы узнаете намного больше. Пусть он изольет свою душу.

А мы и дальше будем работать над совершенствованием нашего продукта, чтобы приблизить нас на шаг ближе к идеальному пользовательскому опыту. Спасибо за внимание и до новых встреч! 👋

Подготовили:

  • Роман Чайковский (ТГ: @rombonromario), дизайнер направления профинтерфейсов центра компетенций UX/UI, Ростелеком ИТ
  • Денисенко Никита (ТГ: @nikdenisenko), тим-лид направления профинтерфейсов центра компетенций UX/UI, Ростелеком ИТ

На данный момент Reindexer отдает более 150 млн результатов на крупнейших российских сайта. Проект является полностью открытой платформой, которую вы можете использовать в своих целях с нашего GitHub.

0
3 комментария
ACSE

Еее, наконец статья про работу, спасибо) Жаль, что такая маленькая конверсия, желающих пройти интервью.
Я бы "прикопалась" к вопросам в интервью. У вас есть вопросы категории "так или эдак"? Такие вопросы уже предлагают варианты ответов и ограничивают пользователя в рассказе.
И можно просить пользователя рассказать про "последний раз, когда он выполнял задачу Х". Это даст не самый яркий, а самый свежий ответ по его опыту

Ответить
Развернуть ветку
Daria Izotova

Большая работа конечно, но порядок действий немного смущает. На мой взгляд перед редизайном было бы логично подключить мониторинг работы пользователей с платформой, типа Яндекс.метрики, которая ведёт запись рабочего окна, и опрос провести перед редизайном, чтобы найти боли, которые испытывают пользователи. После анализа можно было было бы составить рейтинг фич по частоте использования и необходимости быстрого доступа. А по поводу онбодлинга, было бы уместно показывать его автоматически при первом запуске сервиса с новым дизайном, особенно если вы меняете привычный пользователю паттерн, что-то вроде «чувак, мы тут кое-что поменяли, посмотри онбординг», онбординг практически никто не запускает самостоятельно, но если предложить, то количество просмотров значительно увеличивается.

Ответить
Развернуть ветку
Михаил Скворцов

Почему у вас нет готовых пользовательских сценариев? С конкретными задачами пользователей.
Их можно брать как для внутреннего тестирования (коридорное), а потом уже на конкретных пользователях-респондентах. Пока выглядит как исследования ради исследований, а не попытка решить какую-то проблему.

Ответить
Развернуть ветку
0 комментариев
Раскрывать всегда