Кейс: Как я потратил деньги на консультацию по юзабилити и не получил результата

Вице-президент компании ZakaZaka Руслан Гафуров написал на сервисе «Спарк» статью о том, как его компания попробовала оценить эффективность своего сайта при помощи специалистов из UsabilityLab и что из этого вышло. ЦП публикует материал в рамках рубрики Growth Hacks.

Посмотрев несколько докладов и выступлений Дмитрия Сатина, мы задумались о том, что, возможно, наш сайт был сделан с рядом нарушений по юзабилити, исправив которые, мы сможем увеличить конверсию сайта на пару процентов.

В роли подрядчика, который проектировал и рисовал наш сайт, выступила одна из лучших дизайн-студий нашего города — EndyLab. Парни сделали отличную работу: придумали название, сделали бренбудк, спроектировали сайт и нарисовали его.

Но согласитесь, дизайн-студия на то и дизайн-студия, юзабилити — не их конек. Сайт получился у нас очень красивым, но высоко ли конверсионным? Мы решили проверить это и связались с UsabilityLab.

Встретившись с представителями лаборатории, мы остановились на варианте с экспресс-аудитом (экспертная оценка одного специалиста), этот вариант был наиболее оптимальным для нас. Сроки проведения экспертной оценки составляли четыре дня, а полная стоимость этого удовольствия — около 140 тысяч рублей.

Лично проговорив поставленную задачу, мы подробно объяснили, как работает наш проект, заполнили бриф, провели еще пару скайп-коллов и перевели деньги.

Согласно резюме, для экспертной оценки были придуманы три персонажа, где у каждого был свой сценарий. Вот, к примеру, Катя — знакомьтесь:

На пятый день после начала аудита к нам на почту пришел файл, состоящий из 35 слайдов, где на каждом слайде имелось 3-5 замечаний по юзабилити и рекомендации по их исправлению. Экспертная оценка была закончена, и мы приступили к внедрению правок. Забегу чуть вперед и скажу, что около трети рекомендаций нам пришлось проигнорировать, поскольку мы не имеем технической возможности для их реализации.

К примеру, слайд номер 6, где в рекомендации значится полное выведение описания блюда и указание веса/количества:

Вполне резонное замечание, но, увы, с технической точки зрения его исправление невозможно, поскольку меню ресторана интегрируется автоматически с нашим порталом, и если у данного ресторана нет описания и веса блюда, то и на нашем портале он будет отображаться так же.

На следующем слайде было рекомендовано добавить в корзину фотографию блюда.

Мы внесли правку, и с картинками получилось лучше:


На другом слайде представлена рекомендация по улучшению 'thank you page', она так же была реализована, и заодно мы добавили баннер с предложением установить наше приложение.


Получилось так:

На следующем слайде было предложено показывать пользователю полностью раскрытое окно с категориями, чтобы было видно весь перечень кухонь. Рекомендация была выполнена.

Прочие рекомендации, которые были также внесены:

Внося каждую правку, мы проводили A/B-тестирование, чтобы точно понимать, как внесенное изменение повлияет на воронку продаж.

Большинство внесенных правок показало лучшие результаты, правда, с небольшой разницей. Некоторые же правки, например, с полностью раскрытыми категориями, показывали отрицательные результаты, поскольку пользователя отвлекало слишком большое количество кнопок и разнообразие выбора.

На внесение большинства правок у нас ушло около недели-двух, какую-то часть мы не стали вносить, поскольку у нас не было и нет технической возможности для их реализации, но мы про них помним и при первой же возможности попробуем реализовать.

A/B-тест проводился в течение двух месяцев, и по его результату общая конверсия сайта увеличилась всего на 0,7%. Но тут есть один нюанс — за то время, пока мы проводили тестирование, к нашему сервису подключилось более 150 ресторанов, что также влияет на рост конверсии, и причем прилично. Поэтому о реальном росте конверсии после внесения правок трудно что-либо сказать — наверное, он был равен нулю.

Хоть мы и не получили значительный рост конверсии, о сотрудничестве с UsabilityLab мы не жалеем. Их экспертная оценка помогла нам обратить внимание на определенные вещи, которые большинство пользователей даже и не заметят, а также дали нам большой опыт в работе с юзабилити.

С момента внесения рекомендаций прошло много времени, за которые мы самостоятельно провели достаточно большое количество тестов и получили хорошие результаты — за пять месяцев самостоятельной работы нам удалось увеличить конверсию еще на 2%.

Исходя из полученного опыта хочу сказать, что стартапам вряд ли стоит обращаться к подобным компаниям — это решение скорее подойдет компаниям, которые не имеют в своем штате маркетолога. Достаточно самостоятельно изучить азы проектирования и юзабилити, запуститься и начать A/B-тестирование.

Свежая голова, умелые руки и хороший маркетолог в команде всегда сделают лучший результат, нежели кто-либо на стороне.

Большое спасибо за внимание, высоких вам конверсий!


Подписывайтесь на Growth Hacks в специальных аккаунтаух на Facebook, Twitter и во «ВКонтакте».

Присылайте свои материалы на [email protected], и вы тоже сможете стать автором рубрики Growth Hacks.

0
64 комментария
Написать комментарий...
Андрей Корхов

Что не статья, то zakazaka все не туда деньги потратили:-) Это какой то кошмар для инвестора.

Ответить
Развернуть ветку
Роман Горбачёв

Стандартный шаблон для ЦП: «Как заказака потратила дельги на ****** и ничего не получила»

Ответить
Развернуть ветку
Vladimir Prudnikov

А может быть разница в том что они рассказывают об этом в то время как другие молчат?

Ответить
Развернуть ветку
2 комментария
Александр Бобриков

и хороший опыт для команды)

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Кирилл Морозов

Как мы всем офисом заказали разгульных дев и не получили никакого тимбилдинга.

Ответить
Развернуть ветку
Maksim Vaganov

за субъективное, не подкрепленное фактами мнение, на разработку которого уходит четыре дня получать 140 тысяч #winning

Ответить
Развернуть ветку
Victor Poluksht

Сходили на семинар "Бизнес молодости"

Ответить
Развернуть ветку
Роман Горбачёв

Могли бы сразу юзабилити-тест у МДК заказать - даббл траббл.

Ответить
Развернуть ветку
Konstantin

И линч у Лебедева...

Ответить
Развернуть ветку
Максим Кочу

Раньше я думал, что просто люблю оскорблять чужие проекты.
Теперь оказывается, все это время я был экспертом по юзабилити, а все мои оскорбления стоят миллионы.

Ответить
Развернуть ветку
Егор Огурцов

Ващет можно и программистов не нанимать а купить за 100 рублей курс сайтостроения на джумле от Попова. Ничего сложного там нет, за неделю можно разобраться и еще за неделю сделать сайт.

Ответить
Развернуть ветку
Роман Горбачёв

Нескучные обои в комплекте?

Ответить
Развернуть ветку
1 комментарий
Renat Badgiev

Руслан тем не менее уточнил, что не жалеет, т.к. они получили много полезной информации.

Я работал с ЮзабилитиЛаб весной. Ребята сделали нам качественный макет/прототип сайта. Более того, часть функциональных аспектов, которые мы самостоятельно закладывали в ресурс, были профессионально скорректированы и переформатированы под правильные паттерны.
Несколько странно, что ряд комментирующих ожидает, что их проекты непосредственно будут "пилить" сотрудники не ниже зам. директоров и т.п. Это не буду комментировать...
UL хорошая команда, знают свое дело.
Переверзеву и Королеву мой респект!

Руслан правильно сделал, что обратился за консультацией к ребятам. 140 ТР себя окупят, обязательно.

Ответить
Развернуть ветку
Ruslan Gafurov
Автор

Приятно понимать, что хоть кто-то понял смысл статьи.

Деньги себя давно окупили, мы получили большой опыт и подсказки к дальнейшим шагам, а так же убедились в том, что Endy спроектировали сайт на должном уровне.

Ответить
Развернуть ветку
1 комментарий
Андрей Димитров

Судя по каментам сообщество пока не осознало, что юзабилити это не только про конверсию.
Аж примеры требует, что мол предскажите конверсию, если мы картинку увеличим на 100px. Такие предсказания могут давать либо мошенники, либо невменяемые люди, ну и астрологи есть специализирующиеся в этой теме. Очевидно же...

Вообще экспертиза нужна когда нет объемов для A/B-тестирований, которые дадут валидные данные или уже непонятно, что менять дальше и надоело тыкать пальцем в небо.

P.S. Интересно, этот пост можно квалифицировать как разглашение? Все-таки 140к (4375руб/час) за экспертное мнение это тонкая тема :)

Ответить
Развернуть ветку
Илья Туменко

Предсказания не надо, а вот примеры, обоснования и оговорки - обязательно.

Ответить
Развернуть ветку
Konstantin

А конверсия от начала до конца - единственная метрика? Retention там, объем корзины у "тяжелых" заказчиков, вот это все?

Ответить
Развернуть ветку
Илья Туменко

Ну там все советы из серии "перекрасьте кнопочку" - они ни на что, кроме конверсии, повлиять не могут.
Хотя юзабилити в целом, конечно, на все влияет.

Ответить
Развернуть ветку
2 комментария
Денис Шергин

У меня такое ощущение, что множество комментаторов желали бы увидеть в статье то, как ЮзабилитиЛаб нашли много ужасных, коварных, сложных ошибок и конверсия увеличилась в разы. Вот это - круто было бы! Но отсутствие серьезных ошибок в сайте как раз указывает на хороший менеджмент проекта, который выбрал правильное агентство и отлично сработал с ним.
Кроме этого, парадоксальная ситуация у нас - отсутствие подтверждения гипотез приравнивается к отсутствию результата. Но это не так. Мы в отличие от западных коллег ужасно не любим статьи и кейсы, которые не подтвердили гипотезы, а опровергли их.

Ответить
Развернуть ветку
Сергей Белов

Несколько замечаний:
1) В статье не указана какая конверсия была до этого. Если был 1%, а стал 1,то это рост почти в 2 раза.
2) Вообще меня всегда удивляют все описания экспериментов про юзабилити, так как никогда не берутся в расчет источники трафика. Тестировать можно только на конкретном куске трафика, при этом рекламная кампания не должна в это время меняться. Я сильно сомневаюсь, что за 4 месяца тестов это условие соблюдалось. А так можно заказать юзабилити тестирование, налить кликандер трафика и потом ныть, что конверсия упала в сотню раз, и юзабилисты не справились.

3) Я правда не понимаю, как за 4 дня можно дать рекомендации по юзабилити и брать за это деньги. Любые изменения юзабилити должны тестироваться А/Б тестами, причем весьма продолжительное время. Странно, что фирма улучшает юзабилити без каких-либо гарантий, не проводя тестов, а просто высказывая гипотезы, а тестирование на стороне самого проекта. Еще более странно, что менеджмент Закизаки пропустил этот момент и заключил сделку на таких условиях.

Ответить
Развернуть ветку
Ген Ивановых

1. Тоже об этом подумал. Рост 0,7% для многих это успех. Например в интернет-магазинах средний конверт 1,5-2%. Сделать из них 2,2-2,7% - это реально успех.
2. Если структура трафа не менялась, то в общем какая разница.
3. Думаю можно договориться о тестировании и результатах, просто стоить это будет дороже.

Ответить
Развернуть ветку
Роман Ковалевский

Неужели команда Сатина оставит данный пост без комментариев?

Ответить
Развернуть ветку
Tom Andreevich Zarubin

Он занят выступлениями на семинарах.

Ответить
Развернуть ветку
Дмитрий Казаков

Тоже работали с озвученной организацией, общее впечатление - работают свеженабранные сотрудники которые сами Сатина смотрели меньше нашего и меньше же его же рекомендации и принципы знают. Ужас короче, никому не порекомендую!!!

Ответить
Развернуть ветку
Юрий Прокопенко

Ну, у них текучка, насколько мне известно, неслабая, но все-таки на низшие должности, не думаю, что они консультации за 140 проводят.

Ответить
Развернуть ветку
1 комментарий
Tom Andreevich Zarubin

Заказака снова сливает бабло. Пора бы не делиться этим, какое-то странное мнение складывается о менеджменте.

Ответить
Развернуть ветку
Месье Никита

За 140 Крублей получили какой-никакой юзабилити тест и пост на ЦП. А поскольку люди любят читать про фейлы, то вдобавок, как мне кажется, неплохие просмотры это статьи.

Ответить
Развернуть ветку
2 комментария
Denis Sapogov

Поправьте расхлопывающиеся окно выбора города, при маленьком разрешение, отображаются далеко не все города и нижние выбрать не представляется возможным

Ответить
Развернуть ветку
Kirill Morozov

A/B тестирование с помощью чего проводили?

Ответить
Развернуть ветку
neolite

Предлагаю такой вариант менеджменту "заказаки", вы даете денег, а я обещаю ничего не делать.

Ответить
Развернуть ветку
Илья Туменко

Очень тонкая тема.
С одной стороны иксперды с мотивом "заказака опять потеряла деньги". Икспертов от закизаки в данном случае отличает только то, что у икспердов нет денег, которые можно просрать на эксперименты (а вовсе не то, что они распорядились бы этими деньгами эффективнее).
И тут, конечно, здравомыслие на стороне закизаки - надо улучшать юзабилити, надо тратить деньги на эксперименты (если они есть).

Но с другой стороны - как-то уж очень странно все это выглядит.
Да, юзабилити - очень важно. Но как можно обращаться к экспертам по юзабилити, у которых собственный сайт вызывает желание поскорее закрыть вкладку? Я в курсе, что юзабилитилабы это признанные гуру, но, серьезно, посмотрите на их сайт.

Отчет тоже выглядит странно. Вам продают не самую дешевую экспертизу, неужели нельзя предоставить расширенную информацию со статистикой (“по нашему опыту этот шаг повышает конверсию в корзину на XXX%”) и с оговорками (взять ваш пример с кухнями, где совет оказался вредным: ведь заранее известно, что обилие элементов пугает пользователя, об этом риске следовало бы написать в отчете, потому что вы могли и не учесть этот момент в тестировании и терять конверсию, не зная об этом).

Ну и сами советы, конечно, толковые - но их любой толковый продакт выдаст. Или выдаст не эти, а другие - это ведь, честно говоря, мало на что влияющие мелочи.

Ну и главный вопрос: зачем вообще обращаться к экспертам, если ваш сервис функционально и по юзабилити - практически полный клон конкурента?
По сути ведь смысл клонирования в том, чтобы сэкономить на экспертизе. Иначе следовало бы нанять экспертов на старте и сделать что-то совершенно другое (а потом экспериментами проверять, насколько это лучше).

Ответить
Развернуть ветку
Георгий Марченков

140к за анализ юзабилитЕ? Блин давайте я вам СЕО аудит проведу за 100к)) денька за два себе на мальдивы хоть заработаю)
А если по теме то ждать больших изменений только лишь от анализа стандарных ошибок и их правок бесполезно. Это лишь делает продукт чуть удобнее, что бы продать больше мало просто покрасить кнопку в красный или зеленый цвет, который с ходу предложит юзабилист, нужны исследования. Для получения реальных результатов нужен юзабилист в команде который для начала проведет грамотное А:А тестирование, а потом уже начнет А:В тестирование где постепенно внедряя разные мелочи сможет по крохе повышать конверсию. На своем веку я помню лишь раз когда выросла дико конверсия это когда на****ся счечик гугла)

Ответить
Развернуть ветку
LK Lesha Kalachnikov

Вы не любите кошек? Вы просто не умеете их готовить. В следующий раз стучитесь сюда (если он будет конечно) - www.fabuza.ru

Ответить
Развернуть ветку
Ярослав Босенко

Ага, товарищ 3 раза проходил как тестер - на последнем вопросе всегда ошибка сервера. Кидалово, чо)

Ответить
Развернуть ветку
3 комментария
Усы Тяна
Ответить
Развернуть ветку
1 комментарий
Элем Заляев

Чем дороже стоматолог, тем больше больных зубов он у вас найдет.

Ответить
Развернуть ветку
Ruslan Gafurov
Автор

Интересные ЦП заголовки для статей придумывает.. Еще забыли упомянуть о том, что это было в начале 2014 года(13-16 января).
Хотя читателей это не волнует, главное заголовок прочитать

Ответить
Развернуть ветку
Mike Kosulin

на спарке-то 1 октября пост, так что не особо важно

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Сергей Белов

Ой, про второй пункт написал глупость, а редактировать уже нельзя - стыдно =(

Ответить
Развернуть ветку
Илья Туменко

А почему глупость? Вроде все по делу.

Ответить
Развернуть ветку
Илья Туменко

А, наверное потому что там было А/Б разных версий на одном и том же трафике.

Ответить
Развернуть ветку
Leonid Levdanov

"A/B-тест проводился в течение двух месяцев, и по его результату общая конверсия сайта увеличилась всего на 0,7%."

А какого результата вы ожидали? ¯\_(ツ)_/¯

Вы надеялись заказать у UsabilityLab кнопку «Бабло».

Ответить
Развернуть ветку
Ген Ивановых

Я так понимаю, что да.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Marina Gubanova

Почему не назвали то, что в каталоге не хватает сортировки? Настроить фильтр по параметру можно, а посмотреть отсортированные по этому же параметру результаты в каталоге посмотреть нельзя, только по рейтингу смотри. Сортировка "по рейтингу/мин. заказу/времени доставки" хотя бы в выпадайке над списком помогла бы.

И то, что огненно оранжевый в таком количество просто не дает спокойно воспринимать информацию, — раздражающая помеха для успешного заказа. Особенно непонятно, зачем оранжевый блок продолжает бить по глазам на странице каталога, когда человек уже скорее всего увидел его на главной и хотел бы обратить внимание на сам каталог.

Ответить
Развернуть ветку
Игорь Мыслинский

Тут выложены лишь некоторые страницы из отчета, немного лукаво со стороны автора статьи показывать информацию кусочно, нельзя понять общую картину.

Ответить
Развернуть ветку
Alexey Novov

Три раза набрал в гугле название – попал на магазин продажи компьютерных игр.

Ответить
Развернуть ветку
Ольга Павлова

Коллеги, вы углубились в мелочи «Как улучшить жизнь пользователя, который шевелится». Зачем?

Ваш сайт не решает основную задачу: «Как помочь пользователю поесть?»

Извините, но сейчас вы вываливаете на пользователя кучу мест, где можно, условно, заказать суши. Списочек, обвешанный свистелками. Спасибо, с этим и поисковики отлично справляются.

А вот что сделать, чтобы, собственно, поесть — непонятно.

Тут вам не usability нужно улучшать, а основную историю через интерфейс доносить и клиента во взаимодействие вовлекать. Какие уж тут персонажи и сценарии.

Снимем про вас ролик. Бесплатно. Ждите.

Ответить
Развернуть ветку
Ruslan Gafurov
Автор

Добрый день Ольга!

В эту мелочь мы углубились почти 10 месяцев назад, когда нашему проекту было всего 2 месяца. За прошедший период времени мы смогли лучше понять наш продукт и пользователей, а также изменили вектор развития в пользу мобильного приложения.

К сожалению, из-за технических ограничений нашего ядра(об этом чуть позже напишу на Спарке) мы не могли оперативно вносить изменения на наш сайт и более детально погружаться в изменение интерфейса, было желание, но не было возможности.

На момент запуска, наш сайт был выполнен на очень хорошем уровне, да недочеты были, но не смертельные. Приличную часть мы уже исправили и ещё большую исправим, просто нельзя заниматься улучшением продукта 24/7, нужно не забывать про рост и расширение, а он у нас весьма серьезный.

На данный момент у нас идет работа по редизайну сайта, изменится не только основной дизайн сайта, но и его интерфейс. В нем мы учтем полученный массив данных и опыт, пожелания пользователей и коллег, а также наших партнеров. Изменения произойдут до нового года.

Буду рад если дадите свои пожелания или рекомендации, могу дать почту.

Ответить
Развернуть ветку
3 комментария

Комментарий удален модератором

Развернуть ветку
Читать все 64 комментария
null