Вице-президент компании ZakaZaka Руслан Гафуров написал на сервисе «Спарк» статью о том, как его компания попробовала оценить эффективность своего сайта при помощи специалистов из UsabilityLab и что из этого вышло. ЦП публикует материал в рамках рубрики Growth Hacks.
Посмотрев несколько докладов и выступлений Дмитрия Сатина, мы задумались о том, что, возможно, наш сайт был сделан с рядом нарушений по юзабилити, исправив которые, мы сможем увеличить конверсию сайта на пару процентов.
В роли подрядчика, который проектировал и рисовал наш сайт, выступила одна из лучших дизайн-студий нашего города — EndyLab. Парни сделали отличную работу: придумали название, сделали бренбудк, спроектировали сайт и нарисовали его.
Но согласитесь, дизайн-студия на то и дизайн-студия, юзабилити — не их конек. Сайт получился у нас очень красивым, но высоко ли конверсионным? Мы решили проверить это и связались с UsabilityLab.
Встретившись с представителями лаборатории, мы остановились на варианте с экспресс-аудитом (экспертная оценка одного специалиста), этот вариант был наиболее оптимальным для нас. Сроки проведения экспертной оценки составляли четыре дня, а полная стоимость этого удовольствия — около 140 тысяч рублей.
Лично проговорив поставленную задачу, мы подробно объяснили, как работает наш проект, заполнили бриф, провели еще пару скайп-коллов и перевели деньги.
Согласно резюме, для экспертной оценки были придуманы три персонажа, где у каждого был свой сценарий. Вот, к примеру, Катя — знакомьтесь:
На пятый день после начала аудита к нам на почту пришел файл, состоящий из 35 слайдов, где на каждом слайде имелось 3-5 замечаний по юзабилити и рекомендации по их исправлению. Экспертная оценка была закончена, и мы приступили к внедрению правок. Забегу чуть вперед и скажу, что около трети рекомендаций нам пришлось проигнорировать, поскольку мы не имеем технической возможности для их реализации.
К примеру, слайд номер 6, где в рекомендации значится полное выведение описания блюда и указание веса/количества:
Вполне резонное замечание, но, увы, с технической точки зрения его исправление невозможно, поскольку меню ресторана интегрируется автоматически с нашим порталом, и если у данного ресторана нет описания и веса блюда, то и на нашем портале он будет отображаться так же.
На следующем слайде было рекомендовано добавить в корзину фотографию блюда.
Мы внесли правку, и с картинками получилось лучше:
На другом слайде представлена рекомендация по улучшению 'thank you page', она так же была реализована, и заодно мы добавили баннер с предложением установить наше приложение.
Получилось так:
На следующем слайде было предложено показывать пользователю полностью раскрытое окно с категориями, чтобы было видно весь перечень кухонь. Рекомендация была выполнена.
Прочие рекомендации, которые были также внесены:
Внося каждую правку, мы проводили A/B-тестирование, чтобы точно понимать, как внесенное изменение повлияет на воронку продаж.
Большинство внесенных правок показало лучшие результаты, правда, с небольшой разницей. Некоторые же правки, например, с полностью раскрытыми категориями, показывали отрицательные результаты, поскольку пользователя отвлекало слишком большое количество кнопок и разнообразие выбора.
На внесение большинства правок у нас ушло около недели-двух, какую-то часть мы не стали вносить, поскольку у нас не было и нет технической возможности для их реализации, но мы про них помним и при первой же возможности попробуем реализовать.
A/B-тест проводился в течение двух месяцев, и по его результату общая конверсия сайта увеличилась всего на 0,7%. Но тут есть один нюанс — за то время, пока мы проводили тестирование, к нашему сервису подключилось более 150 ресторанов, что также влияет на рост конверсии, и причем прилично. Поэтому о реальном росте конверсии после внесения правок трудно что-либо сказать — наверное, он был равен нулю.
Хоть мы и не получили значительный рост конверсии, о сотрудничестве с UsabilityLab мы не жалеем. Их экспертная оценка помогла нам обратить внимание на определенные вещи, которые большинство пользователей даже и не заметят, а также дали нам большой опыт в работе с юзабилити.
С момента внесения рекомендаций прошло много времени, за которые мы самостоятельно провели достаточно большое количество тестов и получили хорошие результаты — за пять месяцев самостоятельной работы нам удалось увеличить конверсию еще на 2%.
Исходя из полученного опыта хочу сказать, что стартапам вряд ли стоит обращаться к подобным компаниям — это решение скорее подойдет компаниям, которые не имеют в своем штате маркетолога. Достаточно самостоятельно изучить азы проектирования и юзабилити, запуститься и начать A/B-тестирование.
Свежая голова, умелые руки и хороший маркетолог в команде всегда сделают лучший результат, нежели кто-либо на стороне.
Большое спасибо за внимание, высоких вам конверсий!
Подписывайтесь на Growth Hacks в специальных аккаунтаух на Facebook, Twitter и во «ВКонтакте».
Присылайте свои материалы на [email protected], и вы тоже сможете стать автором рубрики Growth Hacks.
Что не статья, то zakazaka все не туда деньги потратили:-) Это какой то кошмар для инвестора.
Стандартный шаблон для ЦП: «Как заказака потратила дельги на ****** и ничего не получила»
А может быть разница в том что они рассказывают об этом в то время как другие молчат?
и хороший опыт для команды)
Комментарий удален модератором
Как мы всем офисом заказали разгульных дев и не получили никакого тимбилдинга.
за субъективное, не подкрепленное фактами мнение, на разработку которого уходит четыре дня получать 140 тысяч #winning
Сходили на семинар "Бизнес молодости"
Могли бы сразу юзабилити-тест у МДК заказать - даббл траббл.
И линч у Лебедева...
Раньше я думал, что просто люблю оскорблять чужие проекты.
Теперь оказывается, все это время я был экспертом по юзабилити, а все мои оскорбления стоят миллионы.
Ващет можно и программистов не нанимать а купить за 100 рублей курс сайтостроения на джумле от Попова. Ничего сложного там нет, за неделю можно разобраться и еще за неделю сделать сайт.
Нескучные обои в комплекте?
Руслан тем не менее уточнил, что не жалеет, т.к. они получили много полезной информации.
Я работал с ЮзабилитиЛаб весной. Ребята сделали нам качественный макет/прототип сайта. Более того, часть функциональных аспектов, которые мы самостоятельно закладывали в ресурс, были профессионально скорректированы и переформатированы под правильные паттерны.
Несколько странно, что ряд комментирующих ожидает, что их проекты непосредственно будут "пилить" сотрудники не ниже зам. директоров и т.п. Это не буду комментировать...
UL хорошая команда, знают свое дело.
Переверзеву и Королеву мой респект!
Руслан правильно сделал, что обратился за консультацией к ребятам. 140 ТР себя окупят, обязательно.
Приятно понимать, что хоть кто-то понял смысл статьи.
Деньги себя давно окупили, мы получили большой опыт и подсказки к дальнейшим шагам, а так же убедились в том, что Endy спроектировали сайт на должном уровне.
Судя по каментам сообщество пока не осознало, что юзабилити это не только про конверсию.
Аж примеры требует, что мол предскажите конверсию, если мы картинку увеличим на 100px. Такие предсказания могут давать либо мошенники, либо невменяемые люди, ну и астрологи есть специализирующиеся в этой теме. Очевидно же...
Вообще экспертиза нужна когда нет объемов для A/B-тестирований, которые дадут валидные данные или уже непонятно, что менять дальше и надоело тыкать пальцем в небо.
P.S. Интересно, этот пост можно квалифицировать как разглашение? Все-таки 140к (4375руб/час) за экспертное мнение это тонкая тема :)
Предсказания не надо, а вот примеры, обоснования и оговорки - обязательно.
А конверсия от начала до конца - единственная метрика? Retention там, объем корзины у "тяжелых" заказчиков, вот это все?
Ну там все советы из серии "перекрасьте кнопочку" - они ни на что, кроме конверсии, повлиять не могут.
Хотя юзабилити в целом, конечно, на все влияет.
У меня такое ощущение, что множество комментаторов желали бы увидеть в статье то, как ЮзабилитиЛаб нашли много ужасных, коварных, сложных ошибок и конверсия увеличилась в разы. Вот это - круто было бы! Но отсутствие серьезных ошибок в сайте как раз указывает на хороший менеджмент проекта, который выбрал правильное агентство и отлично сработал с ним.
Кроме этого, парадоксальная ситуация у нас - отсутствие подтверждения гипотез приравнивается к отсутствию результата. Но это не так. Мы в отличие от западных коллег ужасно не любим статьи и кейсы, которые не подтвердили гипотезы, а опровергли их.
Несколько замечаний:
1) В статье не указана какая конверсия была до этого. Если был 1%, а стал 1,то это рост почти в 2 раза.
2) Вообще меня всегда удивляют все описания экспериментов про юзабилити, так как никогда не берутся в расчет источники трафика. Тестировать можно только на конкретном куске трафика, при этом рекламная кампания не должна в это время меняться. Я сильно сомневаюсь, что за 4 месяца тестов это условие соблюдалось. А так можно заказать юзабилити тестирование, налить кликандер трафика и потом ныть, что конверсия упала в сотню раз, и юзабилисты не справились.
3) Я правда не понимаю, как за 4 дня можно дать рекомендации по юзабилити и брать за это деньги. Любые изменения юзабилити должны тестироваться А/Б тестами, причем весьма продолжительное время. Странно, что фирма улучшает юзабилити без каких-либо гарантий, не проводя тестов, а просто высказывая гипотезы, а тестирование на стороне самого проекта. Еще более странно, что менеджмент Закизаки пропустил этот момент и заключил сделку на таких условиях.
1. Тоже об этом подумал. Рост 0,7% для многих это успех. Например в интернет-магазинах средний конверт 1,5-2%. Сделать из них 2,2-2,7% - это реально успех.
2. Если структура трафа не менялась, то в общем какая разница.
3. Думаю можно договориться о тестировании и результатах, просто стоить это будет дороже.
Неужели команда Сатина оставит данный пост без комментариев?
Он занят выступлениями на семинарах.
Тоже работали с озвученной организацией, общее впечатление - работают свеженабранные сотрудники которые сами Сатина смотрели меньше нашего и меньше же его же рекомендации и принципы знают. Ужас короче, никому не порекомендую!!!
Ну, у них текучка, насколько мне известно, неслабая, но все-таки на низшие должности, не думаю, что они консультации за 140 проводят.
Заказака снова сливает бабло. Пора бы не делиться этим, какое-то странное мнение складывается о менеджменте.
За 140 Крублей получили какой-никакой юзабилити тест и пост на ЦП. А поскольку люди любят читать про фейлы, то вдобавок, как мне кажется, неплохие просмотры это статьи.
Поправьте расхлопывающиеся окно выбора города, при маленьком разрешение, отображаются далеко не все города и нижние выбрать не представляется возможным
A/B тестирование с помощью чего проводили?
Предлагаю такой вариант менеджменту "заказаки", вы даете денег, а я обещаю ничего не делать.
Очень тонкая тема.
С одной стороны иксперды с мотивом "заказака опять потеряла деньги". Икспертов от закизаки в данном случае отличает только то, что у икспердов нет денег, которые можно просрать на эксперименты (а вовсе не то, что они распорядились бы этими деньгами эффективнее).
И тут, конечно, здравомыслие на стороне закизаки - надо улучшать юзабилити, надо тратить деньги на эксперименты (если они есть).
Но с другой стороны - как-то уж очень странно все это выглядит.
Да, юзабилити - очень важно. Но как можно обращаться к экспертам по юзабилити, у которых собственный сайт вызывает желание поскорее закрыть вкладку? Я в курсе, что юзабилитилабы это признанные гуру, но, серьезно, посмотрите на их сайт.
Отчет тоже выглядит странно. Вам продают не самую дешевую экспертизу, неужели нельзя предоставить расширенную информацию со статистикой (“по нашему опыту этот шаг повышает конверсию в корзину на XXX%”) и с оговорками (взять ваш пример с кухнями, где совет оказался вредным: ведь заранее известно, что обилие элементов пугает пользователя, об этом риске следовало бы написать в отчете, потому что вы могли и не учесть этот момент в тестировании и терять конверсию, не зная об этом).
Ну и сами советы, конечно, толковые - но их любой толковый продакт выдаст. Или выдаст не эти, а другие - это ведь, честно говоря, мало на что влияющие мелочи.
Ну и главный вопрос: зачем вообще обращаться к экспертам, если ваш сервис функционально и по юзабилити - практически полный клон конкурента?
По сути ведь смысл клонирования в том, чтобы сэкономить на экспертизе. Иначе следовало бы нанять экспертов на старте и сделать что-то совершенно другое (а потом экспериментами проверять, насколько это лучше).
140к за анализ юзабилитЕ? Блин давайте я вам СЕО аудит проведу за 100к)) денька за два себе на мальдивы хоть заработаю)
А если по теме то ждать больших изменений только лишь от анализа стандарных ошибок и их правок бесполезно. Это лишь делает продукт чуть удобнее, что бы продать больше мало просто покрасить кнопку в красный или зеленый цвет, который с ходу предложит юзабилист, нужны исследования. Для получения реальных результатов нужен юзабилист в команде который для начала проведет грамотное А:А тестирование, а потом уже начнет А:В тестирование где постепенно внедряя разные мелочи сможет по крохе повышать конверсию. На своем веку я помню лишь раз когда выросла дико конверсия это когда на****ся счечик гугла)
Вы не любите кошек? Вы просто не умеете их готовить. В следующий раз стучитесь сюда (если он будет конечно) - www.fabuza.ru
Ага, товарищ 3 раза проходил как тестер - на последнем вопросе всегда ошибка сервера. Кидалово, чо)
Чем дороже стоматолог, тем больше больных зубов он у вас найдет.
Интересные ЦП заголовки для статей придумывает.. Еще забыли упомянуть о том, что это было в начале 2014 года(13-16 января).
Хотя читателей это не волнует, главное заголовок прочитать
на спарке-то 1 октября пост, так что не особо важно
Комментарий удален модератором
Комментарий удален модератором
Ой, про второй пункт написал глупость, а редактировать уже нельзя - стыдно =(
А почему глупость? Вроде все по делу.
А, наверное потому что там было А/Б разных версий на одном и том же трафике.
"A/B-тест проводился в течение двух месяцев, и по его результату общая конверсия сайта увеличилась всего на 0,7%."
А какого результата вы ожидали? ¯\_(ツ)_/¯
Вы надеялись заказать у UsabilityLab кнопку «Бабло».
Я так понимаю, что да.
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
Почему не назвали то, что в каталоге не хватает сортировки? Настроить фильтр по параметру можно, а посмотреть отсортированные по этому же параметру результаты в каталоге посмотреть нельзя, только по рейтингу смотри. Сортировка "по рейтингу/мин. заказу/времени доставки" хотя бы в выпадайке над списком помогла бы.
И то, что огненно оранжевый в таком количество просто не дает спокойно воспринимать информацию, — раздражающая помеха для успешного заказа. Особенно непонятно, зачем оранжевый блок продолжает бить по глазам на странице каталога, когда человек уже скорее всего увидел его на главной и хотел бы обратить внимание на сам каталог.
Тут выложены лишь некоторые страницы из отчета, немного лукаво со стороны автора статьи показывать информацию кусочно, нельзя понять общую картину.
Три раза набрал в гугле название – попал на магазин продажи компьютерных игр.
Коллеги, вы углубились в мелочи «Как улучшить жизнь пользователя, который шевелится». Зачем?
Ваш сайт не решает основную задачу: «Как помочь пользователю поесть?»
Извините, но сейчас вы вываливаете на пользователя кучу мест, где можно, условно, заказать суши. Списочек, обвешанный свистелками. Спасибо, с этим и поисковики отлично справляются.
А вот что сделать, чтобы, собственно, поесть — непонятно.
Тут вам не usability нужно улучшать, а основную историю через интерфейс доносить и клиента во взаимодействие вовлекать. Какие уж тут персонажи и сценарии.
Снимем про вас ролик. Бесплатно. Ждите.
Добрый день Ольга!
В эту мелочь мы углубились почти 10 месяцев назад, когда нашему проекту было всего 2 месяца. За прошедший период времени мы смогли лучше понять наш продукт и пользователей, а также изменили вектор развития в пользу мобильного приложения.
К сожалению, из-за технических ограничений нашего ядра(об этом чуть позже напишу на Спарке) мы не могли оперативно вносить изменения на наш сайт и более детально погружаться в изменение интерфейса, было желание, но не было возможности.
На момент запуска, наш сайт был выполнен на очень хорошем уровне, да недочеты были, но не смертельные. Приличную часть мы уже исправили и ещё большую исправим, просто нельзя заниматься улучшением продукта 24/7, нужно не забывать про рост и расширение, а он у нас весьма серьезный.
На данный момент у нас идет работа по редизайну сайта, изменится не только основной дизайн сайта, но и его интерфейс. В нем мы учтем полученный массив данных и опыт, пожелания пользователей и коллег, а также наших партнеров. Изменения произойдут до нового года.
Буду рад если дадите свои пожелания или рекомендации, могу дать почту.
Комментарий удален модератором