A/B-тест XWAY vs SplitTest. В чем разница и что больше подойдет для тестирования главных фотографий на Wildberries
В конце января мы выпустили новый инструмент для селлеров Wildberries – A/B-тестирование главных фотографий. Благодаря ему уже более 800 селлеров повысили CTR своих карточек и увеличили продажи.
Честно говоря, мы еще ни разу не слышали, чтобы нас сравнивали с другим инструментом SplitTest, который тоже проверяет эффективность фотографий, но другим способом. И мы не считаем их своими конкурентами.
Но нам стало интересно, будут ли различаться результаты теста одних и тех же фотографий, но проведенные при помощи совершенно разных инструментов.
Зачем нужно тестирование фотографий на Wildberries
Допустим, у вас есть несколько фотографий товара: с людьми, другими атрибутами, инфографикой, в разных ракурсах и различными фонами.
Какая из них выделит ваш продукт в каталоге среди десятков похожих, а мимо какой ваш клиент пройдёт мимо? Можно понадеяться на собственный опыт, опросить знакомых или воспользоваться советами платных специалистов, но мы верим, что нас читают селлеры, которые знают, что так делать не стоит.
❗ Делайте выбор, опираясь на цифры.
Чтобы понять, какое изображение нравится аудитории, а какое совсем не вызывает интереса, продавцы WB обычно используют показатель кликабельности — CTR (Click-Through Rate), то есть отношение кликов к показам.
1000 показов и всего 15 кликов — CTR = (15/1000)*100% = 1, 5%. Если на те же 1000 показов будет уже не 15, а, скажем, 45 кликов — CTR=4,5% — это значит, что при том же трафике карточка может принести втрое больше продаж без дополнительных расходов на продвижение.
Измерить CTR и оценить эффективность каждого фото помогут A/B-тесты на реальной аудитории.
Раньше продавцы проводили такое тестирование вручную по следующей схеме: ставили фото → запускали рекламу и крутили некоторое время → записывали результаты → меняли фото → повторяли цикл.
Сейчас появились способы автоматической проверки, и все стало быстрее и проще.
Сравним 2 инструмента, в которых можно без лишних усилий протестировать главные фотографии: A/B-тесты от XWAY и тесты от компании SplitTest.
Что такое A/B-тесты от XWAY
Инструмент, который проводит тест непосредственно на Wildberries. Пользователям с определенными запросами (например, они искали “худи оверсайз” или изучали товары конкретной категории) показываются разные фотографии одного и того же товара. Далее система сравнивает, на какой из вариантов больше кликают, считает и показывает CTR каждого изображения, а также сравнивает данные со средними в категории.
Как работать:
- Зарегистрируйтесь в сервисе XWAY ADV
- Загрузите одну или несколько фотографий
- Определите бюджет теста — сумму, которую вы заплатите маркетплейсу за показы карточки целевой аудитории. Здесь вы решаете сами, потратить ли 500-1000 рублей на быстрый тест либо вложить чуть больше, но и результат получить более точный
- Запустите тест
Плюсы:
- Тестируется на большой выборке, от 500-1500 реальных покупателей, которые уже готовы приобрести этот товар
- Прост в управлении
- После завершения теста фото, которое определено лучшим, будет автоматически установлено главным.
Минусы
- Необходимо иметь собственный магазин
- Тест проводится только на ВБ
- Для получения результатов требуется время, от пары часов до пары дней — все зависит от популярности категории товара, настроенного количества показов и вложенного бюджета
Что такое тесты от SplitTest
SplitTest — площадка, которая позволяет узнать мнение людей о продукте, упаковке или креативе. Голосует опросная группа, которая выбирает изображения в специальном чат-боте.
Как работать:
- Регистрируетесь на сайте
- Создаете тест (загружаете фотографии, выбираете размер опросной группы, пол, возраст, образование и грейд респондентов)
- Оплачиваете и дожидаетесь результата
Плюсы:
- Прост в управлении
- Не нужно иметь кабинет на маркетплейсе
- Быстро приходят результаты
- Можно получить короткий ответ, почему было выбрано именно то или иное изображение
Минусы:
- Тестируется на людях, которые не являются реальными покупателями WB и не интересовались конкретными товарами
- Ответы однотипные, часто с ошибками
- Инструмент платный, вложенные деньги к продвижению карточек отношения не имеют
- Недёшево, 20 рублей за человека. Для теста хотя бы на 50 респондентов потребуется 1 000 руб, а выборка из 500 человек будет стоить около 10 000 руб
Проведем тест с одинаковыми фотографиями в обоих сервисах и сравним эффективность.
Тест № 1
Магазин: Y2Cool
Какие фотографии сравнивали:
- на девушке в полный рост
- на бело-черном фоне
- на сером фоне
- на белом фоне
Результаты A/B-теста XWAY: с большим интервалом, превысив в 2,3 раза средний CTR категории, победило фото худи на сером фоне. Причем складывается ощущение, что фотография не студийная и без обработки. По сравнению со студийной фотографией худи на девушке — CTR самой привлекательной фотографии выше почти в 4 раза (min 1,7% — max 6,5%).
Результат SplitTest оказался совершенно противоположным. С большим отрывом победило фото худи на девушке в полный рост. А вот фото с самым высоким CTR на A/B-тесте оказалось здесь на последнем месте.
Тест № 2
Набор специй для глинтвейна
Какие фотографии сравнивали:
- сбоку, на светлом фоне с золотистыми вкраплениями. В качестве дополнительных атрибутов — стакан с напитком, упаковка и палочки корицы. Присутствует надпись «Идеально для подарка»;
- сверху, на деревянном подносе. Почти нет дополнительных атрибутов, только немного рассыпанных специй;
- сбоку, на бордовом фоне. Очень много дополнительных атрибутов: упаковка, стакан с напитком, рассыпанные специи, апельсин, яблоко, поднос, елочные игрушки. Присутствует надпись «Идеально для подарка».
Результат A/B-теста XWAY: c самым высоким CTR оказалась фотография товара на светлом фоне с золотистыми вкраплениями. По сравнению с фотографией набора на бордовом фоне и со множеством атрибутов — CTR самой привлекательной фотографии выше почти в 3 раза (min 2,2% — max 6,4%).
Результат SplitTest: снова противоположный. С огромным отрывом победило фото на бордовом фоне с большим количеством дополнительных атрибутов
Тест № 3
Резиновые сабо
Магазин: Адреналин
Какие фотографии сравнивались:
- в руках девушки, где сабо на переднем плане;
- в руках девушки, где сабо по краям;
- на ногах девушки, где видны только ноги.
Результат A/B-теста XWAY: c самым высоким CTR оказалась фотография товара, в которой девушка держит сабо в руках как будто ими прикрывается. По сравнению с фотографией, где видны только ноги — CTR самой привлекательной фотографии выше почти в 4 раза (min 1,2% — max 4,7%).
Результат SplitTest оказался очень похожим. На первом месте с большим отрывом снова фото, где девушка держит сабо в руках и протягивает их вперед.
Как видите, в двух из трех случаев тесты, проведенные при помощи SplitTest показывают совершенно противоположное.
Вывод
У обоих сервисов есть свои плюсы и минусы. Если вам нужен результат в течение 20-30 минут, и ваш запрос не имеет отношения к продажам на определённой платформе — смело используйте SplitTest.
Если же вы хотите проверить гипотезу, связанную с продажей конкретного товара на Wildberries — логичнее делать это на живой аудитории маркетплейса, то есть при помощи сервиса XWAY.
Средний результат селлеров, которые уже воспользовались A/B-тестами от XWAY — увеличение % CTR от 2 до 5 раз. А как известно, при огромном трафике Wildberries прирост CTR даже на десятую долю процента уже способен значительно вырастить продажи.
Запустите ваши первые тесты и убедитесь в эффективности!
К сожаление не понял в чем смысл сервиса xway. Сейчас на ВБ есть два вида поиска. Автобустер и Поиск+Каталог. Автобустер будет бустить с текущего места. Это значит, что 1000 показов мы получим в лучшем случае за 1000 руб. Поиск и каталог похожая ситуация. Все знают, что CTR зависит от места с которого показывается карточка и от запросов по которым она показывается. В итоге за 3000 руб у меня будут только данные какой у меня CTR. И? Я это и так мог узнать, без сервиса. В сплиттесте я могу посмотреть в ответах ПОЧЕМУ респонденты выбрали тот или другой вариант. Эти данные я уже могу использовать чтобы дорабатывать контент. Могу сравнивать себя напрямую с топовыми конкурентами и лучшие идеи забирать себе в контент. Могу делать это еще ДО фотосессии, что бы отдать ТЗ дизайнеру и фотографу. Соглашусь в одном, в одном тесте у сплиттест может быть много мусорных ответов и меньше чем на 50 чел опрос запускать нет смысла. Но это точно дешевле чем сначала сделать фотосессию и креативы, потратить 20к и узнать, что CTR 3%.
Александр, спасибо за ваш комментарий.
Смысл эксперимента заключается в том, что при бесплатном a/b-тестировании в сервисе XWAY ADV вложенные 3000 рублей пойдут сразу на продвижение на ВБ и уже в процессе теста вы сможете не только определить главную фотографию с наивысшим CTR на реальных покупателях, но и уже начать продавать свои товары.
В любом случае, для того, чтобы узнать мнение людей о ваших фотографиях вам придется сначала сделать фотосессию товара. А только потом уже потратиться на опрос в сервисе SplitTest. Только, как мы уже и показали в прикрепленных скриншотах, – никто не гарантирует, что мнение людей во время проведения сплиттеста совпадет с мнением реальных покупателей на ВБ, которые заинтересованы в покупке. В двух из трех случаев результаты оказались противоположными, а, следовательно, вы впустую потратите деньги, которые уже могли начать вкладывать в продвижение на Wildberries.
SplitTest - весьма сомнительный сервис, берет в среднем от 2000 т.р. за тест, в котором участвует непонятная публика в качестве экспертов, часть экспертов вероятно простые боты. Интересно, что если повторить один и тот же тест, то получаются полярно разные результаты. Златан Илья на выступлениях размыто отвечает на вопросы подбора экспертов, что уже странно. На самом сервисе нельзя стать таким экспертом. Кто и как набирает эту публику, непонятно.
Илья, по поводу аудитории, которая тестирует фотографии. Нам тоже был интересен этот вопрос, поэтому мы вступили в число подобных экспертов. Следовательно можем сделать вывод, что это все-таки настоящие люди. Они регистрируются в специальном боте и потом им приходят сообщения с опросами. Понятное дело, что чем больше вы заплатите и чем большее количество опрашиваемых людей выберите - тем достовернее результат сможете получить. И также важно определиться со своей ЦА: возраст, пол и т.д. Единственное, как мы уже и писали в нашей статье, главная проблема подобной аудитории заключается в том, что они не заинтересованы в покупке предлагаемого им товара и следовательно не смогут дать достоверного результата при определении главной фотографии товара на маркетплейсе.