Как тест онбординга помог нам на 15% увеличить количество постоянных пользователей бота
Привет! Это Дима из «Эй, Стартапер!» с поучительной статьей про UX-тестирование.
Онбординг в телеграм-боте — это первые несколько сообщений, которые получает юзер. Именно на этом этапе человек решает, пользоваться ботом или закрыть его. В этот раз мы с ребятами из моего агентства пересобрали онбординг для бота monday4me. Бот нужен для психологической поддержки: там можно вести дневник, спрашивать советы, проконсультироваться с психологом.
Рассказываю, как UX-тесты помогли нам сэкономить время и деньги клиента, и почему прототип лучше не отдавать сразу в продакшн.
С какой задачей пришел клиент
Бот monday4me — это бот для заботы о себе. Главная бесплатная опция — ежедневный чекап: пользователь отвечает на вопросы о своем состоянии. Потом можно смотреть историю в виде инфографик. Платные опции бота на момент текстирования — переписка или видео-консультация с психологом.
Онбординг у клиента уже был, но не очень эффективный. Часть пользователей банила бота после 1-2 экрана. То есть люди не доходили даже до анонса бесплатного фукционала.
Можно было сразу собрать прототип, отдать в разработку и посмотреть, насколько он эффективный по статистике. Но мы пошли другим путем. Еще до продакшна собрали и протестировали несколько версий, проанализировали обратную связь, сделали рабочий вариант и отдали его разработчикам.
Как мы собирали прототипы онбординга
До прототипа мы проводили для клиента подробное маркетинговое исследование — изучили ца, конкурентов и поисковый спрос. Аналитика помогла понять, с чего заходить в онбординге, какие гипотезы тестировать.
Сначала мы хотели собрать и протестировать один прототип, но решили, что гипотезы лучше проверять отдельно. В итоге мы сделали три разных прототипа:
- Первый собрали примерно как у конкурентов — подробно рассказали о функциях, сделали акцент на проверенных методиках, постарались вызвать доверие.
- Во втором прототипе акцент сделали на чекапах — основном бесплатном функционале бота.
- В третьем подсветили бонусную систему и основные плюшки, связали их с чекапами.
Каждый прототип мы собирали в Фигме. Использовали плагин Prototype — с ним можно сделать не «мертвый» макет, а полноценный кликабельный прототип. Еще прикол этого плагина в том, что вносить изменения можно в режиме реального времени — пользователь увидит их прямо во время теста.
Как и зачем вообще мы проводили UX-тесты
В принципе, можно было передать клиенту три прототипа, чтобы он выбрал подходящий. Но мы решили сначала протестировать каждый на пользователях. Для этого провели UX-исследование в виде интервью в Zoom: человек шарил экран, проходил онбординг, а мы задавали ему вопросы. Респондентов искали самостоятельно — в разных группах в телеграмме. Людей подбирали по возрасту и равномерно формировали пулы.
Каждое интервью записывали, чтобы потом проанализировать результат. Что мы хотели выяснить во время теста:
- Насколько пользователям понятно, зачем нужен бот.
- Вызывает ли вообще бот доверие — есть ли ощущение, что он работает на каких-то проверенных методиках.
- Хочется ли под конец онбординга пройти чекап или временно хочется отложить бота.
- Куда хочется нажать, какие зоны кажутся кликабельными.
- Готовы ли пользователи что-то купить после онбординга, и какая цена услуги максимальная.
Не все вопросы для разных версий были одинаковые. Например, в прототипе про бонусы мы выясняли, насколько привлекательна такая система, кажется ли она выгодной.
Все ответы пользователей собрали в одну таблицу, ранжировали, проанализировали. Некоторые ответы у нас совпали во всех трех прототипах. Например, людям было непонятно, что такое чекап, зачем он нужен, даже там, где мы подробно это описывали. Пользователям не очень понравился дизайн бота, они назвали его мрачным. Тарифы не зашли ни в одном прототипе, просто потому, что люди вообще не готовы покупать во время онбординга.
После теста мы поняли что у каждого варианта есть слабые места. Даже несмотря на то, что мы собирали прототипы на основе маркетинговой аналитики. Если бы любой ушел в продакшн без тест-драйва, потом его пришлось бы править.
Чем законилось тестирование
Мы учли все недостатки тестовых версий и собрали один «боевой» прототип. За основу взяли второй вариант — про ежедневные чекапы. Как мы доработали этот прототип:
- На первом экране рассказали понятным языком, что такое чекап и какие выгоды пользователь от него получает. Сделали акцент именно на реальной пользе — во время тестирования респонденты отметили, что им этой информации не хватило.
- Убрали тарифы, вообще. Все тесты показали, что покупать во время онбординга аудитория на готова от слова совсем.
- Сократили количество экранов. Респонденты отметили, что долго проходить даже интересный онбординг они не готовы.
- Убрали из онбординга просьбу принять условия оферты. В старом онбординге был экан с подпиской на бонусную систему — мы его убрали. Вместо этого коротко рассказали о системе лояльности, а оферту перенесли уже после онбординга.
- В конце сделали экран с мотивашкой. Добавили призыв к действию немного заботы и постарались вызвать у пользователей желание пройти чекап.
- Составили рекомендации по изменению дизайна. Пользователям не понравились холодные и мрачные цвета — мы донесли это до клиента. А еще предложили отрисовать собственного маскота. Забегая чуть вперед скажу: в итоге заказчик изменил дизайн не только в боте, но и на сайте. И его новая посадочная даже попала в топ Тильды.
Итоговый прототип мы тоже собрали в Фигме, тоже с плагином Prototype. Клиент получил кликабельный онбординг, который и запустил в продакшн. Заработал новый онбординг уже через несколько дней.
Почему нужен тест перед запуском в продакшн: чего мы добились
Тесты сэкономили нам время, а клиенту деньги. Мы поняли ошибки еще на этапе прототипирования и исправили их малой кровью. Поймали инсайты во время общения с целевой аудиторией, увидели как именно люди проходят онбординг. Пересобрать прототип в Фигме дешевле и проще, чем пересобрать «боевой» онбординг бота.
Как в итоге сработал наш новый, протестированный онбординг:
- бота в 2 раза реже блокировали во время онбоардинга (с 13% до 7%);
- до меню стало доходить на 5% больше пользователей;
- в среднем на 15% больше пользователей оставались в боте после нового онбординга (со старым онбордингом было 45%, с новым стало 60% пользователей)
Напишите в комментариях, вы тестируете прототипы пред реализацией или лучший тест он всегда на конечных пользователях?)
Разрешение на публикацию от клиента получено.
А еще можете подписаться на наш самый ненавязчивый канал в телеграме https://t.me/youngfounder Постим по одному посту в квартал и не жалеем.
Сколько может стоить такое тестирование на этапе разработки идеи бота, когда еще нет даже прототипа?
Мы такое тоже делали. Только идею стартапа тестировали до его разработки) По цене сильно от тематики зависит, от того на сколько сложно будет протестировать и какие инструменты понадобятся. Напишите нам обсудим)
Увлекательно! Спасибо!
Кайфовый кейс, красавчики 👍🏼
Мне кажется идея продавать что-то с первых 1-3 сообщений онбординга на холодную аудиторию изначально плохая идея. Разве такое получалось у кого-то?
Подскажи где искал аудиторию для теста, можешь поделиться источником?
У нас есть чатик начинающих маркетологов, в основном оттуда брали людей
ага, я в этом на своем боте тоже убедился)
но все же несколько продаж было, а значит смысл определенный есть, при условии, что оффер не мешает человеку идти по онбордингу, то есть если даже если он пока откажется, то мы его не теряем