Как тест онбординга помог нам на 15% увеличить количество постоянных пользователей бота

Привет! Это Дима из «Эй, Стартапер!» с поучительной статьей про UX-тестирование.

Онбординг в телеграм-боте — это первые несколько сообщений, которые получает юзер. Именно на этом этапе человек решает, пользоваться ботом или закрыть его. В этот раз мы с ребятами из моего агентства пересобрали онбординг для бота monday4me. Бот нужен для психологической поддержки: там можно вести дневник, спрашивать советы, проконсультироваться с психологом.

Рассказываю, как UX-тесты помогли нам сэкономить время и деньги клиента, и почему прототип лучше не отдавать сразу в продакшн.

С какой задачей пришел клиент

Бот monday4me — это бот для заботы о себе. Главная бесплатная опция — ежедневный чекап: пользователь отвечает на вопросы о своем состоянии. Потом можно смотреть историю в виде инфографик. Платные опции бота на момент текстирования — переписка или видео-консультация с психологом.

Онбординг у клиента уже был, но не очень эффективный. Часть пользователей банила бота после 1-2 экрана. То есть люди не доходили даже до анонса бесплатного фукционала.

Вот так выглядит главный экран бота, который пользователь видит после онбординга
Вот так выглядит главный экран бота, который пользователь видит после онбординга

Можно было сразу собрать прототип, отдать в разработку и посмотреть, насколько он эффективный по статистике. Но мы пошли другим путем. Еще до продакшна собрали и протестировали несколько версий, проанализировали обратную связь, сделали рабочий вариант и отдали его разработчикам.

Как мы собирали прототипы онбординга

До прототипа мы проводили для клиента подробное маркетинговое исследование — изучили ца, конкурентов и поисковый спрос. Аналитика помогла понять, с чего заходить в онбординге, какие гипотезы тестировать.

Сначала мы хотели собрать и протестировать один прототип, но решили, что гипотезы лучше проверять отдельно. В итоге мы сделали три разных прототипа:

  • Первый собрали примерно как у конкурентов — подробно рассказали о функциях, сделали акцент на проверенных методиках, постарались вызвать доверие.
  • Во втором прототипе акцент сделали на чекапах — основном бесплатном функционале бота.
  • В третьем подсветили бонусную систему и основные плюшки, связали их с чекапами.
Вот так выглядит рабочий флоу одного из прототипов, который мы собрали с помощью плагина Prototype

Каждый прототип мы собирали в Фигме. Использовали плагин Prototype — с ним можно сделать не «мертвый» макет, а полноценный кликабельный прототип. Еще прикол этого плагина в том, что вносить изменения можно в режиме реального времени — пользователь увидит их прямо во время теста.

Как и зачем вообще мы проводили UX-тесты

В принципе, можно было передать клиенту три прототипа, чтобы он выбрал подходящий. Но мы решили сначала протестировать каждый на пользователях. Для этого провели UX-исследование в виде интервью в Zoom: человек шарил экран, проходил онбординг, а мы задавали ему вопросы. Респондентов искали самостоятельно — в разных группах в телеграмме. Людей подбирали по возрасту и равномерно формировали пулы.

Примерно так выглядело тестирование прототипа в Zoom с расшаренным экраном от пользователя
Примерно так выглядело тестирование прототипа в Zoom с расшаренным экраном от пользователя

Каждое интервью записывали, чтобы потом проанализировать результат. Что мы хотели выяснить во время теста:

  • Насколько пользователям понятно, зачем нужен бот.
  • Вызывает ли вообще бот доверие — есть ли ощущение, что он работает на каких-то проверенных методиках.
  • Хочется ли под конец онбординга пройти чекап или временно хочется отложить бота.
  • Куда хочется нажать, какие зоны кажутся кликабельными.
  • Готовы ли пользователи что-то купить после онбординга, и какая цена услуги максимальная.

Не все вопросы для разных версий были одинаковые. Например, в прототипе про бонусы мы выясняли, насколько привлекательна такая система, кажется ли она выгодной.

Для клиента мы составили полноценную презентацию с результатами тестирования — чтобы он мог использовать инсайты в будущем
Для клиента мы составили полноценную презентацию с результатами тестирования — чтобы он мог использовать инсайты в будущем

Все ответы пользователей собрали в одну таблицу, ранжировали, проанализировали. Некоторые ответы у нас совпали во всех трех прототипах. Например, людям было непонятно, что такое чекап, зачем он нужен, даже там, где мы подробно это описывали. Пользователям не очень понравился дизайн бота, они назвали его мрачным. Тарифы не зашли ни в одном прототипе, просто потому, что люди вообще не готовы покупать во время онбординга.

После теста мы поняли что у каждого варианта есть слабые места. Даже несмотря на то, что мы собирали прототипы на основе маркетинговой аналитики. Если бы любой ушел в продакшн без тест-драйва, потом его пришлось бы править.

Как тест онбординга помог нам на 15% увеличить количество постоянных пользователей бота

Чем законилось тестирование

Мы учли все недостатки тестовых версий и собрали один «боевой» прототип. За основу взяли второй вариант — про ежедневные чекапы. Как мы доработали этот прототип:

  • На первом экране рассказали понятным языком, что такое чекап и какие выгоды пользователь от него получает. Сделали акцент именно на реальной пользе — во время тестирования респонденты отметили, что им этой информации не хватило.
  • Убрали тарифы, вообще. Все тесты показали, что покупать во время онбординга аудитория на готова от слова совсем.
  • Сократили количество экранов. Респонденты отметили, что долго проходить даже интересный онбординг они не готовы.
  • Убрали из онбординга просьбу принять условия оферты. В старом онбординге был экан с подпиской на бонусную систему — мы его убрали. Вместо этого коротко рассказали о системе лояльности, а оферту перенесли уже после онбординга.
  • В конце сделали экран с мотивашкой. Добавили призыв к действию немного заботы и постарались вызвать у пользователей желание пройти чекап.
  • Составили рекомендации по изменению дизайна. Пользователям не понравились холодные и мрачные цвета — мы донесли это до клиента. А еще предложили отрисовать собственного маскота. Забегая чуть вперед скажу: в итоге заказчик изменил дизайн не только в боте, но и на сайте. И его новая посадочная даже попала в топ Тильды.
Так выглядел наш новый прототип в Фигме, разложенный на экраны
Так выглядел наш новый прототип в Фигме, разложенный на экраны

Итоговый прототип мы тоже собрали в Фигме, тоже с плагином Prototype. Клиент получил кликабельный онбординг, который и запустил в продакшн. Заработал новый онбординг уже через несколько дней.

Почему нужен тест перед запуском в продакшн: чего мы добились

Тесты сэкономили нам время, а клиенту деньги. Мы поняли ошибки еще на этапе прототипирования и исправили их малой кровью. Поймали инсайты во время общения с целевой аудиторией, увидели как именно люди проходят онбординг. Пересобрать прототип в Фигме дешевле и проще, чем пересобрать «боевой» онбординг бота.

Как в итоге сработал наш новый, протестированный онбординг:

  • бота в 2 раза реже блокировали во время онбоардинга (с 13% до 7%);
  • до меню стало доходить на 5% больше пользователей;
  • в среднем на 15% больше пользователей оставались в боте после нового онбординга (со старым онбордингом было 45%, с новым стало 60% пользователей)
Статистика предоставлена клиентом
Статистика предоставлена клиентом

Напишите в комментариях, вы тестируете прототипы пред реализацией или лучший тест он всегда на конечных пользователях?)

Разрешение на публикацию от клиента получено.

А еще можете подписаться на наш самый ненавязчивый канал в телеграме https://t.me/youngfounder Постим по одному посту в квартал и не жалеем.

2222
19 комментариев

Сколько может стоить такое тестирование на этапе разработки идеи бота, когда еще нет даже прототипа?

3
Ответить

Мы такое тоже делали. Только идею стартапа тестировали до его разработки) По цене сильно от тематики зависит, от того на сколько сложно будет протестировать и какие инструменты понадобятся. Напишите нам обсудим)

Ответить

Увлекательно! Спасибо!

3
Ответить

Кайфовый кейс, красавчики 👍🏼

3
Ответить

Мне кажется идея продавать что-то с первых 1-3 сообщений онбординга на холодную аудиторию изначально плохая идея. Разве такое получалось у кого-то?
Подскажи где искал аудиторию для теста, можешь поделиться источником?

1
Ответить

У нас есть чатик начинающих маркетологов, в основном оттуда брали людей

2
Ответить

ага, я в этом на своем боте тоже убедился)
но все же несколько продаж было, а значит смысл определенный есть, при условии, что оффер не мешает человеку идти по онбордингу, то есть если даже если он пока откажется, то мы его не теряем

1
Ответить