Кейс: закрытое бета-тестирование продукта с привлечением более 100 компаний

Опыт сервиса для электронного подписания документов KeepSolid Sign.

Меня зовут Юля, я маркетолог в KeepSolid. Мы разрабатываем security-&-productivity-решения для бизнес-клиентов и конечных пользователей. Наши продукты-флагманы — VPN Unlimited, Roadmap Planner и другие с общей базой в более чем 6 миллионов пользователей.

Новый продукт KeepSolid Sign — это кроссплатформенное приложение для электронной подписи и документооборота. На момент проведения беты он уже был больше, чем MVP, поэтому мы решили, что пора отдать его на растерзание пользователям.

Круто, когда при разработке собственного продукта ты можешь позволить себе провести бета-тестирование, как это сделал Hotjar (60 тысяч бета-пользователей за шесть месяцев).

Но у нас не было столько времени, ресурсов и бюджета. Продукт выходит на достаточно конкурентный рынок, и было необходимо понять заранее, что скажут наши первые пользователи. Более того, нам нужно было найти людей определенного рода деятельности и сфер бизнеса: тех, кто постоянно подписывает или отправляет документы на подпись.

В реальности на закрытую бету у нас было всего два месяца (на самом деле заняла она у нас полтора месяца), так как на сентябрь мы запланировали публичную бету приложения на четырёх платформах (iOS, Mac, Android, Windows) и выпуск веб-версии.

Сразу скажу, что мы проводили бету не ради массового нахождения багов или нагрузочного тестирования — для этого есть другие способы. Наши цели были следующие:

1. Показать продукт первым пользователя, получить обратную связь и узнать впечатления от использования: от дизайна и удобства интерфейса до преимуществ и недостатков, по сравнению с похожими решениями.
2. Понять, как компании подписывают документы сейчас и какая есть схема оборота документов в различных сферах: используют ли готовые решения и какие, каковы преимущества и недостатки этих решений, насколько наш продукт удовлетворяет их текущие потребности. В общем, хорошее, дружелюбное customer interview.
3. Расставить приоритеты в product roadmap уже на основе реквестов и интервью с пользователями.
4. Составить портреты наших целевых клиентов.

Определившись с целями, мы составили план тестирования: продумали этапы беты, создали лендинг для регистрации участников и разработали стратегию коммуникации с пользователями. Об этом расскажу дальше.

Вначале мы решили сделать бету закрытой, потому что хотели сами отбирать пользователей по конкретным критериями (в первую очередь нас интересовали определенные сферы бизнеса и страны).

Подготовив все необходимое, мы начали приглашать пользователей подать заявку для участия в бете. Для этого выбрали следующие ресурсы:

• Собственную базу клиентов других наших продуктов (логичное решение, которое принесло нам около 80% всех заявок).
• Площадки для бета-офферов по типу Betabound (около 18% всех заявок). Мы собрали весь список живых площадок, которые нам удалось найти, в этом Google-документе — feel free, как говорится.
• Reddit (около 2% заявок). Список сабреддитов, в которых можно найти пользователей, также в документы.

В результате мы получили 232 заявки (конверсия более 62% из тех, кто подал заявку, в тех, кто заполнил наш первый ознакомительный опрос). Конверсия 50% и больше в прохождении любого опроса — это уже неплохой результат по сравнению со средним benchmark.

Про Reddit стоит рассказать отдельно. Так как нам не нужны были просто пользователи, а необходимо было найти определенную ЦА (владельцев малого и среднего бизнеса (SMB), риелторов, HR-специалистов, финансистов и риск-менеджеров), мы выбрали сабреддиты по этим профессиональным интересам. Для сообществ мы подготовили питч заранее, ниже один из примеров наших публикаций:

Очень важно читать и следовать правилам сабредитта и этикету Reddit в целом, поэтому, если вы не уверены, соответствует ваша запись требованиям или нет, то лучше написать и спросить модераторов. Они отвечают очень быстро, и в девяти случаях из десяти мы получили разрешения на публикацию без угрозы бана, минуса в карме и прочего.

Также мы разместили оффер на тестирование приложения и в специализированных сабреддитах, собравших большое количество как профессиональных, так и начинающих тестировщиков и просто любителей. Но такими сабреддитами мы не увлекались — в приоритете была обратная связь от «наших» пользователей.

Несмотря на то, что Reddit принес нам меньше всего заявок (может намного больше, если работать с ним системно), он обеспечил нескольких пользователей с интересными кейсами, среди которых и потенциальный партнер в construction-индустрии США.

Мы начали с отправки приглашений стать участником бета-тестирования. Для этого все желающие должны были оставить заявку, заполнив первый ознакомительный опрос, включающий в себя общие вопросы: сфера работы участника, должность, возраст и так далее.

Также необходимо было понять, на каких платформах участник хотел бы использовать KeepSolid Sign. Так как для закрытой беты приложение было готово только на macOS, iOS и Android, пользователей Windows мы просили подождать до следующего релиза.

Мы обрабатывали заявки в реальном времени и отбирали подходящих участников. Сразу после этого отправляли письмо с подтверждением об участии, в котором были инструкции, как загрузить и начать пользоваться приложением.

У нас не было жестких инструкций для тестирования, так как целью было максимально приблизить сценарии использования к реальным. Для этого мы кратко описали, с чего следует начать (на то время наш onboarding-сценарий еще не был реализован).

Забегая вперёд, скажу, что нам удалось достичь желаемого результата: участники полноценно использовали приложение для своего документооборота, отправляя инвойсы, контракты подрядчикам и партнерам.

Спустя полторы недели мы связались с пользователями и предложили им выбор: заполнить наш онлайн-опрос (второй из трех) или пообщаться с менеджером по Skype. Естественно, хотелось как можно больше людей склонить к устному интервью (качество такого общения и полученных ответов намного лучше, чем при заполнении опроса).

Мы планировали провести минимум 10-15 таких интервью, даже выделили отдельного менеджера для выполнения этой задачи. Несмотря на подробное описание преимуществ живого общения перед заполнением опроса, нам удалось провести всего пять интервью.

Реализация идеи с интервью была провальной, поскольку участники еще мало знали про нас и наш продукт, чтобы комфортно общаться. Осознав это, мы предложили им все-таки заполнить опрос, и реакция последовала незамедлительно. Конверсия была выше, чем у тех, кому изначально мы предоставили возможность только онлайн-опроса.

Если вам все-таки удастся заманить клиента на звонок, делайте фоллоу-ап после разговора. Вы можете записывать диалог с клиентом, предварительно спросив его разрешения, и в фоллоу-апах отправлять эту запись. Это удобно, если вам нужно будет потом воспроизвести весь разговор или оформить отзыв пользователя о продукте как цитату на сайте.

Целью нашего опроса было понять, как участники удовлетворяют свои потребности в электронном документообороте и какие решения, инструменты для этого используют. Опрос состоял примерно из 15 вопросов, и конверсия из заявок на бету в заполнение этого опроса составила 25%.

Мы обрабатывали ответы в реальном времени и писали пользователям лично для уточнения или получения дополнительной информации. Почти все наши вопросы были закрыты.

После второго опроса мы оставили пользователей наедине с приложением еще на полторы недели, потом отправили им последний, третий опрос (конверсия к количеству заявок — более 23%). Он фокусировался непосредственно на нашем приложении и опыте работы с ним.

Все наши опросы содержали в себе определенное количество полей, обязательных к заполнению, хотя это и не лучшая практика. В нашем случае пользователи ответственно подошли к процессу, и показатель оконченных опросов был выше среднего. Некоторые вопросы мы задавали несколько раз, формулируя их по-разному, чтобы покрыть все интересующие нас аспекты. Среднее время на заполнение одного опроса составило 11-12 минут.

Этот небольшой трюк принес нам волну положительных отзывов, которые появились на сайте. Кроме того, изначально мы обещали пользователям безлимитную подписку на продукт на год и активировали её сразу после окончания беты.

Мы смогли достичь тех целей, которые ставили себе до начала тестирования. Однако есть вещи, которые стоит учесть заранее:

1. До бета-тестирования необходимо настроить user- и mobile-аналитику в приложении и отслеживать основные шаги и события на всех платформах. Для поведенческой аналитики мы используем Fabric, однако не все интересующие нас ивенты записывались, а для iOS-версии не хватило времени его внедрить вообще. Хотя мы смогли понять, как пользователи воспринимают наш продукт, что им нравится и не нравится. Многие вопросы по использованию остались без ответа, и мы были вынуждены дополнительно уточнять информацию. Исправили это для релиза приложения в сообществе.
2. В следующий раз при тестировании нового продукта или новой функциональности мы обязательно выделим больше времени на всё: дадим пользователям возможность дольше использовать приложение, сделаем опросы короче, но отправлять их будем чаще. Это даст возможность постоянно получать и анализировать результаты, а не ждать ответов неделями. Также обязательно внедрим систему live usability testing, при которой мы будем смотреть вживую, как пользователь совершает то или иное действие в продукте, например, загружает документы, добавляет аннотации, подписывает, отправляет их на подпись и так далее.
3. Следует заранее внедрить небольшой, но удобный пользователю инструмент для создания скриншотов прямо в приложении, например, при возникновении ошибки или проблем с отображением элементов интерфейса. Это облегчает и ускоряет работу бета-менеджеру, а пользователю позволяет проще отправлять отчёты о багах.
4. Необходимо рассчитать заранее, сколько ответов вам нужно, чтобы получить статистически значимый результат, если на его основе вы планируете расставлять приоритеты для построения roadmap продукта. Наших ответов не хватило, чтобы сделать это полноценно, поэтому мы подготовились к публичному релизу и большему количеству данных. Однако, общаясь со многими пользователи, мы поняли, над чем мы уже можем трудиться в нашей базовой функциональности (например, добавить больше возможностей для работы и редактирования подписей). Более того, обратная связь — это, безусловно, полезный материал, но расставлять приоритеты необходимо не только на основе ответов всех пользователей в целом, но и с учётом запросов от самых целевых. Однако для этого нужно больше времени и интервью с клиентами.

В целом мы получили много инсайтов о том, как пользователи подписывают и работают с документами. Например, более 30% компаний-участников в развитых странах всё ещё печатают, подписывают и сканируют документы. Хотя это во многом зависит от индустрии и законодательного регулирования на уровне штата и государства. Процент использования электронных подписей в США и Великобритании выше, чем, например, в Польше.

Более того, пользователи помогли нам определиться, что стоит протестировать в качестве основного УТП — кроссплатформенность продукта, которая влияет на скорость приложений и позволяет работать с документами в офлайне.

1. Никогда не предлагайте устное общение и интервью слишком рано, это может оттолкнуть вашу аудиторию.
2. При этом не игнорируйте возможность пообщаться вживую. Несмотря на небольшое количество звонков, они были очень информативными и полезными, поэтому мы крайне рекомендуем этот способ. Есть неофициальный бенчмарк о том, что необходимо провести 30-35 интервью с клиентами, чтобы понять определенные закономерности в их проблемах и потребностях.
3. Будьте готовы корректировать ваш опросник на ходу. Когда мы начали получать первые ответы, нам пришлось перефразировать некоторые вопросы, потому что пользователи понимали их смысл иначе.
4. Не задавайте общих вопросов в стиле «Нравится ли вам та или иная функциональность?» или «Оцените по пятибалльной шкале следующие фичи» — особенно на небольшой выборке. Иначе получите такую картину:

Данные не говорят нам ни о чем, и в целом этот вопрос можно убрать или перефразировать в открытый, который принесет больше инсайтов. Например, «Каково ваше первое впечатление о продукте?» или «Какое главное преимущество приложения, на ваш взгляд?». Вопрос на скриншоте целесообразен, если вам нужно определить самое узкое место в продукте и в дальнейшем углубиться в проблему.

• Если вам нужно понять, как лучше монетизировать продукт, или вы хотите пересмотреть текущую монетизацию, то логично спросить об этом пользователей. Только не стоит задавать вопрос «Готовы ли вы были платить за продукт, если бы он уже был на рынке?» или «Сколько вы готовы заплатить за такой продукт?» (мы задали оба вопроса).

  Многие пользователи скажут вам, что они готовы платить и даже назовут сумму, но клиенты далеко не всегда прогнозируют свои действия правильно. Лучше задать вопрос о том, какой бюджет выделен на решение той или иной проблемы или сколько компания уже платит за её решение.

• Настраивайте crash-логи на всех платформах.
• Чем меньше у вас участников тестирования, тем больший упор должен быть на качественную обратную связь, иначе выборка будет нерепрезентативной.

• Для составления портрета клиента рекомендую воспользоваться специальным бесплатным шаблоном от Hubspot.

Шаблон поможет организовать все данные о пользователе, которые у вас есть, в несколько слайдов: от соцдем-характеристик, задач и проблем клиента до типичных возражений и страхов при покупке продукта.

Используя такой структурированный подход для каждой персоны, вы сможете расписать месседж, elevator pitch и подготовить ответы на основные возражения. Начните с определения критериев, по которым вы будете разделять клиентов. Например, для нас такими ключевыми моментами были размер компании, должность и индустрия.

Далее подготовьте список необходимых вопросов и задайте их клиентам: с помощью небольшого опросника по почте, в соцсетях или непосредственно в интерфейсе продукта, в устном интервью или даже при личной встрече.

Во время обработки полученных данных, скорее всего, вы столкнетесь с тем, что персон у вас будет больше, чем вы предполагали, поэтому стоит их дробить. Например, изначально мы не думали, что индустрия, в которой работает клиент, будет сильно влиять на особенности документооборота и требования к электронными подписям.

Собрав данные и пообщавшись с пользователями, оказалось, что это один из важных критериев, и почти под каждую из индустрий был создан отдельный портрет клиента. Аналогично будет и с основными странами, где мы будем работать, но данных для этого у нас ещё недостаточно.

Пожалуй, самый важный вывод, который мы сделали — продукт конкурентоспособен и коммерчески перспективен. Следующая задача — сделать его коммерчески успешным.

#кейс