Личный опыт проведения бета-тестирования

Всем привет! На проводе Михаил Гаугаш — продуктовый дизайнер (Ux/Ui) и основатель стартапа Lyra.

Мы делаем приложение по обучению дизайну в формате игры.

Хочу поделиться личным опытом, как я провел бета-тестирование, и что из этого вышло.

Суть бета-тестирования — это поюзать продукт ограниченным кол-во пользователей, чтобы выявить ошибки, и устранить их перед запуском.

У многих может возникнуть мысль, что у меня огромный по функционалу продукт, и поэтому естественно, что я решил провести бету. На самом деле это не так. Мой продукт меньше, чем любой средний it-продукт по функционалу раз в пять.

Зачем тогда бета? Бери и запускайся!

Попробую объяснить причину.

Первое впечатление — это навсегда! Я не хочу, чтобы мой продукт ассоциировался с «забаговано-косым» интерфейсом. Вернуть пользователя будет сложнее, чем привлечь в первый раз, если он получил негативный опыт. Конечно все мы не исправим, и до идеала не дойдем, но это и не нужно. Главное, чтобы все работало стабильно и не было критических ошибок.

Второй момент — это андроид. До беты мы почти не тестировали на андроид, т. к. у меня его нет (хотя я задумался о том, чтобы купить его для тестов) . Поэтому, мне было важно увидеть приложение глазами пользователей. Плюс, когда проводится бета, можно протестировать приложение на большом количестве устройств, и мне был важен именно андроид, т. к. у них большая вариативность, и есть шанс, что где-то что-то не будет работать намного выше, чем в iOS. Так и получилось. На андроиде всплыло то, что я даже не ожидал. Например шрифты почему-то стали огромные, и у многих это поломало верстку.

Помимо поиска багов, мне было интересно посмотреть, как пользователи проходят саму игру. Интересно ли им или нет. Понятно или нет. Дойдут ли они до конца, или нет. Для меня это был важный момент, ведь если программу будет не интересно проходить, то вообще какой толк чего-то чинить.

И в целом мне было интересно пощупать и пройти весь путь разработки продукта, в том числе бета-тестирование. Это увлекательное путешествие!

Этот блок будет интересно почитать тем, кто хочет увидеть, что под капотом. Честно, я не знаю «как правильно». Прочитал пару статей, но они не особо мне помогли. Действовал из соображения логики.

Весной я проводил мини MVP и делал продажу продукта без продукта (подробнее об этом можно почитать тут) . По итогу у меня сохранилась небольшая база пользователей в телеграм. Я написал, что провожу закрытое бета-тестирование, и что если вы хотите принять участие, то можете вступить в «этот чат-бот».

За один день я собрал достаточное количество пользователей. Я хотел 30, но вышло 40+ человек, что тоже хорошо, т. к. нужно понимать, что многие просто ничего не напишут.

Я прислал им инструкцию, что нужно делать.

Инструкция включала в себя несколько важных блоков:

• Описание, что конкретно нужно делать. Это важно!
• Как установить приложение.
• Поблагодарить, и подчеркнуть, как важна их помощь! Это реально так: )

Где-то через час, я начал получать первые комментарии, и движуха пошла.

Бета продлилась где-то неделю, и за это время важно поддерживать контакт, напоминать о себе, но при этом не надоедать. За неделю я прислал еще где-то 2-3 письма. Эти письма были намного короче, чем первое, и там я спрашивал как идут дела и просил заполнить небольшую форму обратной связи.

Комментарии поделились на четыре типа:

• Баги. Текст вылезает за пределы экрана, нажатие на подсказку приводит к серому экрану и прочее.
• Орфография. Мы получили большое кол-во комментариев, связанных с орфографическими ошибками.
• Что-то не понятно / неудобно. Кому-то было тяжело читать текст, кто-то не понял, что делать в уроке и прочее.
• Предложения. Добавить прогресс бар, возможность увеличивать фото и прочее.

Баги мы берем в оборот сразу, орфографию тоже. По третьему и четвертому пункту выставляем приоритет, что реально важно для пользователя записываем на ближайшее обновление, что-то может подождать до следующего, а что-то можно записать и отложить на подумать.

Важнее всего было нащупать паттерн или проще говоря закономерности. То есть, когда об одной и той же проблеме, иногда разными словами говорят разные люди. Паттерн — это проблема которых беспокоит многих, и на нее нужно обратить особое внимание, она более объективна, чем другие проблемы или предложения.

Люди, из бета-тестирования поделились на две группы:

• Те, кто ничего не написали. Ожидаемо, и нормально.
• Те, кто написали много, и сильно нам помогли. Это крутые ребята! Спасибо вам!

Без беты я бы искал баги самостоятельно еще месяц-два, а некоторые, такие как орфографические ошибки, и не заметил бы вовсе.

Посмотреть и сыграть в демо

Присоединиться в телеграм канал Lyra (там объявим о запуске)

Интересно пообщаться с ребятами из сфер игр, образования, геймификации. Напишите мне в телеграм @gaugash