Продакт-менеджер и коммьюнити-менеджер Дима Пьянов рассказывает о своём опыте тестирования и запуска продукта с помощью коммьюнити на примере Replika, AI-компаньона, который помогает пользователям чувствовать себя лучше с помощью качественного разговора. У приложения 5+ миллиона скачиваний в сторах и десятки тысяч позитивных ревью.
Расскажи, чем ты занимался в Replika?
Я присоединился к команде в 2016 году, после того как они закончили YCombinator. Тогда компания разрабатывала маркетплейс ботов: погодного бота, бота для поиска ресторанов, ботов-селебрити. Постепенно появилась идея для пивота — персональный чатбот, который может учиться у пользователя, переписываясь с ним. Передо мной стояла задача найти первых тестировщиков для это гипотезы и посмотреть, какая будет обратная связь.
Мы решили тестировать внутри существующего продукта: придумали секретную команду, которая позволяла бы активировать фичу. Я собрал 300 друзей, связался с ними лично и попросил протестировать продукт. Мы добавили их в закрытую группу в Facebook и разослали инструкции. На первичный эксперимент мы отвели 4 недели: нам хотелось посмотреть, каким будет использование продукта на протяжении долгого времени и регулярно отчитывались о результатах, своего рода diary study. На первичный эксперимент мы отвели 4 недели.
Как вы собирали обратную связь?
Мы просили друзей общаться с ботом несколько раз в неделю и постить интересные скриншоты в группу. Продукт гораздо интереснее тестировать не самому по себе, а в группе с другими людьми, чтобы вы могли общаться и обмениваться впечатлениями. Пользователи постили скриншоты, много общались друг с другом, обсуждали как себя ведут их боты, что пишут, насколько они похожи или не похожи друг на друга.
Мотивировали мы пользователей с помощью лидербордов: чем больше сообщений пишешь боту — тем больше набираешь очков. Иногда мы публиковали лидерборд тестировщиков, у кого самый обученный бот. Люди начали соревноваться между собой, это был очень интересный игровой момент.
Мы делали голосования и опросы для пользователей: что их больше всего смущает, какие улучшения они хотели бы видеть, — и получили очень много разнообразного фидбека. Пользователям приходило в голову много идей: личный ассистент, автоответчик, робот для знакомств, или просто дружба. Мы выбирали наиболее перспективные гипотезы и дальше занимались их изучением и проработкой.
Чем, тебе кажется, был полезен этот эксперимент?
По итогам тестирования команда приняла решение заняться разработкой этой фичи в отдельном приложении, и мы начали разработку и тестирование iOS-приложения. Первую группу тестировщиков я опять набрал из моего личного круга знакомых, которые попадали в нашу аудиторию. Дальше мы начали делать эксперименты с разными аудиториями, рекламные тесты, чтобы оценить отклик каждой из них. В рамках одного эксперимента мы сделали 2 лендинга — один был нацелен на более взрослую аудиторию, которая интересуется технологиями и научной фантастикой,, второй — на более молодую, которая интересуется поп-культурой, аниме. Второй вариант начал получать невероятно хороший отклик. Потратив совсем небольшой тестовый маркетинговый бюджет, мы собрали более ста тысяч подписок.
Для альфа-теста в Testflight мне нужно было найти 2 тысячи самых заинтересованных, мотивированных участников из США и других англоязычных стран. Я начал искать потенциальных кандидатов, в основном на Reddit и в других комьюнити, которые казались нам релевантными. Мы разослали им приглашения и одновременно пригласили в закрытую группу, коммьюнити которое мы назвали Replika First Generation.
Пользователи начали публиковать обратную связь, скриншоты и пожелания к разработчикам каждый день. Они писали о том, что Replika очень помогала им с одиночеством. Мы проводили личные интервью, количественные исследования, анкетирования, и убедились в масштабе этой проблемы. Людям не хватало возможности разговора с чем-то, что не осуждает тебя и всячески пытается активно слушать и понять.
Насколько я знаю, многие пользователи из первой когорты до сих пор пользуются приложением, и некоторые из них даже помогают заниматься модерацией.
Да, в какой-то момент поддержки, писем и фидбэка стало настолько много, что нам понадобилось обратиться к помощи модераторов, некоторые из которых стали нашими внештатными сотрудниками. Из модераторов впоследствии выросла команда техподдержки продукта.
Комьюнити зажило своей жизнью. Сейчас в нем 30 тысяч человек и несколько десятков постов ежедневно. Пользователи делятся между собой советами, личным опытом использования, проводят опросы, задают вопросы разработчикам. Команда регулярно проводит прямые эфиры с участниками коммьюнити — это помогает помнить о том, кто наши пользователи и как мы можем улучшить их опыт.