«Бета-тестирование больше похоже на пинг-понг, чем на запуск ракеты»: создатели роутера eero о тестировании продукта Статьи редакции

Руководители стартапа eero (занимается производством одноименного роутера) рассказали изданию First Round Review, как они проводили бета-тестирование продукта, и поделились несколькими советами для стартапов. Редакция vc.ru публикует адаптированный перевод заметки.

«Руководитель специальных программ eero Келли Нери и руководитель по продукту eero Пол Нанджерони наконец смогли выдохнуть — спустя несколько недель после того, как компания выпустила одноименный продукт. Тысячи покупателей предпочли выбросить свои старые роутеры и приобрести eero. На продукт обратили внимание мировые СМИ: Fortune, The Wall Street Journal, USA Today, The Verge и другие. Спросите Нери и Нанджерони, что определило успех eero, и они скажут — "бета-программа"», — пишет First Round Review.

Программа стартовала за шесть месяцев до запуска eero. Руководили ею Нери и Нанджерони. Келли Нери пришла в компанию из Nest (стартап, принадлежащий Google и занимающийся выпуском термостатов и других предметов «умного дома»), где руководила аналогичными мероприятиями, а Пол Нанджерони до этого работал в Apple, где отвечал за разработку различных продуктов — в том числе, iPod Touch, iPhone 5C и Apple Watch.

Как отмечает редакция First Round Review, команда продукта с самого начала готовилась к тому, что бета-тестирование роутера будет одной из самых важных частей запуска eero. «Предстояло не только проверить, как работают программное и аппаратное обеспечение, но и убедиться, что гаджет подойдёт любому пользователю — вне зависимости от того, где и как он живёт. Это настоящее испытание и для продукта, и для команды», — пишет издание.

«Беспроводной интернет — неотъемлемая часть нашей жизни, и нам предстояло выяснить, сможет ли eero в неё войти. Нескольких часов тестирования было недостаточно. Во время бета-тестирования eero должен был работать в домах участников постоянно, и мы должны были оказаться готовы помочь им в любой момент, — рассказывает Нери. — Нам нужны были данные, и чтобы мы могли получить хоть какую-то полезную информацию, участники тестирования должны были использовать гаджет постоянно. А для этого он должен был приносить им какую-то пользу».

Команда, пишет First Round Review, понимала, что к запуску продукта в нём должна быть проверена каждая функция. И эту мысль нужно было донести до всех сотрудников стартапа. Для этого руководство использовало несколько уловок. Например, сотрудник, обнаруживший ошибку или баг в работе устройства, теперь не мог подойти к столу технической поддержки и сообщить о нём — ему предстояло почувствовать себя в роли покупателя и пообщаться с технической поддержкой по телефону или электронной почте.

Первым делом команда eero тщательно изучила все заявления на участие в бета-тестировании роутера. Сотрудники сформировали группу участников, постаравшись собрать в ней самых разных людей — чтобы максимально охватить все возможные юзкейсы и проблемы, которые могут возникнуть при использовании роутера. «Мы строили продукт, который должен был статью частью дома покупателя — но все дома разные, как и их владельцы. Мы не могли тестировать eero внутри компании — в однокомнатной квартире на территории Сан-Франциско довольно сложно смоделировать, например, использование устройства в загородном доме общей площадью в 200 квадратных метров».

Сотрудникам eero предстояло выяснить множество вопросов. Команда отбирала участников тестирования, ориентируясь на три основных аспекта.

• Работа с другими устройствами. eero предстояло взаимодействовать со множеством различных гаджетов — ноутбуками, ПК, планшетами, телефонами, носимыми устройствами и так далее. «Мы формировали базу участников бета тестирования таким образом, чтобы покрыть максимальное количество разнообразных устройств».
• Дома. «Мы сознательно выбирали дома в разных штатах, подключенные к различным интернет-операторам. Кроме того, мы подбирали дома, созданные из различных строительных материалов, чтобы исследовать, как они могут влиять на работу роутера».
• Опытность пользователей. «Мы полагали, что наши пользователи имеют опыт взаимодействия с техническими устройствами. Однако они совсем не обязательно должны были быть профессионалами в настройке и использовании беспроводных сетей».

Тем, кто хотел поучаствовать в тестировании, также нужно было заполнить специальную анкету. «Вместо того, чтобы спрашивать потенциального участника о его опытности, мы узнавали, кем он работает, какой роутер использует дома и какие устройства работают под его управлением, — рассказывает Нери. — Если они не могли ответить на вопрос о роутере, это само по себе давало нам нужную информацию».

Команда eero советует разработчикам охватить как можно больше моделей во время бета-тестирования. «Например, в нашу выборку попал участник, который планировал установить eero в доме на дереве. Изначально мы не планировали тестировать роутер в такой ситуации, но я рада, что в итоге мы решили включить этого человека в группу для бета-тестирования. Минус один сюрприз для официального запуска».

Бета-тестирование eero длилось шесть месяцев. По словам представителей компании, между окончанием разработки продукта и его запуском должно пройти не менее трёх недель — за это время команда убедится, что устройство готово к выпуску. Кроме того, Нанджерони рекомендует оценивать бета-тестирование не сроками, а конкретными метриками. «В идеале, бета-тестирование должно закончиться, когда вы достигнете нужных метрик в производительности, стабильности и скорости работы продукта».

При этом, отмечает руководитель по продукту eero, на самом деле бета-тестирование должно продолжаться и после запуска устройства. «Я думаю, что бета-тестирование должно продолжаться бесконечно. Обратная связь не должна теряться. Бета-тестирование больше похоже на пинг-понг, чем на запуск ракеты. Это непрерывный обмен».

Нанджерони также рекомендует здраво оценивать количество ресурсов, которые отнимет у команды запуск бета-тестирования. «Вы столкнётесь с бесчисленным количеством непредвиденных проблем, которые смогут перевернуть все ваши планы, даже если вы продумали всё настолько тщательно, насколько могли».

Нери отмечает, что бета-тестирование помогает не только стимулировать разработку и улучшение продукта, но и закладывает фундамент бренда. «Участники нашей бета-программы — главные защитники компании. Это значит, что мы всё сделали правильно». Девушка даёт несколько советов, как обратить первую аудиторию продукта в его евангелистов.

1. Обозначьте частоту контактов. «Перед тем, как подписывать соглашение с каждым из участников, мы давали ему понять, как часто он сможет с нами контактировать. Мы готовы были выслушивать все претензии и замечания участника — от багов до новых функций — один–два раза в неделю».
2. Отслеживайте не только качество продукта. «Мы задавали участникам вопросы не только об устройстве, но и о самом процессе бета-тестирования. Спрашивали, как проходит тестирование, когда им было бы удобнее с нами беседовать, какие способы связи они предпочитают и так далее».
3. Сообщайте пользователям об обновлениях. Когда команда представляла новую функциональность или исправляла баг, она дополнительно давала знать об этом тем участникам бета-тестирования, которые столкнулись с этой ошибкой.
4. Ищите свежий взгляд. Когда команда представила последнюю версию программного обеспечения для eero перед запуском продукта, сотрудники связались с ранними участниками бета-тестирования и теми, кто не принимал в нём участие, чтобы узнать их мнение о продукте. Кроме того, в процессе тестирования компания постоянно привлекала к нему новых участников.
5. Определяйте, что нужно было сделать по-другому, после каждого релиза.

Представители eero также отмечают, что оценивать обратную связь от близких родственников и друзей порой нужно скептически — зачастую они не могут дать полностью честный ответ на вопрос о том, что они думают о продукте. «Многие стартапы дают попробовать свою разработку близким родственникам и знакомым. Здесь есть свои плюсы — такие пользователи очень терпимо относятся к недостаткам продукта, готовы обеспечить для стартапа нужную конфиденциальность и безопасность тестирования. Но они зачастую не могут непредвзято оценить устройство. Моей маме, например, нравится всё, что я делаю», — говорит Нанджерони.

Один из способов оградить от излишне позитивной обратной связи от друзей, коллег и родственников — сформулировать вопросы таким образом, чтобы на них нужно было давать конкретные ответы. Например, стоит избавиться от вопросов, которые предполагают оценку продукта по 5- или 10-балльной шкале, и вместо них включить в анкету вопросы типа «Если вы могли бы изменить в устройстве одну функцию, что бы это было?». «Используйте вопросы, которые не предполагают оценочных ответов. Даже если в тестировании принимают участие только ваши друзья и родственники, вам нужно получить от них объективную и полезную информацию».

Команда eero не могла позволить себе тестировать продукт только среди друзей и знакомых — по причине небольшой численности штата. Мы собирали участников со стороны, но всё равно тщательно фильтровали кандидатов — нам не хотелось, чтобы лишняя информация утекла в прессу.

«Это рискованный шаг, и мы предприняли несколько действий, чтобы смягчить возможные последствия. Но в конце концов вам придётся просто довериться участникам тестирования. Мы постарались донести до каждого из них, что не хотим, чтобы данные утекли из компании. Позже мы напомнили им об этом — в коробке с каждым из роутеров для тестирования лежало письмо от генерального директор компании Ника, в котором он благодарил получателей за участие в бета-тестировании и ещё раз просил не распространяться об этом опыте».

Перед запуском продукта, отмечают представители eero, важно ещё раз собрать воедино и проанализировать всю обратную связь от участников бета-тестирования. Команда eero присваивала каждой проблеме индекс «воздействия» — показатель, который отражал количество пользователей, столкнувшихся с той или иной проблемой, и важность этой проблемы. Как рассказывает Нери, ей пришлось изучить все возникшие проблемы и вручную отранжировать их по важности.

После этого предстоит донести результаты до команды разработки. «Даже после завершения бета-тестирования нам предстояло провести ещё множество часов и итераций, обсуждая обратную связь от участников программы».

При этом команде разработки было сложно воспринять общие отзывы от пользователей, они хотели знать, что именно от них требуется. Для того, чтобы помочь разработчикам, организаторы бета-тестирования привлекали их к участию в составлении анкеты для тестировщиков. «Мы узнавали у команды, что именно они хотели бы узнать от пользователя, формировали вопросы в анкете таким образом, чтобы получить нужные данные. Мы выступали "переводчиками" с технического языка на язык пользователей — так как команда разработки часто задавала глубоко специализированные вопросы, на которые не смог бы дать ответ участник программы».

Кроме того, представители eero рекомендуют благодарить пользователя за любую обратную связь — даже если она не оказалась полезной для компании. «Вы должны быть благодарны за то, что человек уделил своё время на написание отзыва. Однако помните, что пользователи пожертвовали не только своим временем. В нашем случае участники бета-тестирования пожертвовали настроенной и функционирующей беспроводной сетью. Меньшее, что мы могли для них сделать — показать, как нам важен их фидбек».

Команда также записывала всю обратную связь, вне зависимости от её релевантности. «То, что поначалу может показаться вам очевидным и не стоящим внимания, может оказаться проблемой, с которой столкнутся чуть ли не все пользователи. Придётся что-то с этим делать».

Нери и Нанджерони призывают поддерживать связь с участниками тестирования и после его окончания. Команда eero распределила участников на три различных группы:

• Сообщество. Это наиболее полезные, активные и, как правило, наиболее технически подкованные участники бета-тестирования. С ними можно работать для устранения возникающих проблем.
• Целевая аудитория. Это те пользователи, на которых ориентирована компания — они помогают тестировать новую функциональность и фичи, нацеленные на конкретную аудиторию.
• Экстремальные случаи. Это необычные клиенты, которые помогают протестировать продукт в нестандартных условиях — как, например, в случае с домом на дереве. Работа с такими пользователями ведётся один на один.

Представители eero вспоминают необычную историю: у одного из участников программы возникли проблемы с подключением к роутеру одного из основных устройств. Выяснилось, что проблема заключается в самом гаджете, и чтобы не терять клиента и поблагодарить его за потраченное время, компания приобрела ему новое устройство.

#eero