Опыт Basecamp: Как мы потеряли миллионы долларов из-за отсутствия A/B-тестирования

Аналитик сервиса для управления проектами Basecamp Ноа Лоранг написал колонку о том, как отсутствие A/B-тестирования при обновлении сайта привело компанию к потере миллионов долларов — какие ошибки были допущены, как удалось избежать провала и какие выводы сделала команда.

В рубрике Growth Hacks — перевод заметки Лоранга.

Мы всегда были твердо убеждены в том, что нам следует делиться собственными уроками в бизнесе и технологиях с миром, и что это касается как наших успехов, так и наших неудач.

Это рассказ о том, как мы меняли сайт basecamp.com, и как в итоге это вылилось нам в миллионы долларов, как мы нашли способ выйти из этой ситуации и чему научились в процессе.

Что случилось

История началась в феврале 2014 года, когда мы официально стали компанией Basecamp. Это была большая перемена  —  ребрендинг, прекращение производства некоторых продуктов, продажа спин-оффов других продуктов и еще много всего.

В рамках того же процесса, мы решили провести редизайн сайта basecamp.com (нашего «маркетингового сайта»), чтобы показать, что он является домом не только продукта Basecamp, но также и компании Basecamp.

В результате изменения получились очень большими, и в контенте и визуально. Причем редизайн распространился далеко за пределы лендинговой домашней страницы (вы можете просмотреть архивные версии страниц до и после того, как мы стали Basecamp), но самые глобальные изменения произошли с главной страницей. Она приведена ниже.

Одно очень значительное изменение заключалось в том, что мы убрали с домашней страницы форму регистрации. Возможно, это было не самое взвешенное решение: мы не проводили обширных исследований или тестирования по тому, какое значение имеет количество шагов, требуемых для регистрации в пробной версии Basecamp.

В течение нескольких лет мы спорили о разнице между быстрой регистрацией (возможно, изначально это привело бы больше пользователей на наш сайт) и хорошо продуманной регистрацией (скорее всего, в этом случае количество регистраций было бы меньше, но те, кто зарегистрировался, до сих пор оставались бы с нами и в конце концов стали бы paying customers), но, насколько я понимаю, мы так однозначно и не решили, что хотим реализовать именно более медленный процесс регистрации. Это было одно из сотен решений, которые нам пришлось принять в ходе «становления Basecamp».

С самого начала мы не проводили A/B-тестирование маркетингового сайта по ряду причин: мы были слишком заняты, чтобы подготавливать несколько сильно отличных друг от друга вариантов, в это время больших перемен мы больше хотели представить основательный новый образ, и нам нравилось то, что у нас получалось.

Сразу же после того, как был изменен маркетинговый сайт, я заметил, что показатели конверсии также распространились на маркетинговый сайт; небольшое количество людей, посещающих basecamp.com, регистрировались, чтобы попробовать продукт Basecamp, тот, который был до того, как мы поменяли сайт.

Это не было для нас так уж неожиданно: большая часть нашего траффика шла на basecamp.com, потому что мы перенаправляли посетителей туда с сайта 37signals.com. Кроме того, некоторая часть трафика была от освещения продукта в прессе, а также трафик с других низко конвертируемых источников, так что вначале нас не особенно беспокоило небольшое количество регистрирующихся людей.

Получив первые результаты от превращения в Basecamp, мы увидели, что абсолютное количество регистраций сохраняло стабильность, что тоже соответствовало нашим ожиданиям.

В первые несколько месяцев после того, как мы изменили маркетинговый сайт, количество регистраций стало падать, и в итоге оказалось даже ниже, чем было в начале года. Это тоже само по себе не давало нам повода для беспокойства: лидером по количеству подписок среди всех месяцев у нас всегда был январь, затем наблюдалось падение до конца лета, а осенью — небольшой рост.

Так как спрос на Basecamp частично зависит от нормальных циклов функционирования малого бизнеса (многие из которых начинают заниматься новыми проектами в начале календарного года ), мы наблюдаем довольно сильную сезонность в новых регистрациях.

Нам потребовалось какое-то время для того, чтобы прийти к выводу, что падение количества регистрируемых пользователей, наблюдавшееся летом 2014 года, несколько отличалось от нормальной сезонности.

А когда цифры не выровнялись к осени, стало очевидно, что есть еще какая-то причина этому. Анализируя активность компании в 2014 году для внутренней отчетности, я писал: «Ситуация не выправилась в течение первой половины 2015 года, мы периодически обсуждали это, однако не вносили в процесс никаких серьезных изменений».

Наконец, в июле мы запустили A/B-тестирование, и вернули форму регистрации пользователей на домашнюю страницу. Результаты не заставили себя ждать и ошеломили нас: количество регистраций в контрольной группе, где присутствовала форма для регистрации, увеличилось на 16% по сравнению с той группой, где форма регистрации не была вынесена на домашнюю страницу. Нетто-эффект по окончании теста и после внедрения изменений на 100% траффика был совершенно очевиден:

Конечно, мы стали волноваться, когда показатели вернулись на свои места: в наших масштабах, подобные улучшения выражаются в миллионах долларов дохода. Конечно, период падения показателей никак не угрожал нашему существованию (2014 был самым прибыльным среди всех годов, а 2015 теперь готов превзойти его показатели), но, естественно, ущерб был нанесен.

Где мы ошиблись и какие выводы тут можно сделать

Самый простой вывод здесь заключается в следующем: в данном контексте существования проекта Basecamp, мы понимаем, что больше всего платящих клиентов мы привлекаем тогда, когда процесс регистрации очень прост.

Скоро мы запускаем маркетинговый сайт для новой версии продукта Basecamp, и на домашней странице обязательно будет присутствовать форма регистрации, но это только поверхностные выводы из пережитого опыта.

Более важные уроки касаются процесса, и есть две основные вещи, которым мы должны здесь научиться:

1. Мы не знаем, что будет работать

Мы не делали A/B-тестирование этого изменения, и это означало, что потребуется много времени, прежде, чем мы заметим, что происходит. Если бы тогда в феврале 2014 года мы провели A/B-тестирование нового и старого маркетинговых сайтов, то скорее всего, мы бы осознали, что редизайн выполнен слабо, в течение пары недель.

При A/B-тестировании, множество факторов остается постоянными  —  применяются те же самые эффекты сезонности, вы можете во все вариации внести одинаковый набор источников, и так далее. Это позволяет вам прослеживать связь между тем, что вы меняете (дизайн, или более конкретно: количество шагов в процессе регистрации) и количеством регистраций.

Так как мы не тестировали редизайн, мы не могли делать продолжительные сравнения, чтобы увидеть, как новый маркетинговый сайт отличается от старого. Принимая во внимание сезонность и другие внешние эффекты (например, когда вы переименовываете свою компанию и снимаете с производства некоторые продукты), очень сложно определить, что именно из всего множества изменений влияет на конечное количество регистраций, так что у нас ушло какое-то время на то, чтобы определить, что именно происходит.

Легко принять решение не тестировать изменение  —  вы заняты, вы просто знаете, что так будет лучше, вы не хотите рисковать и запутаться, все возможно, когда вы проводите сплит-тест. В будущем нам будет легче оправдать трату средств и усилий на тестирование редизайна маркетингового сайта тщательнее —  мы уже увидели, что произойдет, если этого не сделать.

И хотя мы вряд ли совершим ту же ошибку снова, хорошо было бы проанализировать, где еще мы можем допустить подобные ошибки, даже не осознавая этого. Есть ли в нашем продукте области, в которых мы делаем непроверенные предположения, которые могут значительно повлиять на компанию или на успех наших клиентов, пользующихся продуктом Basecamp? Можем ли мы измерить количественно собственные предположения?

2. Наше общение не было эффективным

Так как мы относительно небольшая компания, многие решения, например, где разместить форму регистрации пользователей, принимаются отдельными людьми или небольшими группами людей, без какого-либо обширного обсуждения.

В нашем случае, на подобном обсуждении мог бы возникнуть вопрос о риске, связанном с удалением формы регистрации пользователей с домашней страницы, а соответственно, тогда в 2014 году мы могли принять совсем другие решения.

Нам также не удалось принять немедленные меры, как только мы узнали о том, что происходит: около шести месяцев прошло прежде чем мы смогли разобраться в проблеме и принять меры для ее решения.

Наша компания очень сильно зависит от проекта: мы стараемся концентрироваться на ограниченном количестве вещей в определенный период времени, и очень активно работаем над выявленными задачами.

В период между редизайном и настоящим временем, мы коллективно работали над множеством различных проектов. Мы запустили The Distance, добавили множество новых функций в Basecamp, поработали над множеством проектов behind-the-scenes, а кроме того усиленно работали над следующей версией Basecamp, которая скоро выходит.

Мы также встретили дизайнера, который работал над множеством различных вещей, например, он сделал так, чтобы наш маркетинговый сайт работал на Android, и, наконец, мы узнали множество новых маркетинговых приемов в рекламе, при поиске спонсора и так далее.

Все это привело к тому, что мы не так много времени потратили на разработку маркетингового сайта, и это же отразилось на скорости тестирования и улучшения того, что мы обнаружили. Мы провели только 1/3 A/B-тестов в 2014 году, в сравнении с годом ранее.

Это всё объясняет, почему мы так медленно действовали: у нас не было разработанного проекта по маркетинговому сайту, мы почти не тратили времени на обдумывание и обсуждение.

Я работаю аналитиком, и мог бы сделать больше  —  я понимал, что нам следовало провести A/B-тестирование во время редизайна, и я знал, что нам нужно было вернуть регистрационную форму на сайт задолго до того, как мы начали проводить тестирование.

В обоих случаях, я либо не нашел возможности изложить свои доводы, либо делал это не настолько громко, чтобы изменить результат. Оглядываясь назад, я понимаю, что мне следовало сильнее стукнуть по столу.

Вынесенные нами уроки довольно болезненны и дорого нам обошлись, и нам повезло, что основа нашего бизнеса была достаточно крепкой, и что дело не дошло до кризиса. Пройдя через все это мы станем лучше как компания, и, надеюсь, что мы больше не допустим подобных ошибок.