Customer development каждый день: как в Skyeng запустили фабрику качественных исследований и ускорили проверку продуктов

Рассказывает продакт-менеджер в компании Skyeng Владимир Баяндин.

В Skyeng у каждой продуктовой команды есть план по росту ключевых метрик. Чтобы его успешно выполнять, команде роста нужны сильные гипотезы по улучшению продукта и высокая скорость их верификации. Самый надежный способ проверить гипотезу — провести А/Б-тест.

Но на разработку варианта Б нужно потратить время и ресурсы, а чтобы результаты тестирования были статистически значимыми, нужно достаточно пользователей. Из-за дефицита трафика ещё год назад мы могли провести всего 1–2 полноценных А/Б-теста в месяц.

Учитывая, что 90% экспериментов не приносят результата, в лучшем случае мы могли получить всего два успешных теста за год. Желая ускорить работу команды, мы стали чаще прибегать к качественным исследованиям.

Начали с глубинных интервью. Порог входа невысокий: читаешь книжки Роба Фицпатрика «Спроси маму» и Стива Бланка «Четыре шага к озарению», проходишь курс Вани Замесина, много практикуешься и работаешь над ошибками, переслушивая свои интервью. Готово — я у мамки звезда Customer Development. Это звучит круче, чем просто глубинные интервью, правда?

Хорошая практика — проводить каст-дев самому продакт-менеджеру. Но бюджет сам себя не сверстает, требования для новых фичей не напишутся, а проектные планы не сделаются. На общение с клиентами у менеджера остаётся минимум времени.

При огромном хайпе вокруг каст-дева можно пересчитать по пальцам продактов, которые общаются с пользователями каждый день. Нам хотелось сделать качественные исследования обязательным этапом для проверки любой гипотезы, чтобы убивать самые слабые идеи без разработки.

Так появилась идея нанять человека, который будет заниматься глубинными интервью на фултайме. Конечно, такому специалисту может не хватать глубокого погружения в продукт, но лучше делать каст-дев чужими руками и получать стабильный поток обратной связи ежедневно, чем не делать его вообще.

Любое исследование можно разбить на следующие шаги:

Остановимся подробнее на некоторых этапах.

Этап рекрутинга респондентов. Где взять пользователей, согласных на интервью? Мы тестировали различные варианты для привлечения респондентов, по каждому способу строили воронку: замеряли Open Rate, Click Rate, фиксировали конверсию в успешное интервью.

Провели несколько A/B­-тестов: искали оптимальные формулировки приглашений, тем писем, способов записи на интервью (например, calend.ly). Проверили даже, как лучше представляться исследователям: чем важнее придумаешь должность, тем больше шансов, что с тобой захотят пообщаться.

Теперь мы можем спрогнозировать воронку под каждое исследование: заранее планируем, сколько надо сделать звонков или отправить сообщений, чтобы получить нужное число респондентов для успешного исследования. Чаще всего мы привлекаем респондентов с помощью рассылок в мессенджерах — выручает сервис Textback.

Этап сбора информации. Skyeng перепробовал разные инструменты: Skype, Zoom, WhatsApp, телефония, чтобы определить оптимальный способ под каждую задачу.

С UX-исследованиями решили просто: используем Skype и Zoom, чтобы можно было шерить экран и записывать видео. Для наблюдений за пользователями в интерфейсных А/Б-тестах используем веб-визор Fullstory.

Для большинства глубинных интервью пользуемся IP-телефонией — у каждого ресерчера есть персональный аккаунт. Во-первых, это расширяет воронку привлечения: можем созвониться с учеником из любой точки России. Во-вторых, это экономит время: не нужно добираться до места встречи с исследователем, устанавливать дополнительные приложения — мобильный телефон есть у всех.

Нам важно как можно скорее получить обратную связь, пока свежи в памяти впечатления о нашей школе. В-третьих, кратно ускоряется оцифровка интервью: все звонки автоматически записываются, из телефонии их можно выгрузить для дальнейшей расшифровки.

У этого решения есть серьезный недостаток — мы не видим лиц респондентов, упускаем часть эмоций пользователей, но это справедливая цена, которую приходится платить за скорость.

Этап анализа результатов. После серии глубинных интервью мы начинаем получать одни и те же ответы на одни и те же вопросы, что позволяет нам отвергать или подтверждать гипотезы. Из массива собранной информации необходимо выделить инсайты.

Чтобы упростить анализ данных, мы обратились к методике из книги "Just Enough Research" Эрики Холл. Систематизируя ответы респондентов, мы выделяем:

Этап презентации результатов. Задача исследователей — дать продуктовой команде лаконичные выводы и рекомендации, а не кучу страниц непонятной информации. Чтобы получать структурированные и единообразные отчеты, мы разработали шаблон — набор из нескольких вопросов, на которые ресерчер должен ответить по завершении исследования.

Команде передается документ с отсортированным списком инсайтов, подтверждающих или опровергающих гипотезы, со ссылками на источники. Кстати, мы обнаружили, что инсайты для одной продуктовой команды могут оказаться полезными другим командам, поэтому создали единый реестр всех качественных исследований.

Этап валидации результатов. Когда делегируешь качественное исследование, может возникнуть желание верифицировать некоторые выводы, особенно если они сильно отличаются от ожиданий команды. Поэтому под каждым инсайтом исследователь приводит подтверждающие цитаты с указанием авторства, чтобы можно было поднять запись интервью и убедиться, что интерпретация была сделана корректно.

Сейчас каждый этап каст-дева регламентирован и шаблонизирован. Чтобы не быть голословным, покажу примеры исследований, проведенных нашими ресерчерами по этим регламентам.

Один из наших самых важных продуктов — бесплатный вводный урок, демо-версия Skyeng для новых пользователей. От его качества зависит, станет ли человек нашим учеником. Это сложный продукт из трех составляющих:

Задача команды: повысить ключевую метрику, конверсию в первую оплату.

Работу мы начали с количественного исследования, чтобы определить точки роста — достаточно крупные сегменты, которые сегодня конвертируются слабее. Выяснилось, что разумно начать с пользователей начальных уровней (beginner и elementary).

Мы предположили, что кастомизация вводного урока под ожидания этого сегмента приведет к росту конверсии. Аналитик сделал выборки пользователей, после чего ресерчеры провели несколько серий глубинных интервью: обсудили предыдущий опыт изучения языка, почему он оказался неудачным, цели человека, параметры выбора школы и оценки результатов.

С полученными инсайтами исследователи вернулись в продуктовую команду, которая на их основе прикинула, как можно изменить вводный урок, чтобы сгладить основные страхи, оправдать ожидания и доказать, что в Skyeng им понравится.

Для тест-драйва команда разработала прототип нового вводного урока, которому обучили менее 5% методистов вводных уроков. Обучать больше — долго и дорого, да и не нужно для качественного исследования. После нового вводного урока исследователи сразу же собирали обратную связь.

Были две очевидные группы: оплатившие и неоплатившие. У первых выясняли, что понравилось, у вторых — почему не купили, чтобы исправить неудачные решения, а успешные отмасштабировать на весь сегмент. По результатам первой итерации подтвердили часть гипотез, откинули самые слабые и придумали, как доработать урок.

Внеся изменения, запустили еще один черновой тест-драйв. На этом этапе проводили глубинные интервью с методистами — они ведь являются второй стороной процесса. Как только стали получать положительную обратную связь и от учеников, и от методистов, мы отправили урок в полноценное производство.

В результате получился вводный урок с сюжетной линией, который лучше удерживает внимание, но при этом спроектирован таким образом, что методист может легко адаптировать его под конкретного ученика, не разрушая целостности сюжета.

Финальную версию запустили в А/Б-тест и увидели, что с новым вводным уроком конверсия учеников начальных уровней значимо выросла на 3,3 процентных пункта.

Качественные исследования могут помочь прокачать не только продукт, но и операционные процессы компании.

Вот пример. Вводные уроки проводят методисты, сотрудники отдела продаж с высоким уровнем английского. Это сложная работа, которая помимо отличного знания языка и навыков продаж требует глубокого погружения в экосистему продуктов и образовательный контент.

Первые месяцы работы у большинства методистов-новичков показатели конверсии ощутимо ниже, чем у опытных сотрудников. Из-за быстрого роста школы нам приходится нанимать всё больше методистов — доля новичков в штате растёт, в результате чего снижаются средние показатели всего отдела.

Задача команды: придумать, как ускорить адаптацию методистов.

Первый этап — количественный. Аналитик на основе исторических данных определил средний период адаптации методистов и выделил две группы: те, кто выходил на хорошие конверсии раньше истечения этого периода, и те, кто заметно буксовал.

Смоделировали, как ускорение адаптации новичков повлияет на среднюю конверсию отдела и сколько денег это поможет заработать компании за следующие 12 месяцев.

Далее приступили к качественному этапу: провели глубинные интервью с представителями различных сегментов методистов и их руководителями. Определили, какие факторы больше всего влияют на скорость адаптации. Команда презентовала исследование отделу продаж. В результате исследования:

Исследование портрета идеального руководителя группы велось по той же схеме. По итогам для обучения руководителей групп был выведен отдельный специалист.

Для него и рекрутеров были подготовлены рекомендации: как изменить HR-профиль для найма подходящих кандидатов, что отличает эффективного руководителя группы методистов, чему в первую очередь стоит учить людей, чтобы они профессионально росли и подтягивали за собой других сотрудников.

На их основе была разработана специальная программа обучения для руководителей отдела продаж.

Сейчас в Skyeng уже пять исследователей. Каждый из них является важным игроком своей продуктовой команды, при этом все они объединены в горизонталь User Research. Ребята обмениваются опытом с помощью общего канала в Slack и еженедельных встреч, где обсуждают свою проблематику и необычные кейсы, а иногда приглашают гостей.

В ближайшее время мы хотим расширить наш арсенал методов качественных исследований, запустить пилотный проект по маркетинговым ресерчам и продолжить внедрение исследователей во все бизнес-вертикали. Присоединяйтесь к нам!

Спасибо Дмитрию Резникову, Оле Лысенко, Марии Янчаускайте и Алисе Вельмискиной за помощь в подготовке статьи.

#skyeng #customerdevelopment