Customer development каждый день: как в Skyeng запустили фабрику качественных исследований и ускорили проверку продуктов

Рассказывает продакт-менеджер в компании Skyeng Владимир Баяндин.

Фото с конференции ProductSense

Зачем нужен отдел качественных исследований

В Skyeng у каждой продуктовой команды есть план по росту ключевых метрик. Чтобы его успешно выполнять, команде роста нужны сильные гипотезы по улучшению продукта и высокая скорость их верификации. Самый надежный способ проверить гипотезу — провести А/Б-тест.

Но на разработку варианта Б нужно потратить время и ресурсы, а чтобы результаты тестирования были статистически значимыми, нужно достаточно пользователей. Из-за дефицита трафика ещё год назад мы могли провести всего 1–2 полноценных А/Б-теста в месяц.

Учитывая, что 90% экспериментов не приносят результата, в лучшем случае мы могли получить всего два успешных теста за год. Желая ускорить работу команды, мы стали чаще прибегать к качественным исследованиям.

Начали с глубинных интервью. Порог входа невысокий: читаешь книжки Роба Фицпатрика «Спроси маму» и Стива Бланка «Четыре шага к озарению», проходишь курс Вани Замесина, много практикуешься и работаешь над ошибками, переслушивая свои интервью. Готово — я у мамки звезда Customer Development. Это звучит круче, чем просто глубинные интервью, правда?

Хорошая практика — проводить каст-дев самому продакт-менеджеру. Но бюджет сам себя не сверстает, требования для новых фичей не напишутся, а проектные планы не сделаются. На общение с клиентами у менеджера остаётся минимум времени.

При огромном хайпе вокруг каст-дева можно пересчитать по пальцам продактов, которые общаются с пользователями каждый день. Нам хотелось сделать качественные исследования обязательным этапом для проверки любой гипотезы, чтобы убивать самые слабые идеи без разработки.

Так появилась идея нанять человека, который будет заниматься глубинными интервью на фултайме. Конечно, такому специалисту может не хватать глубокого погружения в продукт, но лучше делать каст-дев чужими руками и получать стабильный поток обратной связи ежедневно, чем не делать его вообще.

Как выстроить этапы исследования

Любое исследование можно разбить на следующие шаги:

  • проектирование и планирование;
  • рекрутинг респондентов;
  • полевой этап сбора информации;
  • анализ результатов;
  • подготовка отчёта и презентация результатов;
  • валидация.

Остановимся подробнее на некоторых этапах.

Этап рекрутинга респондентов. Где взять пользователей, согласных на интервью? Мы тестировали различные варианты для привлечения респондентов, по каждому способу строили воронку: замеряли Open Rate, Click Rate, фиксировали конверсию в успешное интервью.

Провели несколько A/B­-тестов: искали оптимальные формулировки приглашений, тем писем, способов записи на интервью (например, calend.ly). Проверили даже, как лучше представляться исследователям: чем важнее придумаешь должность, тем больше шансов, что с тобой захотят пообщаться.

Теперь мы можем спрогнозировать воронку под каждое исследование: заранее планируем, сколько надо сделать звонков или отправить сообщений, чтобы получить нужное число респондентов для успешного исследования. Чаще всего мы привлекаем респондентов с помощью рассылок в мессенджерах — выручает сервис Textback.

Этап сбора информации. Skyeng перепробовал разные инструменты: Skype, Zoom, WhatsApp, телефония, чтобы определить оптимальный способ под каждую задачу.

С UX-исследованиями решили просто: используем Skype и Zoom, чтобы можно было шерить экран и записывать видео. Для наблюдений за пользователями в интерфейсных А/Б-тестах используем веб-визор Fullstory.

Для большинства глубинных интервью пользуемся IP-телефонией — у каждого ресерчера есть персональный аккаунт. Во-первых, это расширяет воронку привлечения: можем созвониться с учеником из любой точки России. Во-вторых, это экономит время: не нужно добираться до места встречи с исследователем, устанавливать дополнительные приложения — мобильный телефон есть у всех.

Нам важно как можно скорее получить обратную связь, пока свежи в памяти впечатления о нашей школе. В-третьих, кратно ускоряется оцифровка интервью: все звонки автоматически записываются, из телефонии их можно выгрузить для дальнейшей расшифровки.

У этого решения есть серьезный недостаток — мы не видим лиц респондентов, упускаем часть эмоций пользователей, но это справедливая цена, которую приходится платить за скорость.

Этап анализа результатов. После серии глубинных интервью мы начинаем получать одни и те же ответы на одни и те же вопросы, что позволяет нам отвергать или подтверждать гипотезы. Из массива собранной информации необходимо выделить инсайты.

Чтобы упростить анализ данных, мы обратились к методике из книги "Just Enough Research" Эрики Холл. Систематизируя ответы респондентов, мы выделяем:

  • цели — что человек хочет достичь;
  • приоритеты — что для него важно;
  • задачи — действия, предпринимаемые человеком для достижения целей;
  • мотиваторы — события, подталкивающие к выполнению задачи;
  • барьеры — то, что мешает выполнять задачи и достигать цели;
  • привычки — то, что человек делает регулярно;
  • отношения — люди, с которыми человек взаимодействует, выполняя задачи;
  • инструменты — объекты, с которыми он взаимодействует, выполняя задачи;
  • окружение — что ещё влияет на способность выполнять задачи и достигать цели.

Этап презентации результатов. Задача исследователей — дать продуктовой команде лаконичные выводы и рекомендации, а не кучу страниц непонятной информации. Чтобы получать структурированные и единообразные отчеты, мы разработали шаблон — набор из нескольких вопросов, на которые ресерчер должен ответить по завершении исследования.

Команде передается документ с отсортированным списком инсайтов, подтверждающих или опровергающих гипотезы, со ссылками на источники. Кстати, мы обнаружили, что инсайты для одной продуктовой команды могут оказаться полезными другим командам, поэтому создали единый реестр всех качественных исследований.

Этап валидации результатов. Когда делегируешь качественное исследование, может возникнуть желание верифицировать некоторые выводы, особенно если они сильно отличаются от ожиданий команды. Поэтому под каждым инсайтом исследователь приводит подтверждающие цитаты с указанием авторства, чтобы можно было поднять запись интервью и убедиться, что интерпретация была сделана корректно.

Сейчас каждый этап каст-дева регламентирован и шаблонизирован. Чтобы не быть голословным, покажу примеры исследований, проведенных нашими ресерчерами по этим регламентам.

Продуктовое исследование

Один из наших самых важных продуктов — бесплатный вводный урок, демо-версия Skyeng для новых пользователей. От его качества зависит, станет ли человек нашим учеником. Это сложный продукт из трех составляющих:

  • IT, поскольку он проходит в онлайне на нашей собственной платформе;
  • контент: в уроке есть сюжет, упражнения, иллюстрации, видео;
  • операционные процессы: урок проводят специалисты отдела продаж с отличным знанием английского языка, умением диагностировать проблемы потенциального ученика и подбирать оптимальный курс для их решения.

Задача команды: повысить ключевую метрику, конверсию в первую оплату.

Работу мы начали с количественного исследования, чтобы определить точки роста — достаточно крупные сегменты, которые сегодня конвертируются слабее. Выяснилось, что разумно начать с пользователей начальных уровней (beginner и elementary).

Мы предположили, что кастомизация вводного урока под ожидания этого сегмента приведет к росту конверсии. Аналитик сделал выборки пользователей, после чего ресерчеры провели несколько серий глубинных интервью: обсудили предыдущий опыт изучения языка, почему он оказался неудачным, цели человека, параметры выбора школы и оценки результатов.

С полученными инсайтами исследователи вернулись в продуктовую команду, которая на их основе прикинула, как можно изменить вводный урок, чтобы сгладить основные страхи, оправдать ожидания и доказать, что в Skyeng им понравится.

Для тест-драйва команда разработала прототип нового вводного урока, которому обучили менее 5% методистов вводных уроков. Обучать больше — долго и дорого, да и не нужно для качественного исследования. После нового вводного урока исследователи сразу же собирали обратную связь.

Были две очевидные группы: оплатившие и неоплатившие. У первых выясняли, что понравилось, у вторых — почему не купили, чтобы исправить неудачные решения, а успешные отмасштабировать на весь сегмент. По результатам первой итерации подтвердили часть гипотез, откинули самые слабые и придумали, как доработать урок.

Внеся изменения, запустили еще один черновой тест-драйв. На этом этапе проводили глубинные интервью с методистами — они ведь являются второй стороной процесса. Как только стали получать положительную обратную связь и от учеников, и от методистов, мы отправили урок в полноценное производство.

В результате получился вводный урок с сюжетной линией, который лучше удерживает внимание, но при этом спроектирован таким образом, что методист может легко адаптировать его под конкретного ученика, не разрушая целостности сюжета.

Финальную версию запустили в А/Б-тест и увидели, что с новым вводным уроком конверсия учеников начальных уровней значимо выросла на 3,3 процентных пункта.

Операционные исследования

Качественные исследования могут помочь прокачать не только продукт, но и операционные процессы компании.

Вот пример. Вводные уроки проводят методисты, сотрудники отдела продаж с высоким уровнем английского. Это сложная работа, которая помимо отличного знания языка и навыков продаж требует глубокого погружения в экосистему продуктов и образовательный контент.

Первые месяцы работы у большинства методистов-новичков показатели конверсии ощутимо ниже, чем у опытных сотрудников. Из-за быстрого роста школы нам приходится нанимать всё больше методистов — доля новичков в штате растёт, в результате чего снижаются средние показатели всего отдела.

Задача команды: придумать, как ускорить адаптацию методистов.

Первый этап — количественный. Аналитик на основе исторических данных определил средний период адаптации методистов и выделил две группы: те, кто выходил на хорошие конверсии раньше истечения этого периода, и те, кто заметно буксовал.

Смоделировали, как ускорение адаптации новичков повлияет на среднюю конверсию отдела и сколько денег это поможет заработать компании за следующие 12 месяцев.

Далее приступили к качественному этапу: провели глубинные интервью с представителями различных сегментов методистов и их руководителями. Определили, какие факторы больше всего влияют на скорость адаптации. Команда презентовала исследование отделу продаж. В результате исследования:

  • отдел продаж перестроил программу обучения методистов, чтобы заранее подготовить новичков к сложностям первых месяцев работы;
  • обновили инструкции и регламенты, которыми методисты активно пользуются в период адаптации;
  • установили, как сильно на скорость адаптации методиста может повлиять руководитель группы, это дало старт следующему ресерчу.

Исследование портрета идеального руководителя группы велось по той же схеме. По итогам для обучения руководителей групп был выведен отдельный специалист.

Для него и рекрутеров были подготовлены рекомендации: как изменить HR-профиль для найма подходящих кандидатов, что отличает эффективного руководителя группы методистов, чему в первую очередь стоит учить людей, чтобы они профессионально росли и подтягивали за собой других сотрудников.

На их основе была разработана специальная программа обучения для руководителей отдела продаж.

Планы

Сейчас в Skyeng уже пять исследователей. Каждый из них является важным игроком своей продуктовой команды, при этом все они объединены в горизонталь User Research. Ребята обмениваются опытом с помощью общего канала в Slack и еженедельных встреч, где обсуждают свою проблематику и необычные кейсы, а иногда приглашают гостей.

В ближайшее время мы хотим расширить наш арсенал методов качественных исследований, запустить пилотный проект по маркетинговым ресерчам и продолжить внедрение исследователей во все бизнес-вертикали. Присоединяйтесь к нам!

Спасибо Дмитрию Резникову, Оле Лысенко, Марии Янчаускайте и Алисе Вельмискиной за помощь в подготовке статьи.

0
27 комментариев
Написать комментарий...
Платон Щукин

Пятница же, вы что так длинно

Ответить
Развернуть ветку
Владимир Баяндин

Теперь это рубрика «Лонгрид на выходные»!

Ответить
Развернуть ветку
Цой жив

Странно, статья про SkyEng и без коронной фразы "У нас отличный ROI. Мы растем в три раза и наша оценка $160M".

Ответить
Развернуть ветку
Александр Наркутский

Читал и удивлялся, реально демо уроки проводят супер профи продажники? Может это свежее что-то.

Начинал 1.5 года назад, сменил 3 препода, надо отдать должное только один был откровенно слаб во всем по моему мнению. Ни разу не видел ни одного опроса кроме оценки качества связи и оценки урока, которая за год так и не поменялась.

Иногда звонят менеджеры уточнить действительно ли отменил урок или собираюсь ли выйти на связь после нового года на указанную дату, ничего кроме раздражения это не вызывает, хотя все вежливо и тактично)

В целом не увидел изменений в платформе, кроме незначительных в ux за все время. Писал о некоторых незначительных багах, исправляли.

Неоднозначное мнение о статье, иногда кажется что это все слегка раздуто. Всеж нет у продукта конкурентов в рф, в частности по количеству преподов , понятно ж что рост должен быть до насыщения.

Парни, исправьте это фичу когда ты не сменил раскладку и пишешь киррилицей, жмешь enter и получаешь ошибку и снижение балла. Пиздец же бесит, идиотизм.

Если нет мотивации, не тратишь время на погружение в среду, то выхлоп будет не ахти, скайенг не поможет. Ваш кеп.

И на мой взгляд главная ценность в преподах, а кастом дев где-то в хвосте. По крайней мере для меня

Ответить
Развернуть ветку
Mike Sverdlove

Ну как бы что бы это понять, чтобы понять сколько таких как ты и нужно исследование, все верно же описал :-)

Ответить
Развернуть ветку
Kirill Antoshin

С уважением отношусь к SkyEng как стартапу. Но никогда больше не буду пользоваться их услугами из-за неуважения. Я прошел тестовый урок и вляпался в их воронку продаж, словно в говно. Отряхнуться невозможно. И тоже самое прошла и моя супруга. Я очень сдержанный человек. Но меня вынудили наорать матом в трубку, прежде чем мне перестали названивать. Мне было неприятно отказывать каждый раз, когда они звонили. И я не помню когда ещё раз за последние годы я так на кого-то наорал. Это ужасно. А всё из-за талантливых продуктологов, проводящих гениальный касдев и суперских аналитиков. Которым абсолютно наплевать на своих клиентов. И нет ни капли человеческого уважения к клиенту. Я сейчас учу язык с репетитором, которого нашел в другом месте. Ибо теперь СкайЭнг я обхожу стороной.

Ответить
Развернуть ветку
Tatiana Komarova

Кирилл, здравствуйте. Спасибо за фидбек!
Вы в марте проходили тестовый урок, верно? Мы сейчас анализируем такие кейсы и пытаемся понять, что поправить в процессах, тогда и ваш кейс тоже включим в анализ.

Ответить
Развернуть ветку
Ульян Романов

Лол, просто поставить в таблице в строке с этим человеком "Послал нас нахуй" и все. Какие, лол, исследования?

Ответить
Развернуть ветку
Ксения Курбетьева

Интересно следить за логикой

Ответить
Развернуть ветку
Владимир Баяндин

Это сарказм?)

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Dmitry Bushkov

АВ тест не является самым надежным способом проверки гипотез. Стыдно в эпоху роста интереса к статистике делать такие заявления.

P.S. да я знаю что зануда, просто пишу научную работу, а тут такая фраза, что резанула глаз. Конечно, каждый использует свои методы проверки гипотез.

Ответить
Развернуть ветку
Владимир Баяндин

Дмитрий, какой способ считаете более надежным?

Ответить
Развернуть ветку
Dmitry Bushkov

Более надежные - статистические методы. Вообще научный подход позволяет принимать более взвешенные решения. Но ни один из способов измерения не дает 100% гарантии, конечно.

Ответить
Развернуть ветку
Yuri Ziborov

Какие методы?
Напишите статью - будет интересно

Ответить
Развернуть ветку
Иван Шишкин

Плюсую, ресерчер в команде = дополнительные 10 касдевов в неделю.

Готов поделиться кейсами, как быстро получал новые знания из исследований такого человека в команде

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
max buynoff

Скайенг - бизнес на стероидах. Кипиай у них царь и бог и дух святой. Сотрудников выжимают до капли. Зато рост серьезный

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Адрианов Алексей

Интересно.
"Финальную версию запустили в АБ-тест и увидели, что с новым вводным уроком конверсия учеников начальных уровней значимо выросла на 3,3 процентных пункта."
Но вот тут я видимо не уловил результатов, запустили в продакшен это решение?

Ответить
Развернуть ветку
Владимир Баяндин

В АБ запускали 50/50 на всех учеников начальных уровней. Сейчас уже запустили в продакшен, теперь пытаемся задетектить эффект на 100% аудитории. Все настолько сложно, что это тема для отдельной статьи)

Ответить
Развернуть ветку
Адрианов Алексей

Да, отдельная статья очень нужна! Интересно было бы узнать, сходится ли экономика с изменениями, я так понимаю меняется весь процесс в этой цепочке в тч найм и подготовка сотрудников. Круто что делитесь)

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Фахреддин Мирзоев

начал читать и на этом месте: "читаешь книжки Роба Фицпатрика «Спроси маму» и Стива Бланка «Четыре шага к озарению»" отключился монитор :) совпадение?

Ответить
Развернуть ветку
Владимир Баяндин

Не думаю!

Ответить
Развернуть ветку
Дмитрий Сильнов

На мой взгляд, в мире существуют всего лишь две отрасли, которые позволяют получать фидбек от аудитории в полной мере: кино/сериалы и игры, если обобщать - контент.
Продукты кинокомпаний и геймдева задают такой сетап, который провоцирует аудиторию высказываться, создавать рецензии и записывать видео: достаточно вспомнить hearthstone, где коммьюнити проводит reverse-engineering гейм-дизайна по каждой из карт с выходом каждого нового дополнения.
Вряд ли это можно полностью отнести к custdev, так как технологический подход к исследованиям разный, но в конечном итоге, качество фидбека исчерпывающее (к вопросу эмоций, движений и других "теллсов")
Именно поэтому, как мне кажется, продуктовые компании сейчас должны как минимум ощущать необходимость становиться чем-то вроде систем дистрибуции контента для пользователей (как нетфликс, в некотором роде, стим).
Но, безусловно, все это не отменяет того, что custdev в том виде, в котором он есть сейчас необходим, не смотря на то, что иногда эта история может напоминать культ-карго.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Ксенич

А какой результат в примере с операционными исследованиями? Увидели дополнительные деньги после новой программы адаптации и обучения руководителей? Или ещё не прошло 12 месяцев?

Ответить
Развернуть ветку
Denis Beskov

«Хорошая практика — проводить каст-дев самому продакт-менеджеру. Но бюджет сам себя не сверстает, требования для новых фичей не напишутся, а проектные планы не сделаются. На общение с клиентами у менеджера остаётся минимум времени.»

Э, чуваки, так вы же взяли на себя всю работу ПРОДЖЕКТА, а ключевую работу ПРОДАКТА — выявлять, какие именно проблемы решать — выплеснули с водой.

Если вы занимаетесь бюджетом, требованиями и планами — вы тупо проджекты :)

Ответить
Развернуть ветку
Виктор Суворов

"Учитывая, что 90% экспериментов не приносят результата, в лучшем случае мы могли получить всего два успешных теста за год."
То есть продакт в скайэнге генерит две полезные бизнес-идеи в год?
Вы вообще хотя бы свои оклады окупаете с такой бешеной производительностью?
Неплохо вы там работаете, поржал.

Ответить
Развернуть ветку
Albina Zakharenko

Был ли опыт использования онлайн форм для первоначальных опросов? Какие были результаты? Насколько использование форм менее эффективно? После первоначального опроса на выделенный сегмент, можно назначать с наиболее интересными респондентами интервью. И да, хотелось бы посмотреть пример, с цифрами, пусть относительными, и выводами, которые перевернули ваше знание о пользователе.

Ответить
Развернуть ветку
24 комментария
Раскрывать всегда