Как проводить исследования и управлять IT-продуктом? Методика HADI-циклов

Привет! Я Сергей, менеджер продукта в Selectel. Успех на IT-рынке во многом зависит от грамотного управления продуктом. Для этого компании проводят исследования и эксперименты. В тексте расскажу об универсальном алгоритме, который помогает вносить изменения на основе данных, а также покажу, как применять его на практике.

Используйте навигацию, если не хотите читать текст полностью

→ Зачем влиять на продукт

→ Как управлять продуктом

→ Шаг 1. Исследование

→ Шаг 2. Проведение эксперимента

→ Шаг 3. Управление изменениями

→ Шаг 4. Оценка эффективности

→ Заключение

Независимо от того, ставит ли компания перед собой стратегические или краткосрочные цели, основная — получение прибыли. Это справедливо даже в том случае, если компания ориентируется на другие показатели — например, привлечение новых клиентов или повышение узнаваемости бренда. Ведь в итоге они влияют на прибыль компании. Поэтому важно проводить тщательный анализ продукта и его окружения, чтобы обеспечить стабильный рост и развитие компании из года в год.

Рассмотрим несколько причин, почему компаниям важно управлять продуктами, и как это делаем мы.

Динамичный рынок

На B2B-рынке клиенты — это люди, которые развивают свой бизнес. Их условия и запросы постоянно меняются вместе с запросами конечных клиентов. Например, во время пандемии увеличилось количество удаленных работников, а физические развлечения для людей были заменены онлайн-контентом.

Компаниям срочно потребовались удаленные рабочие места и ресурсы для работы. Из-за этого резко вырос спрос на инфраструктурные решения: серверы, облака и хранилища. И это лишь один из примеров, когда в моменте меняется буквально все.

Конкуренты

Если бизнес не работает в «голубом океане», он сталкивается с конкуренцией. Каждый хочет предложить клиентам качественные продукты и выделиться на фоне других компаний. Исследование конкурентов помогает компаниям улучшать свои продукты, чтобы не допустить оттока текущих клиентов и привлечь новых.

Обновление оборудования

Несколько раз в год вендоры выпускают новое серверное «железо», это особенность IT-индустрии. Зачастую они превосходят по мощности и производительности предыдущие поколения. Одновременно с этим растут и требования к программному обеспечению, которое использует бизнес.

Таким образом, интересы обеих сторон совпадают, и клиенты обращаются к нам за новым оборудованием. Этот подход справедлив не только для мира IT: инновации присутствуют во многих аспектах нашей жизни.

Подписочная модель

В IaaS-бизнесе клиенты каждый месяц заказывают услуги провайдеров и отказываются от существующих. Это нормальный процесс, если число новых заказов больше, чем отказов. Только так бизнес продолжает расти. Эта модель значительно отличается от транзакционной модели продаж, когда человек единоразово покупает продукт и только в исключительных случаях возвращает его обратно.

HADI-циклы — отличный инструмент для проверки идей и принятия решений на основе данных. Они помогают быстро тестировать гипотезы и определять, какие из них работают, а какие нет. Это экономит время и ресурсы, а также повышает эффективность работы над продуктом.

Мы немного видоизменили эту схему и теперь она выглядит так:

В ней мы делим процесс на четыре этапа. Сперва исследуем рынок, определяем текущую ситуацию и формулируем гипотезы. Проводим эксперименты, чтобы подтвердить их или опровергнуть. По результатам экспериментов вносим изменения в продукт и оцениваем эффект. Затем снова исследуем рынок и продолжаем эксперименты для масштабирования или внедрения новых изменений. Рассмотрим каждый этап подробнее.

Исследования — это важный этап в процессе управления продуктом. Для этого нам необходимо изучить:

Каждый из этих пунктов можно расписать в отдельную статью, поэтому я поделюсь некоторыми полезными практиками, которые использую в своей работе.

Конкуренты

Бенчмарки конкурентов

Один из эффективных способов исследования конкурентов — составление бенчмарков. Мы выбираем критерии, по которым проводим сравнение, и заполняем таблицу по нашим соперникам. Например, по сравнению с компанией N у нас есть полезные инструкции по работе с продуктом, поэтому клиенты реже обращаются в техподдержку за помощью.

Когда результаты ваших продуктов лучше конкурентов, выделяйте ячейки зеленым цветом. И наоборот: когда у конкурентов положение лучше — красным. Красные ячейки — точки роста в продукте.

Парсинг продуктов конкурентов

Основная характеристика продукта — это цена. Отслеживать ее у конкурентов можно в ручном режиме. Но если ассортимент продуктов широкий, в ассортименте есть более 100 фиксированных конфигураций выделенных серверов, — поможет автоматизация с помощью парсера.

Благодаря такому подходу можно сравнить цены на аналогичные продукты у вас и конкурентов. В случае логирования (структурирования по хронологии) данных, вы можете отслеживать появления новых продуктов на рынке и изменение цен в динамике. А также — продукты по остаткам, если конкуренты предоставляют такую информацию. Эти данные могут стать для нас полезным источником знаний.

Однако вопрос интерпретации данных остается на ваше усмотрение. К примеру, у конкурента резко увеличился запас конкретной позиции. Означает ли это, что запас был пополнен новой закупкой? Вовсе нет, от крупной партии или резерва могли просто отказаться клиенты.

Ошибки в исследовании конкурентов

Мы можем ошибиться с интерпретацией данных, когда анализируем деятельность конкурентов. Один из примеров, когда резкое изменение стоков может означать два противоположных явления, я привел выше.

Второй пример некорректной интерпретации данных — это различные бестселлеры, товары дня и лидеры продаж. Допустим, вы видите высокую активность продукта у конкурента и автоматически предполагаете, что он популярен. Однако за ярлыками «топ продаж» может скрываться неликвидный товар, который продвигают таким нехитрым способом. Чтобы избежать ошибок, сравнивайте эти данные с вашими лучшими продуктами и здравым смыслом.

Клиенты

Чтобы узнать потребности клиентов, мы используем количественные и качественные исследования. Например, фреймворк Jobs to be done, опросы и интервью. Далее задаем нашим или потенциальным клиентам важные вопросы. Ниже перечислили несколько, но вы можете сформулировать и собственные:

Рассмотрим пример, в котором исследование помогло принять верное решение в продукте.

Перед вами — график продукта с подписной моделью. На графике видно, что начиная с сентября 2022 года начался отток клиентов. Красная линия с отказами стала почти в два раза выше, чем черная с заказами.

У нас была гипотеза: отток связан со стоимостью продукта, поэтому клиенты переходят к более дешевым решениям. Чтобы опровергнуть или подтвердить эту гипотезу, мы запустили опрос для клиентов, которые отказались от продукта. Большая часть из них — это b2b-сегмент.

Мы выяснили, что конечные пользователи наших клиентов перестали пользоваться их сервисами. Из-за этого клиенты стали закрывать свои проекты. На такие причины практически невозможно повлиять изменением цены в продукте или дополнительными бонусами. Ведь если вам не нужны лыжи летом, вероятно, вы не возьмете их в аренду даже со скидкой 50%.

Продукт

В продуктовом менеджменте есть принцип: продукт, который стоит меньше, не должен быть лучше по характеристикам, чем тот, который стоит больше. Выглядит это так:

Серверы с большим объемом памяти и дисков стоят дороже, чем первая модель в списке. В исследованиях продукта мы идем дальше и проводим тесты.

На картинке — результаты тестирования серверов для баз данных. Они показывают, что более дешевая конфигурация может быть производительнее для определенной задачи.

Это нормально, когда продукт зависит от характеристик железа, которые «заточены» под конкретные задачи. В этом случае мы просто демонстрируем клиенту выгоду и подсказываем, какое решение будет оптимальным.

Итак, вы оказались в точке, где исследования показывают, что все в порядке. Вы комплексно изучили конкурентов, клиентов, продукт и поняли, что готовы к изменениям. Что делать дальше? Проводить эксперимент!

A/B-тест

Я считаю, что A/B-тест — один из лучших способов проведения экспериментов для оценки двух вариаций продукта — например, с изменениями и без. Для его проведения есть четкий дизайн, но в сегменте B2B компании могут столкнуться с тем, что достичь статистической значимости практически невозможно из-за объема выборки. Так, например, когда у компании небольшое количество клиентов в продукте, A/B тестирование может растянуться на годы. Такой срок сложно назвать приемлемым для быстрой оценки эффективности изменений.

Квазиэксперимент

Если необходимо оценить эффективность изменений в продукте, а A/B-тест не подходит, мы используем квазиэксперимент. Вот как выглядит его дизайн:

Главный недостаток такого квазиэксперимента в том, что мы не можем полностью исключить влияние внешних факторов. На выходе у нас остается вероятность, что на продукт повлияло что-то второстепенное, не только ваши изменения. Это может быть, например, рынок, сезонность или поведение конкурентов. Однако в случае, когда невозможно провести A/B-тест, квазиэксперимент — объективный инструмент для оценки изменений в продукте.

Важный момент: мы вносим только одно изменение в продукт. Иначе будет невозможно оценить вклад каждого фактора в общий результат. Часто такая ситуация возникает по ошибке. Например, если вы одновременно подсвечивали некоторые продукты в топе выдачи сайта и бесплатно давали клиенту бонус к этим же продуктам. Продажи выросли, но из-за чего конкретно — определить невозможно.

После проведения квазиэксперимента становится понятно, влияют ли изменения в продукте на выбранные показатели, а также — случайны ли изменения или вообще не было никакого влияния на продукт.

В случае, если значимость изменений подтверждена, компании могут масштабировать изменения на все сегменты в продукте. Например, если вы проводили эксперимент только на одной группе клиентов и изменения оказались успешными, можно использовать решение на схожих группах клиентов.

После масштабирования необходимо выполнить несколько шагов:

Таким образом, в какой-то момент времени вы снова вернетесь в начало вашего цикла.

Управление продуктами — важный процесс для роста компании. Сегодня его сложно представить без гипотез, исследований и экспериментов. Эти инструменты помогают компаниям принимать максимально эффективные решения.

Исследуйте, экспериментируйте, меняйте продукт и оценивайте эффект. А затем запускайте цикл на новый круг и продолжайте улучшайте свои продукты.

#selectel #hadi_цикл #продукт #управление #управлениепродуктом #конкуренты #клиенты #рынок #исследование