Как делать Conjoint-анализ, чтобы максимизировать пользу для бизнеса

Мы в РАДАРе делаем маркетинговые исследования на всех этапах жизни продукта. Одним из самых сложных и одновременно интересных этапов является выведение на рынок нового продукта. Уровень неопределенности в такой момент зашкаливает, гипотезы нельзя проверить простой аналитикой продаж похожих продуктов, запуск продукта без тестирования может обернуться провалом.

Одним из методов тестирования продукта в привязке к цене является Conjoint-исследование. В мае 2021 RADAR.Школа провела митап с участием российских практиков Conjoint-анализа, которые работают «на стороне клиента». Поговорили о том, зачем нужен Conjoint, вспомнили моменты, которые нужно учесть, чтобы результаты исследования дали ответ на вопрос, какой продукт, в каком составе и по какой цене выпускать в свет. Посмотрели, какие бывают Conjoint-симуляторы и как «собрать» продукт, который даст максимум выручки или прибыли.

Спикеры митапа:

• Дмитрий Попов - коммерческий директор Tomi.ai, ex-McKinsey, член наблюдательного совета Банка “УРАЛСИБ”

• Дмитрий Михайлов - ведущий эксперт по маркетинговым исследованиям компании «Вымпелком» (Билайн). В прошлом – Research-директор агентства RADAR

• Альберт Бабаян - менеджер по исследованиям продуктов для массового рынка компании «МегаФон».

• Александр Земсков - исполнительный директор агентства RADAR

Модератор: Марк Шафир - генеральный директор агентства RADAR

В рамках митапа мы практически не затрагивали «теорию», поэтому если вы ничего о нем не слышали, либо давно не работали с ним, рекомендуем освежить знания – вспомнить, что такое атрибуты, уровни атрибутов, важности и полезности. Напомним, Conjoint-исследование требует специальной методики задавания вопросов в анкете – с выбором продукта в имитируемом конкурентном окружении и ротацией атрибутов продуктов. Посмотреть, как выглядит анкета, можно здесь.

Основной результат Conjoint-анализа – это понимание реальной ценности параметров продукта для потенциального клиента, или за что конкретно клиенты готовы платить деньги, и сколько они готовы заплатить. Данное понимание складывается из следующих вещей:

Эластичность спроса

...не только ценовая. Conjoint открывает бизнесу глаза на чувствительность целевой аудитории к изменению разных атрибутов продукта. Например, для банковского вклада можно оценить, насколько вкладчики готовы «уступить» банку по ставке за возможность частичного снятия. Зная силу влияния каждого атрибута на уровень спроса, можно смоделировать изменение выручки и прибыли в ответ на каждое возможное изменение в продуктовом предложении или позиционировании.

Ценность упаковки продукта

Мысль о том, что «упаковка продает» актуальна не только для товаров, выпускаемых «с конвейера». В цифровых продуктах «упаковкой» является то, через какие выгоды мы коммуницируем продуктовое наполнение.

Сила бренда

В подавляющем большинстве случаев при покупке любого товара бренд имеет значение. Conjoint позволяет просчитать силу бренда в деньгах, что помогает понять, насколько можно поднять цену, не теряя клиентов; или насколько ее нужно снизить, чтобы «переключить» приверженцев брендов конкурентов.

Сегментация по покупательским предпочтениям

Conjoint-анализ позволяет получить так называемые «индивидуальные полезности» и сделать на основе них кластерную сегментацию, которая поможет составить продуктовую линейку с учетом предпочтений разных групп клиентов.

Conjoint - это масштабная и достаточно сложная методика. Разумно применять его долгосрочно и регулярно, для принятия стратегических решений, которые принципиально улучшают конкурентную позицию и бизнес-показатели компании. Рассмотрим, в каких ситуациях подходит Conjoint-исследование:

Готовится запуск продукта / линейки продуктов

Наиболее частая бизнес-задача Conjoint-исследований – тестирование продукта перед запуском. Это может быть «соло-продукт» с большим количеством атрибутов, а также продуктовая матрица (продукт, состоящий из нескольких подпродуктов, например тарифная линейка в телекоме). Conjoint помогает оценить «экономику» продукта, сформировать максимально успешные сочетания атрибутов и выстроить ценообразование.

Изменения на рынке

Как правило, Conjoint-исследования проводят при планировании изменений в продуктовой линейке или ценообразовании. Однако, бывают ситуации, когда надо понять реакцию рынка на действия конкурента (например, если конкурент вышел с новым предложением), чтобы решить задачу, менять ли что-то или оставить все как есть.

Цены требуют пересмотра

Если финансовый департамент настаивает, что снижать цену категорически нельзя, было бы очень кстати показать ему финансовую модель, где видно, как взлетает спрос при сниженной цене, и как это увеличивает EBITDA. Такую финансовую модель строят с учетом прогнозных долей выбора при изменениях цены, которые получены с помощью Conjoint-анализа.

Нужно понять рынок

Три предыдущие задачи можно решить в рамках одного исследования. Но помимо конкретного продукта можно сфокусироваться на рынке в целом.

В масштабе индустрии Conjoint позволяет сформировать “супермодель” рынка, из которой понятны его тенденции, включая интересы сегментов ЦА и восприятие конкурентного окружения. На основе такой супермодели можно смоделировать изменение долей рынка в ответ на определённые действия игроков и построить качественную долгосрочную стратегию. Зачастую создание супермодели стоит ненамного больших усилий, чем анализ отдельной продуктовой линейки, а пользы приносит гораздо больше.

Бюджет на аналитику не резиновый

Да, Conjoint - не дешёвая методика. Но если сравнивать его применение с длинной серией разрозненных concept-тестов, бюджет одного Conjoint-исследования часто оказывается выгоднее. Если же учесть, что Conjoint сразу даёт целостную и гораздо более точную картину, чем набор других тестов, эффект ещё больше. Наконец, основной экономический выигрыш создаётся за счёт внедрения рекомендаций, сделанных на основе аналитики.

Разработка (оптимизация) продукта - дело непростое. Сложность вызывает нехватка данных о продажах или о рынке, отсутствие look-alike модели, избыток атрибутов продукта, сложная взаимосвязь между ними и пр. Очень часто отдельные характеристики (например, минуты и гигабайты в телекоме) всем понятны, а определить привлекательность их комбинаций крайне сложно. И чем сложнее ситуация, тем нужнее Conjoint. Разберём, как он работает.

Роли в процессе

Результат исследования зависит от продуктивного взаимодействия трёх сторон:

1. Бизнес-заказчик. Это коммерческое подразделение или топ-менеджмент компании, который ставит бизнес-задачу. Он принимает решения о выпуске продукта на рынок, изменении продукта, изменении цен и т.д.

2. Департамент маркетинга / аналитики. Они действуют по поручению бизнес-заказчика, организовывают исследования, формируют рекомендации по продукту. Они находят исследовательское агентство и формулируют ему задачу на исследование. Задача может включать продуктовые гипотезы, которые маркетологи сформулировали и хотят проверить.

3. Исследовательское агентство. На него ложится основная ответственность за проведение проекта, от выбора методологии до презентации результатов.

Бизнес-заказчик обращается к маркетингу за рекомендациями по развитию продукта. Маркетинг обрабатывает запрос, формулирует гипотезы и привлекает агентство. После этого начинается проект, который мы разберём по шагам.

Всё начинается с брифинга с участием бизнес-заказчика. В брифе есть несколько основных тем, с которыми нужно определиться до запуска исследования.

Тема 1. Продукт. Мы выясняем атрибуты продукта, взаимосвязь между ними, значимость каждого атрибута с точки зрения заказчика и их возможные уровни (уровнями в Conjoint называются значения каждого качественного или количественного атрибута, в том числе конкретные тестируемые цены).

Важно исключить нереалистичные уровни отдельных атрибутов. Нереалистичными они могут быть из-за юридических, бюджетных ограничений, несходимости unit-экономики и пр. Чтобы отсечь всё лишнее, задаём въедливые вопросы, переспрашиваем “почему” по пять раз и т.д.

Кроме отсекания лишнего, стоит учесть и то, в каких направлениях продукт может развиваться и дополняться в будущем. Понимание такой перспективы на полгода - год может избавить заказчика от лишних исследований в будущем.

Тема 2. Бизнес-задача: запуск нового продукта или улучшение старого, изменение цен или пересмотр каких-то условий? Мы также выясняем имеющиеся продуктовые гипотезы, например “если дать гарантию два года, все конкуренты могут отдыхать”.

Тема 3. Целевая аудитория. Нас интересует, как заказчик сегментирует свою целевую аудиторию, и насколько различается продуктовое предложение для сегментов. Обращаем внимание на критерии географии (в разных регионах на продукты могут быть разные цены, необходимо это учесть) и степени знакомства сегментов с продуктом: от этого всегда зависит восприятие продукта и цен.

Кроме этих трёх тем, мы принимаем к рассмотрению любую дополнительную информацию: пригодится всё. Например, наброски внешнего вида продукта могут быть использованы в самом опросе.

После брифинга мы берём время на погружение в тему и изучение специфики продукта. Потом встречаемся повторно и валидизируем все вводные.

На этом шаге вводные превращаются в опрос, а опрос - в массив данных. Самая ответственная задача - избрать максимально пригодную методологию Conjoint-исследования, которая гарантирует полезность результатов.

Порядок определения методологии

Шаблонные решения в Conjoint применяются все реже. Каждый раз требуется кастомизация методологии. Это зависит от типа продукта, типа бизнес-задачи, типа симуляции, и типа метода Conjoint-исследования.

В контексте Conjoint-анализа продукты можно условно разделить на три типа:

Бизнес-задачи тоже можно условно разделить на три типа:

Классифицировав продукт и бизнес-задачу, надо определиться с типом симуляции, т.е. что именно будет симулировать итоговая модель:

Тип метода определяем в последнюю очередь:

Пройдя все шаги определения типа продукта, типа задачи, типа симуляции и типа Conjoint, мы получаем методологию исследования.

Учесть все нюансы

Чтобы результаты исследования были достоверными, оно должно быть приближено к реальной ситуации выбора. Для этого мы учитываем шаг Customer Journey, на котором принимает решение реальный потребитель, и канал коммуникации, в котором это происходит: сайт, приложение, печатный проспект и т.д. Учитываем контекст, в котором будет происходить реальный выбор, например спешка или спокойное состояние. Учитываем особенности ЦА.

Атрибуты на экранах перечисляются в том же порядке, в котором потребитель привык видеть их, и даже визуальное оформление экрана может напоминать витрину в интернет-магазине заказчика или вёрстку его печатных материалов.

Как правило в каждый экран включают вариант “ничего из перечисленного”. Он необходим, потому что в реальности потребитель всегда может не купить ничего или продолжить пользоваться нынешним продуктом (тарифом). Отсутствие этого варианта чревато “эффектом дьявола”: не видя хороших вариантов, респондент может выбирать что попало, портя результаты исследования.

Есть и противоположный “эффект бога”: некоторые респонденты любят выбирать в опросе лучшее предложение, забывая о бюджетном ограничении. Такое поведение мы отслеживаем и исключаем, потому что в реальности никто не совершает покупку без учёта цены. Простейший способ валидизировать ответы “щедрых” респондентов - добавить вопрос: “действительно ли вы готовы купить выбранный продукт?” - на следующем шаге после каждого выбора, со шкалой ответов от “совсем не готов” до “точно да”. Ещё один радикальный способ приблизить опрос к реальной ситуации покупки - предложить оставить контактные данные в конце опроса.

Допущения

Дизайн исследования не обходится без допущений. Нужно держать в голове, что в реальной жизни у потребителей другая ситуация выбора, и исследование – это всего лишь симуляция выбора, которая дает прогноз, но не точный ответ о будущих продажах. Перечислим самые распространённые и поясним, как не нанести ущерб достоверности результатов.

1. В реальной жизни 100% целевой аудитории НЕ знают о продукте и конкурентах. Это допущение следует помнить, когда в итоге исследования мы видим, что 42% опрошенных купят какой-то вариант продукта. Мы же знаем, что такой доли рынка ни у кого нет! На самом деле эти 42% нужно умножить на все предшествующие конверсии в воронке привлечения аудитории. Если среди вариантов присутствует упомянутая baseline-модель, результат рассматривается относительно неё, а не относительно мифических 100%.

2. В реальной жизни каждый потребитель НЕ перебирает все варианты продукта. В реальности потребители действуют не совсем рационально и довольствуются сравнением нескольких вариантов, попавших им на глаза. Чтобы максимизировать реалистичность исследования, мы делаем меньше экранов на одного респондента и как можно большую выборку.

3. В реальной жизни потребители НЕ обладают полной информацией по всем продуктам. Обычно потребитель учитывает в своём выборе 2-3 атрибута. И наоборот, есть латентные факторы, которые не можем учесть ни мы, ни сам потребитель, потому что они неосознанные. В этой связи нет смысла включать в описание вариантов продукта абсолютно все атрибуты. Включаем те, которые реально менять.

Когда опрос сформирован, мы предлагаем его определённой выборке респондентов. Самое интересное начинается, когда данные опроса собраны...

На основе собранных данных разрабатывается веб-симулятор.

В симулятор встроена модель потребительского выбора, на основе которой можно вычислить степень предпочтения продуктов в зависимости от их характеристик.

На основании этих результатов можно прогнозировать долю выбора конкретных вариантов продукта (не путать с долей рынка) и долю выбора каждого решения по сравнению с каждым другим. Это позволяет выбрать лучший продукт (или продуктовую линейку) в вакууме, т.е. как если бы мы были на рынке одни.

С помощью симулятора агентство проверяет продуктовые гипотезы, сформулированные до начала исследования. Бизнес-подразделения со своей стороны тоже делает симуляцию различных рыночных сценариев, формируя новые гипотезы уже на основе полученных долей выбора продукта и сразу проверяя их. Совместно с маркетинговым департаментом заказчика, на основе настроенного симулятора агентство даёт продуктовые и ценовые рекомендации бизнесу.

Моделирование нашего продуктового предложения в контексте рыночной конъюнктуры позволяет нам ответить на два вопроса:

Конъюнктуру рынка полезно рассматривать в динамике. Если мы понимаем тренды, мы можем в рамках одного исследования смоделировать вероятное состояние рынка через месяц, квартал, полгода. Для этого иногда приходится ввести в модель атрибуты, которыми наш продукт ещё не обладает, но которые уже появились у кого-то из конкурентов и могут начать распространяться. Видя, как меняется положение нашего продуктового предложения по мере изменения конъюнктуры, мы можем его редактировать для большей долгосрочной устойчивости.

На смысловом уровне симулятор умеет решать четыре основных типа задач, по отдельности или в комбинации.

а) Создание рыночных сценариев с долями выбора продуктов

Каждый сценарий - это модель распределения предпочтений потребителей между несколькими продуктами при заданных уровнях атрибутов каждого продукта. “Доля выбора” - это вероятность, с которой потребитель выберет каждый товар из набора, который смоделирован в симуляторе, при прочих равных условиях. “Доля рынка” данного товара отличается, потому что на реальном рынке вариантов гораздо больше.

В качестве примера - сценарий для 6 брендов мороженого, где «Moscow Ice» - это бренд заказчика, а «Ice Magia» – это ближайший конкурент с похожей продуктовой линейкой. В симуляторе отражены основные итоговые показатели при выбранных настройках продукта: доля выбора, выручка и прибыль. Меняя уровни атрибутов, в т.ч. цены, можно оптимизировать эти целевые показатели, наблюдая результаты в режиме реального времени.

Вместо доли выбора на этом экране указана “Доля рынка”. Она рассчитывается исходя из “доли выбора”, то есть внутреннего результата Conjoint-исследования, и реальных данных продаж baseline-продукта.

Baseline-модель – это существующий продукт (или очень похожий на него). Поскольку его реальные продажи и доля рынка известны, все абстрактные результаты Conjoint-исследования, такие как относительные доли потребительских предпочтений, легко превратить в прогноз реальных бизнес-результатов в штуках и рублях на основе сравнения с продажами / долей предпочтений baseline-продукта.

б) Сравнение нескольких сценариев

Симулятор сохраняет построенные рыночные сценарии и показывает относительное изменение бизнес-результатов избранного сценария относительно базового. Таким образом можно увидеть результаты каждого потенциального действия заказчика или его конкурентов: изменение цен, изменение продукта и т.д. Симулятор показывает статистическую значимость изменений при выбранном уровне значимости: 90%, 95% или 99%.

в) Создание рыночных сценариев в разрезе по группам респондентов

Доли выбора различаются от одного сегмента ЦА к другому. Симулятор позволяет увидеть, какой эффект каждое действие заказчика произведёт на поведение каждого сегмента в отдельности. Благодаря гибкости симулятора можно быстро проверять точечные гипотезы: “Получится ли переманить у конкурента молодежь, дав повышенный кэшбэк на такси?”; “Не потеряем ли мы стариков, повысив тариф при включённой опции смс-оповещений?” - и т.д.

г) Анализ кривых спроса

Симулятор показывает, как меняется соотношение долей выбора между заданными продуктами при изменении уровня цен. Таким образом можно оценить ценовую эластичность на каждом участке кривой спроса.

д) Калибровка результатов по реальным данным продаж

Уже после моделирования на основе опросных данных симулятор позволяет сравнить результаты с реальными цифрами (благодаря включению baseline-продуктов с данными реальных продаж) и при необходимости скорректировать настройки модели.

Заказчика исследования как правило интересуют не промежуточные синтетические показатели, а прогноз бизнес-результатов. Поэтому для презентации мы конвертируем полученные цифры в оценку потенциала продаж в рублях, прироста валовой прибыли, R&A показатели, а также рекомендации по выводу продукта на рынок.

Conjoint родом из b2c, поэтому однозначно подходит для потребительских продуктов.

Методика применима также и для b2b, но размер имеет значение. Как количественное исследование, он хорошо работает в случае если целевой аудиторией продукта является малый бизнес (оборот до 2 млрд ₽ в год), где респондентов огромное количество.

Минимальный размер выборки для исследования с небольшим количеством атрибутов - 300 респондентов. Если в исследовании много атрибутов и ключевых разрезов анализа, минимально необходимая выборка может достигать 1500-2000 человек.

Чем крупнее b2b-клиенты в целевой аудитории продукта, тем сложнее обеспечить эти условия: во-первых, мало респондентов; во-вторых, степень участия каждого респондента в принятии решений внутри компании трудно учитывать. В качестве выхода, можно опрашивать большое количество участников принятия решений в каждой компании.

Самая общая причина редкого применения Conjoint и других продвинутых методов продуктовой аналитики - недостаток информации у менеджеров по исследованиям. В свою очередь, осведомлённые специалисты часто затрудняются донести до топ-менеджмента ценность аналитики для бизнеса.

Другая причина - организационная. В отличие от западных компаний, где маркетинговый департамент играет ведущую роль в разработке и развитии продукта, во многих российских компаниях маркетинг занимает подчинённое положение по отношению к коммерческим и операционным подразделениям, в том числе в вопросах product-менеджмента. Удел маркетологов в такой структуре - коммуникации. Основная миссия маркетинга - помогать компании приносить ценность целевым клиентам - с них снята. Это большая проблема, потому что даже если добросовестный маркетолог соберёт массу полезной обратной связи от рынка, у него недостаточно возможностей донести свои инсайты до коммерческого департамента. Эта пропасть между волей и знанием дорого нам обходится.