Conjoint-анализ: чем отличается «симуляция предпочтений» от «симуляции рынка»

Видя реакцию Заказчика на симуляторы (особенно если это бизнес-заказчик), сразу ощущаешь как вкусно для них выглядит эта гипотетическая доля рынка, умноженная на цену и дающая выручку на 1000 клиентов. Чувствуется, как они все это сразу в уме умножают на реальные объемы своих клиентских баз и получают миллионы денег.. Иногда ты и сам знаешь примерно эти объемы по некоторым клиентам и публичным компаниям, и очень полезно все это перемножить и прикинуть, сколько стоит один процент доли рынка в симуляторе, который ты предоставляешь в результате исследования. Обычно этот один процент сопоставим с десятками, а часто и сотнями миллионов рублей.

По факту симулятор нам показывает не долю рынка, а степень предпочтения между тестируемыми альтернативами в гипотетической ситуации выбора. Например, мы провели conjoint-исследование с выборкой 1000 респондентов и моделируем сценарий, в котором у нас есть три каких-то продукта. Допустим, симулятор нам выдает следующие цифры: Product1 — 20%, Product2 — 25%, Product3 — 45%, None — 10%, и в нем для симуляции используемся метод первого выбора (FirstChoice) . Это значит, что из этих трех продуктов первый продукт имеет наибольшую полезность у 200 респондентов, второй – у 250 респондентов, третий — у 450 респондентов из нашей выборки в 1000 человек. При этом 100 респондентов вообще не выберут ни один из этих продуктов.

Почему симуляция предпочтений – это не то же самое, что симуляция рынка

Даже если наша выборка максимально репрезентативна (у каждого представителя исследуемой совокупности действительно был одинаковый шанс попасть в эту выборку) , и респонденты отвечали максимально вдумчиво и осознанно, результаты нашей симуляции и реальные объемы продаж этих продуктов совпадут только при выполнении следующих гипотетических условий:

- На рынке в один момент появились только три этих продукта;

- Продукты отличаются только тестируемыми параметрами (пусть это цена, вкус, цвет, объем, срок гарантии) , все остальное неизменно;

- Информация об этих трех продуктах, их доступности, моментально загружается в мозг всем потенциальным потребителям, и их желание купить моментально превращается в намеренное действие;

- Потребителю не нужно совершать никаких дополнительных действий для покупки (выходить из дома; заходить на сайт и искать продукт; идти по ТЦ, где можно импульсивно потратить деньги на другой товар и т. п.) ;

- Проходя опрос, респонденты делали выбор так, как будто они сразу в процессе опроса должны были оплатить выбранный продукт реальными деньгами.

Это не весь список, но уже становится очевидной разница между «симуляцией относительных предпочтений” (relative preference simulation), которую мы обычно получаем в результате conjoint-анализа, и »симуляцией рынка” (market simulation), на которую часто рассчитывают Заказчики.

Если перед нами стоит задача получить именно “симуляцию рынка” в полном смысле этого понятия, то нужно детально проработать и включить в модель как минимум следующие калибрующие факторы:

- Текущие показатели здоровья бренда (знание, пользование, намерение и антинамерение пользоваться) по бренду / продукту / компании производителю продукта;

- Текущие доли продаж по тестируемому продукту / бренду / SKU и ключевым конкурентам;

- Результаты A/B тестов по изменению параметров продукта и их влияния на реальные продажи (если для продукта такие тесты актуальны) . Например, уже меняли параметры какой-то онлайн подписки и получали эффект в юнитах;

- Результаты реального изменения цен на аналогичные продукты и оценку эффектов от таких изменений;

- Информация о продвижении и рекламной поддержке.

Подобное моделирование – трудоемкий и дорогостоящий процесс.

Но хорошая новость в том, что полноценная “симуляция рынка” далеко не всегда требуется для решения бизнес-задачи. Часто нам нужно всего лишь измерить определенный эффект / серию эффектов, проверить гипотезу, решить задачу оптимизации (например, найти оптимальное сочетание характеристик продукта, определить оптимальную цену или выстроить оптимальную продуктовую линейку) . Для решения этих задач часто достаточно лишь корректно спланировать conjoint-эксперимент, который по своей сути похож на сложный многоуровневый A/B тест.

Решение задачи оптимизации продуктовой линейки для максимизации прибыли (без приближения «симуляции относительных предпочтений» к «симуляции рынка»)

Допустим, в нашем сценарии Product1 – это текущая версия продукта, планируемая к запуску (принимаем ее за Baseline) . В нашей симуляции трех продуктов Product2 (25%) по степени предпочтения значимо выше, чем Product1 (20%) , а Product3 (45%) значимо выше, чем Product2. Если, например, Product1 (20%) и Product2 (25%) одинаковы по своей себестоимости, то выведение на рынок Product2 для нас будет явно более выигрышным сценарием, чем выведение на рынок Product1. Мы точно заработаем больше.

Теперь допустим, что Product3 (45%) дороже по себестоимости, чем Product2 (25%) . В этом случае рискованно принимать решение только лишь на основе доли предпочтения. Но, включив в модель себестоимость и применив тот же несложный статистический аппарат, мы существенно снижаем эти риски.

Итак, доверительный интервал для оценки доли Product3 в 45% с доверительной вероятностью 95% на выборке 1000 респондентов равен +-3,1%. Значит доля предпочтения Product3 находится в интервале 41,9% – 48,1%. Доверительный интервал для доли Product2 равен 22,3% – 27,7%. Теперь рассчитаем соотношение между предпочтением Product2 и Product3. Для этого максимально подстрахуемся и возьмем крайние границы доверительных интервалов, при которых доли продуктов максимально близки между собой. Так соотношение между предпочтением продуктов Product3 / Product2 будет рассчитываться как 41,9 / 27,7 = 1,513. Теперь допустим, что себестоимость Product2 = 1000 руб. , а себестоимость Product3 = 1200 руб. В этом случае мы рассчитываем отношение себестоимости двух продуктов Product3 / Product2 = 1200 / 1000 = 1,2. В итоге мы видим, что минимальный прирост уровня предпочтения при запуске Product3 вместо Product2 равен 1,513, и это больше прироста себестоимости, равного 1,2. Соответственно, запустить Product3 для нас будет самым выгодным решением. И мы понимаем это даже без моделирования выручки и прибыли, только на основе относительных данных о предпочтениях и себестоимости.

Для простоты расчетов в этом примере мы предположили, что Product1, Product2 и Product3 одинаковы по цене, например, 2000 руб. , и это учитывалось при симуляции. Если цены продуктов разные, то расчеты чуть сложнее, но суть от этого не меняется.

Если остались сомнения, можно проверить принятое решение относительно Product2 и Product3, введя параметры выручки и себестоимости:

- Product2:

Выручка = 1000 (Users) * 27,7% (Max Users Share) * 2000 (Price Per Unit) = 554 000

Себестоимость = 1000 (Users) * 27,7% (Max Users Share) * 1000 (Costs Per Unit) = 277 000

Прибыль = 554 000 – 277 000 = 277 000

- Product3:

Выручка = 1000 (Users) * 41,9% (Min Users Share) * 2000 (Price Per Unit) = 838 000

Себестоимость = 1000 (Users) * 41,9% (Max Users Share) * 1200 (Costs Per Unit) = 502 800

Прибыль = 554 000 – 277 000 = 335 200

Решение очевидно. С Product3 мы точно заработаем больше. Мы решили задачу только на основе относительных результатов продуктовых симуляций.

Решение задачи приближения «симуляции относительных предпочтений» к «симуляции рынка»

Что можно сделать относительно малой кровью для решения задач кастомизации и калибровки результатов в стандартных conjoint-проектах, чтобы приблизить картину к «реальному рынку»?

Если мы тестируем новый продукт / концепцию, то:

- Согласовать с клиентом минимально и максимально возможный потенциал на основе реалий их рынка (например, от 5% до 20% покупок от размера текущей клиентской базы) и скорректировать долю выбора в симуляторе с учетом этих цифр. Клиент может экспертно оценить этот порог на основе предыдущих запусков аналогичных продуктов. Допустим, ни один запуск не давал ранее более 20% новых пользователей. Рассчитывать на более высокие цифры – необоснованный риск. Можно легко учесть это в симуляторе. Ограничений и всего вышеописанного это не отменяет, но клиенту проще ориентироваться в понятных ему показателях и интервалах прогнозов;

- Оценить максимальный потенциал / долю предпочтения нового продукта из других вопросов анкеты (например, доля ответивших “Точно куплю” из вопроса о готовности купить данный продукт) . Один из вариантов калибровки – взять минимальный потенциал по Top-1 и максимальный потенциал по Top-2 в качестве границ потенциала продукта, соотнести эти границы с наиболее и наименее предпочтительным продуктом по результатам conjoint-анализа. И далее моделировать в симуляторе потенциал продукта в рамках этих границ.

Если это оптимизация текущего продукта, линейки продуктов:

- Откалибровать симулятор на основе текущих объемов продаж продуктов, если они известны;

- Учесть региональную специфику дистрибуции и доступности продукта. Если в каких-то регионах или точках продаж продукт недоступен, то на уровне симуляции выбор респондента переключается на ближайший доступный заменитель;

- Учесть контекст принятия решения и покупки. Это могут быть параметры знания / пользования продуктами и брендами, каналы покупки, ситуации потребления. Если респондент никогда не пользовался конкретным брендом, низко вовлечен в категорию (не знает брендов, очень редко что-то покупает) , его относительный вес можно уменьшить, либо на уровне симуляции логически исключить из его репертуара выбора ряд брендов / опций / продуктов. Это особенно актуально для Menu-Based Conjoint вариантов, а также категорий FMCG / Food;

- Использовать параметры объема в моделировании (Volumetric Model – сколько единиц продукта покупает респондент) ;

- Разделить пользователей на подгруппы по каналам дистрибуции и построить несколько моделей для разных сегментов, а затем объединять их в одном симуляторе;

- Для Menu-Based Conjoint разбивать меню на блоки и использовать отдельные модели вместе с общей объединяющей моделью (например, Joint Discrete Continuous Mixed Models) . В дополнение к этому можно использовать логическую схему взаимодополняющих и взаимоисключающих товаров / разделов меню, наложенную на базовую модель выбора продукта.

Указанный набор мер позволит существенно приблизить моделируемые данные к реальности и контексту принятия бизнес-решений, но требует дополнительных усилий.

Приближать ли «симуляцию относительных предпочтений» к «симуляции рынка» (калибровать ли результаты conjoint-анализа) ?

- Калибровать, если это несложно, калибровочные данные доступны, и если это поможет Заказчику лучше ориентироваться в результатах и симуляторе;

- Калибровать, если об этом договаривались “на берегу”, и такое лечение учтено в расчете трудозатрат проекта;

- Калибровать, если возникли существенные сложности с пониманием и интерпретацией результатов на стороне Заказчика. Иногда проще перевести данные в другую систему координат (с реальными долями и продажами) , нежели переобучать большую команду менеджеров новой и сложной для них системе.

Главный вывод из всего сказанного — на старте проекта нужно четко понимать, какие гипотезы мы тестируем и какие методы калибровки результатов мы будем использовать. От этого зависит дизайн эксперимента и итоговый результат.

P. S. Большая опасность нас ждет в случае, когда клиент приходит с уже утвержденным типом conjoint-анализа, финальным списком параметров тестирования (уровней и атрибутов), описанием целевой аудитории и выборки.