New Coke провалился после 190 000 тестов вкуса. Тесты не врали

Coca-Cola спросила 190 000 человек, стало ли вкуснее. Люди ответили честно: да. Через 79 дней компания сняла продукт с полок, а на складах осталось больше 30 миллионов долларов ненужного концентрата.

К началу восьмидесятых Pepsi отъедала долю год за годом и делала это публично: слепые дегустации в торговых центрах, камера, человек берёт стаканчик без наклейки и выбирает Pepsi. Она была слаще, и в одном глотке это решало.

В 1984-м Coca-Cola запустила секретный проект «Канзас» — по фотографии журналиста Уильяма Аллена Уайта с бутылкой колы, которая висела в кабинетах руководителей. Внутри масштаб сравнивали с высадкой в Нормандии: сотрудники рекламного агентства после работы переезжали в охраняемое помещение, откуда нельзя было вынести ни одного документа.

Около 190 тысяч человек прошли слепые тесты вкуса, вместе с опросами и фокус-группами — больше 200 тысяч. Бюджет порядка 4 миллионов долларов. Новая формула обошла и Pepsi, и старую колу.

Дальше деталь, из-за которой кейс стоит помнить. CEO Роберто Гойзуэта не поверил и спрашивал, нет ли изъяна в данных. Наняли второе агентство, доплатили больше миллиона и прогнали ещё сто тысяч тестов. Перевес подтвердился: 53 на 47.

Перепроверка подтвердила ответ. Ответ был неверный.

Источники: History | The Branding Journal | Great Ideas for Teaching Marketing

Сигнал в данных был. Он стоял прямо и говорил громко.

В фокус-группах людям сообщали открытым текстом: старой формулы не будет. От 10 до 12 процентов реагировали злостью и говорили, что перестанут пить колу вообще.

А теперь главное. Присутствие этих людей искажало результаты групп: они давили на остальных участников, и итог уезжал в минус. Эффект заметили и внесли поправку.

Прочитайте ещё раз. В комнате на десять человек один злой перевешивал девять спокойных, и это записали в методическую погрешность. Через год тот же механизм сработал на масштабе страны: 400 тысяч звонков и писем, и 11 июля 1985 года старый рецепт вернули под именем Classic.

Компания своими глазами увидела, как её будут убивать, и назвала это шумом. Потому что шум портил данные.

Три вещи, и ни одна не была вопросом, от которого зависело решение.

Глоток, а не банку. Гладуэлл в «Озарении» ссылается на пищевых исследователей, которые винят конструкцию дегустаций: в порции меньше банки более сладкий напиток выигрывает, потому что до порога приторности дело не доходит. В целой банке доходит.

Жидкость, а не бренд. Тест был слепым. Из продукта убрали единственное, за что люди платили: наклейку, привычку, сорок лет собственной биографии.

Предпочтение, а не потерю. Спрашивали, купят ли это, если это будет кола. Большинство отвечало «да, придётся привыкнуть». Что они почувствуют, когда старой не станет, тестировавших не спрашивали.

Ошибке сорок лет, а я повторил её в прошлом году.

Спрашивайте про изъятие, а не про предпочтение. «Нравится ли вам это» и «что вы сделаете, когда привычного не станет» — разные вопросы с разными ответами.

Смотрите на разброс, а не на среднее. 53 на 47 — не победа, а расколотая аудитория, поданная одним числом.

Считайте интенсивность отдельно от доли. Одиннадцать процентов, готовых уйти навсегда, весят больше пятидесяти трёх процентов вялого одобрения.

Свою версию этой ошибки я получил на кастдевах компаний Дальнего Востока. Спрашивал про боль, боль подтверждали, все говорили «делай». В вывод я записал среднее по группе и не записал разброс: у каждой компании данные лежали в своём зоопарке источников, и то, что для одной было мелочью, для другой делало продукт невозможным. Средняя температура сказала «делай». Разброс сказал бы «нет».

Я строю ISweesh — симулятор запуска: описываете идею, ИИ-агенты отыгрывают сегменты аудитории, на выходе видно, где спрос есть, а где его нет. Прогнать вопрос про изъятие стоит вечер, а не 4 миллиона долларов, и сегменты видны отдельно, а не одним средним.

И оговорка, без которой всё выше рассыпается. Синтетический респондент отвечает связно и логично — то есть болеет ровно тем, о чём эта статья: он сглаживает разногласия сильнее живого человека. Своего одиннадцатипроцентного скандалиста модель вам, скорее всего, не покажет. Это фильтр перед живыми интервью, а не замена им. Кто говорит иначе — не верьте, включая меня.

Что важнее: пятьдесят три процента вялого одобрения или одиннадцать процентов ярости? Ответ «конечно, ярость» кажется очевидным ровно до момента, когда это надо объяснить руководству, которое смотрит на среднее.

И для тех, у кого есть история: расскажите про сигнал, который вы списали на выброс. Что было потом.