Как LLM предсказывают покупки: новые методы маркетинговых исследований

Предсказываем покупки с LLM

Еще один гвоздь в гроб маркетинговых исследований - статья о том, как при помощи LLM предсказывают покупки людей: разбираемся

1) Протестили на результатах 57 опросов по продуктам по персональному уходу (зубная паста и тп), 9300 ответов

2) Обычно в этих опросах используют шкалу Ликерта а-ля "Я куплю этот продукт, если он появится в продаже" от "Точно нет" (1) до "Конечно да" (5)

3) При помощи LLM генерируем виртуальных покупателей (типа того, как мы делали с юзерами) и просим их ответить по шкале. НО вот тут зарыта собака: обычно при прямом промптировании LLM на шкалу от 1 до 5, они достаточно плохо это делают (сдвинутые распределения, несоответствующие реальности).

4) Поэтому ресерчеры чуть подкрутили этот шаг: сначала они просят LLM сгенерировать текстовый ответ а-ля "выглядит прикольно, я бы наверное попробовал, если не очень дорого и работает стабильно", а потом по смыслу - специальным методом, который назвали Semantic-Similarity Rating - маппят эти ответы на шкалу. И сразу получилось адекватно - 90%+ корреляция результатов реальных и виртуальных покупателей.

5) Парочка "но": LLM-ки плохо предсказывали ответы в зависимости от пола, религии, этнической принадлежности и вероятно плохо работают с продуктами, по которым недостаточно данных/обсуждения онлайн; с доходом и возрастом же все было гуд.

Подписывайтесь на Telegram EDU.