Мнение: ненавижу UX-тесты и маркетинговые исследования, они вредят дизайну, тексту и продукту

Капитализм, наши дни. Миром правят огромные корпорации с сотнями тысяч сотрудников, которые каждый день разрабатывают новые стратегии, решения, фичи, сценарии, продукты, дизайны, креативы. В такой толпе невозможно принять эстетическое решение, которое устроило бы всех.

Корпорация хочет нравиться как можно большему числу людей, поэтому иногда даже решение о ЦВЕТЕ ФОНА рекламного баннера могут отобрать у арт-директора и отдать на тесты.

На тесты — это на площадки, где большие корпорации спрашивают у своих потребителей: «Что вам больше нравится? Что бы вы купили быстрее? А дороже?». Здесь сидят обычные работяги, потребители товаров и услуг, чтобы получить копейку (буквально) за своё мнение насчёт цвета фона рекламного баннера.

И всё бы ничего, звучит логично, но только ориентироваться на большинство не всегда правильно.

> Во-первых, такой расклад на рынке порождает конфликт. В индустрии кино, рекламы и маркетинга есть довольно авторитетные и успешные люди, которые выступают против «тестов» контента перед всякими целевыми аудиториями. Из недавнего — слышал такое от Андрея Губайдуллина из агентства «Восход».

> Во-вторых, такой расклад порождает довольно смешные, но показательные парадоксы. Тут приведу пример из жизни: прихожу работать в компанию Х, а мне говорят, что они ориентируются на компанию Y. А я работал в компании Y и знаю, что там вообще практически не делают тесты, а вот компания Х только тестами и занимается. Эти тесты приводят к путанице и бесконечным сомнениям, которые мешают сделать хороший дизайн и текст, а вместе с ними и продукт. Поэтому компания X уступает компании Y в качестве продукта, текстов и дизайна.

Эти проблемы логичны, ведь если посмотреть на любой шедевр в любой сфере — ни один из них не создан с учётом мнения большинства. Представьте, если бы Леонардо тестировал бы вариации Моны Лизы?

— А вот если улыбка будет такая, больше нравится? А давайте цвет платья поменяем? А если на фон поставим городской пейзаж, купите?

Но если спуститься ниже, к рекламе, тут кажется очевидным, что если реклама изначально хороша — она хорошо работает на тестах. Если плоха — не факт, что тесты смогут сделать её лучше. Могут сделать и лучше, а могут сделать хуже, но просто более понятной для большинства.

А если реклама хороша изначально, и тесты показала хорошие, значит ли это, что надо тестировать все остальные рекламы? А точно ли она хороша изначально? Или, может, тесты провели плохо?

Короче, тут проблем много. О них дальше.

Короткий эксперимент, который легко воспроизвести в жизни. Напишите хороший текст, скиньте его черновик другу/подруге/отцу/бабушке/начальнику и попросите комментарии, спросите мнение. В ответ услышите кучу всего — от критики слов, синтаксиса и грамматики до смысла и идеи. Напишите тот же текст, например, здесь, оформите его как статью и скиньте кому-то из тех же людей — тогда они просто прочитают текст и ответят по сути, а не будут пытаться его редактировать.

Точно так же можно выдать свой текст за творчество какого-нибудь авторитета, и тогда его никто даже не задумается исправлять.

Вася с завода не разбирается в рекламе, но уверен, что красный цвет ЯРЧЕ, а значит он лучше сработает в рекламе — поэтому Вася голосует за красный в опросе про лучший цвет рекламного баннера. Чёрный цвет в том же опросе показался Васе скучным, траурным.

Однако Вася водит чёрную машину, одевается в чёрную одежду, делает чёрные татуировки, носит чёрный смартфон и тыкает на рекламу с чёрным рекламным баннером, потому что чёрный цвет нравится Васе на самом деле — он премиальный, мужской, грубый, стильный.

Понимаете прикол? И тут возникает вторая проблема, которую многие вообще начисто игнорируют:

Я люблю дорогие машины, при этом езжу на Лансере за 200к, мою его раз в год, но уверен, что машину надо мыть раз в неделю. В этом же я убеждаю своих друзей и анонимных комментаторов на Дроме.

Узнали? Согласны?

Тут проблема не в том, что люди глупы или двуличны, нет, так может вести себя человек с любым уровнем айкью. Просто люди парадоксальны по своей природе, а соцсети и интернет создают ещё больше возможностей а) для проявления парадоксальности и б) для создания путаницы в голове.

Ещё мы все считаем себя уникальными.

Тот же Вася из нашего примера: он любит чёрный цвет, но считает, что большинству нравится красный, потому что — да, красный более яркий и привлекает внимание, а ведь реклама должна привлекать внимание, так? То есть Вася уверен, что умнее и эстетичнее всех остальных, поэтому, если его спросят мнение, то он ответит «Красный, конечно, на него поведется большинство», а если тот же Вася будет выбирать шампунь — он купит чёрный, а не красный, желтый, зеленый или голубой.

Я даже мысли свои вставлять не успеваю, примеры одни за другим идут.

Любые маркетинговые исследования были бы уместны, если бы все люди были рациональными, умели быстро и четко формировать своё мнение, отделять его от своих чувств и честно его высказывать.

Но люди — ходячие парадоксы. Пошлые, мерзкие, с комплексами, страхами и мотивами. Не только мы с вами, уважаемые читатели — абсолютно ВСЕ люди вокруг примерно такие же.

Осознавая это, странно идти и спрашивать их мнение по какому-то важному вопросу. Но ведь часто мнением большинства принимают решения о названиях продукта или бренда. Или о важном тексте на важном экране.

А что вообще такое эти ваши тесты?

Знаете, я не социолог, но социологию немного изучал. Да и сам проводил довольно сложные исследования, в том числе и про выборы.

Сам факт наличия теста или исследования ещё ничего не значит. Все эти ваши красивые джобстубиданы и прочие умные вещи — да, хорошо, что они есть, спасибо, но можно/нужно ли из этого делать выводы?

Исследования проводят люди, выводы тоже пишут люди. Пока. И в больших корпорациях эти люди не всегда глубоко погружены в продукт или в тему.

Я видел ОЧЕНЬ много и тестов, и исследований, в которых принимало участие от 4 до 6 человек. Я понимаю, что из UX-исследования всего продукта можно сделать вывод по 6 людям. Но вот делать вывод по тесту одного экрана в приложении на 4 людях — нельзя. А их делают, причем в больших и авторитетных компаниях.

Мне даже по-человечески как-то обидно. Я дофига лет пишу тексты для разных аудиторий, продуктов и сервисов, за всю карьеру я своими текстами продавал, убеждал, унижал, заставлял плакать и смеяться сотни тысяч людей, а может и миллионы.

Но тут приходит исследователь и говорит, что мы должны поменять текст из-за того, что 50% из его 4 испытуемых «не до конца понимают», что значит кнопка «Заказать».

Коллеги, это уже не смешно.

Я не отрицаю важность исследований или тестов. И большинство реально часто даёт ответ на крайне важные вопросы. Например… Выборы.

Демократия, как известно, лучшее и самое рабочее из того, что придумано человечеством. И большинство правда не такое уж глупое и бесполезное, как о нём думает… Большинство (да, большинство людей считает большинство людей идиотами, это правда так, объясняю тут).

Судя по тому, как развивается рынок диджитал-профессий, смею предположить, что и среди разного рода исследователей есть ребята, которые пришли туда по приколу и/или пока не научились делать это хорошо. Или которые делают работу откровенно плохо, просто никто в этом не разбирается настолько, чтобы их заподозрить. А они не в курсе, что делают её плохо, потому что, опять же, никто им об этом не говорит.

Но надо.

> Социология — довольно большая и сложная наука. Каждый параметр в исследованиях может сильно повлиять как на ответ, так и на результат, так и на выводы из результата.

> Поэтому тестировать и исследовать нужно не всё подряд, а только те вещи, где, с одной стороны, мнение людей реально может помочь что-то улучшить, к примеру, UX. И, с другой стороны, где разное мнение людей минимально влияет на результат.

> То есть не надо проверять отдельно каждый экран без контекста и спрашивать мнение про заголовки, а надо проверить, смог ли пользователь пройти по всем экранам и успешно выполнить свою задачу.

> Тестируя, к примеру, дизайн или текст, не нужно спрашивать мнения, нужно спросить ощущения, мысли или ассоциации, которые они вызывают.

Это правила, которые я придумал только что. И я придумал их как человек, для которого создаются эти всякие тесты и проводятся исследования.

Для меня, для шестеренки в механизме большой корпорации, нужны нормальные тесты и исследования, иначе я вынужден писать бред, за который иногда даже стыдно бывает.

Я поставил на аватарку статьи кадр из «Американского психопата» не просто так. Ведь персонаж этого фильма (спойлер) — чел, который работает в крупной корпорации, а по ночам жестоко убивает женщин, и эмоционально вкладывается в это больше, чем в работу. То есть, в 2023 году на такого лучше бы сработала реклама бензопилы, чем реклама мужских костюмов. Можно сказать, что он исключение, но нет, каждый представитель целевой аудитории является таким вот исключением.

> Поэтому, чтобы делать хорошую рекламу, надо, в первую очередь опираться на качество контента и идею, которую мы ХОТИМ донести.

> Если мы делаем продукт, который ФОРМИРУЕТ ПАТТЕРН, тогда надо тестировать то, насколько этот паттерн формируется, а не нравятся ли кому-то наши экраны. То есть каким-то чудом заставлять людей пользоваться нашим приложением в течение 5-7 дней, и дальше проводить глубинные интервью, а не количественный тест на 5-7 работяг.

> Но если мы хотим встроиться в паттерн и продать что-то, что зайдёт большинству, тогда можно проводить любые количественные тесты и проверять каждый пиксель. Да, скорее всего, получится кал, но этот кал, скорее всего, сработает и что-то продаст.

Грубо, общими мазками, но такова, на мой взгляд, реальность. Я пишу эту жуткую базу, потому что кучу раз видел, как о ней просто не знают.

И главный мой вывод, чтобы наверняка: крутые и успешные компании, на которые все равняются, ничего так массово не тестируют, а полагаются на талант людей, которых нанимают. А вот те, кто пытается повторить успех, нанимают большой штат исследователей, чтобы этот успех исследовать.