Тест без заранее назначенного финиша — это не тест: 3 правила конструкции

В прошлый раз я писал про бюджет как ценник — сколько вы готовы заплатить за ответ. Логичный следующий вопрос: а как устроен сам тест, чтобы ответ вообще получился? Три правила, каждое из которых я вывел из собственных дорогих ошибок.

1. Одна переменная за раз — иначе даже выигрыш бесполезен

Звучит как занудство из учебника, но нарушается постоянно, и я нарушал годами. Меняем сразу креатив, аудиторию и посадочную — кампания выходит в плюс. Отлично. Что именно сработало? Неизвестно. Повторить нельзя, масштабировать страшно, объяснить невозможно.

Самые бесполезные тесты в моей практике — не убыточные. Убыточный с чистой постановкой закрывает гипотезу и экономит деньги в будущем. Бесполезный — это тот, после которого нельзя сформулировать ни одного вывода, независимо от финансового результата.

2. Финиш назначается до старта, а не по ощущениям

Вторая по стоимости ошибка моей карьеры — тесты без заранее определённого конца. Механика простая и очень человеческая. Тест выглядит хорошо — останавливать жалко, «пусть ещё поработает». Тест выглядит плохо — «ещё день, вдруг раскрутится». В обоих случаях решение принимает эмоция, а эмоции — ужасные статистики.

Теперь до запуска записываю три вещи: объём данных, после которого решение принимается обязательно; границы, при пробитии которых тест останавливается досрочно; и что конкретно я делаю при каждом исходе. Правило, которое существует только в голове, будет пересмотрено той эмоцией, которая окажется дежурной в момент прихода цифр.

3. Исходов не два, а три — и третий самый полезный

Все готовятся к «да» и «нет». Почти никто не готовится к «непонятно» — а это самый частый результат в реальности. Данных набрали, разброс большой, разница в пределах шума.

Соблазн в этот момент — дотянуть тест до красивой картинки или выбрать интерпретацию поудобнее. Правильное действие другое: «непонятно» означает, что вопрос был задан плохо. Не хватило разделения переменных, или разница между вариантами изначально слишком мала, чтобы её поймать на доступных объёмах. Ответ — переформулировать вопрос, а не докупать данные к плохому вопросу.

Кстати, полезный побочный эффект: когда «непонятно» становится легальным исходом с прописанным действием, пропадает соблазн натягивать выводы. Тест перестаёт быть экзаменом, который надо сдать.

Итог: хороший тест лишён драмы. Одна переменная, назначенный финиш, три подготовленных исхода, письменный вывод. Скучно — и именно поэтому работает.

У ваших тестов есть заранее назначенный финиш — или решение об остановке принимается в процессе, по ситуации? По моему опыту, именно эта деталь отделяет тестирование от рулетки чётче всего остального. Обсудим в комментариях.