Алексей Бибиков

Отдельный список причин признать результат непригодным очень нужен, его часто пропускают. Для WB я бы добавил в него резкий рост цены показа в аукционе: товар и учёт в порядке, а за неделю конкуренты подняли ставки, и сравнение уже говорит не о варианте закупки. Итог «вывод пока не получен» тоже нормальный результат, если записать его вместе с причиной. Такие незавершённые проверки вы потом повторяете на том же товаре или переносите на похожий?

Две даты действительно честнее одной. Для рекламы на WB я бы добавил третью: когда изменение начало действовать. Ставку или бюджет меняют в кабинете в один день, а показы перестраиваются позже. В нашем кейсе за две недели цена выросла на 13%, ДРР сместился с 5,67 до 5,57%, и без такой отметки сдвиг ДРР легко приписать не тому дню. Вы такую дату держите отдельным столбцом или считаете её частью самого условия?

Согласен, ноль заказов сам по себе ещё не приговор корзинам. При таком итоге я бы сначала проверил связь корзины с заказом и повторные события, а источник трафика смотрел бы последним: первые две проверяются по вашим же данным, третья требует сравнения с другими группами. Если окно и учёт совпадут, а разница останется, тогда уже есть о чём говорить предметно. Какую из трёх причин вы бы проверяли первой?

Разделить план акции и фактическое участие очень правильно: именно здесь проверка чаще всего портится незаметно. В нашем кейсе вывод сделан только по сумме заказов (+11% при цене +13%) и ДРР (5,67→5,57%) за две недели, без вывода о штуках. Таблица условий с датой, когда о каждом из них стало известно, позволила бы проверить этот вывод на следующем окне, не подмешивая задним числом то, что выяснилось после. Дату фиксации вы ставите по дню выгрузки отчёта или по дню, когда условие видно в кабинете?

Согласен, обязательный тест раз за сезон для всех товаров лишний. Я бы брал под проверку только те товары, где ошибка в объёме закупки стоит дороже самого эксперимента, и начинал с ограниченной партии, как вы и пишете. По рекламе на WB это хорошо видно: в акцию ставки в аукционе могут вырасти, и при том же бюджете показов станет меньше. Одинаковый бюджет ещё не значит одинаковые условия. Поэтому рядом с бюджетом я бы записывал цену показа и число показов. Условия остановки вы обычно задаёте по сумме допустимых потерь или по сроку?

Справедливо, срок наблюдения я не учёл. Если исторические 12% считались по корзинам, которым дали несколько дней на заказ, то за 15 часов часть заказов просто не успела появиться, и мои 1,3% завышают тревогу. Честнее взять корзины именно этой группы и посмотреть заказы по ним через тот же срок, что и в исторической конверсии, причём по уникальным покупателям, а не по событиям добавления. Если и тогда заказов не будет, вывод про качество этих корзин станет твёрже. Вы знаете, за какой срок считалась историческая конверсия, или это пока не известно?

Спасибо за цифры, с ними разговор предметнее. 34 корзины и ни одного заказа при ваших обычных 12% выглядят странно: если бы это были живые покупатели, шанс не получить из них ни одного заказа около 1%. Так что сомнение в этих корзинах обоснованное. А 6 заказов против 4 за один вечер на 20 карточках пока в пределах случайности, тут я бы выводов не делал.
Для недельного теста я бы делил группы по заказам за прошлые две-три недели, чтобы обе половины стартовали с одного уровня. Сравнивать тогда удобнее изменение к прошлой неделе в каждой половине. И следить за остатками: если в одной половине кончится ходовой размер, тест сломается.
Итог будете считать по сумме заказов или по выкупам? За неделю выкупы часто ещё не успевают доехать.

Добавлю про рекламу. Ставки и бюджеты кампаний обычно настраивали под цену до акции. Скидка включилась, маржа на единицу стала меньше, а ставка осталась прежней. Заказов больше, ДРР по магазину может даже снизиться, а по отдельным артикулам реклама уже съедает всю оставшуюся маржу. Я бы в первые два-три дня акции пересчитал для каждого рекламируемого артикула допустимую цену заказа: маржа с одного выкупа после скидки, логистики и комиссии, умноженная на процент выкупа. Потом сравнил бы её с фактической стоимостью заказа в кампании. Где фактическая выше, ставку снижаю сразу, не дожидаясь итогов недели. Вы маржу по SKU в такие дни пересчитываете вручную или собираете из отчётов?

Добавил бы к вашим тестам проверку на уровне всего магазина. Счёт «только по рекламируемому товару» может занижать рекламу, как статистика ВБ её завышает. Если реклама стоит под вашими же карточками, она может перекладывать заказ с одной вашей карточки на другую, и тогда ни одна из двух цифр не показывает, что вы купили за эти деньги. Ответ даст общая сумма заказов: выключить рекламу в рекомендациях на неделю на половине похожих групп товаров и сравнить с группами, где она работала. Если общий итог почти не изменился, реклама и правда оплачивала собственные места. Вы уже смотрели, как меняются общие заказы магазина в недели, когда реклама в рекомендациях выключена?

Да, описывать весь пакет условий честнее, чем делить эффект, который история не позволяет разделить. На WB это частая ситуация: при входе в акцию селлер одновременно поднимает ставки, и потом уже не сказать, что сработало. Я бы хотя бы раз за сезон заходил в акцию без изменения рекламного бюджета, чтобы появилась точка для сравнения. Вы такие намеренные разведения условий закладываете в план закупки или считаете их слишком дорогим экспериментом?