Как нейросеть создает лучшую версию веб-сайта для каждого посетителя
Рынок интернет-рекламы кардинально изменился за последние годы: у маркетолога все меньше доступа к настройкам объявлений, а вся власть перешла к алгоритмам рекламных систем. Как противостоять машине и растить конверсию на сайте – в новом выпуске подкаста «Стартап-секреты»
Проблема таких систем в том, что их практически невозможно объективно оценить, для тогоже АВ теста нужно много трафика.
Когда у меня было много трафика на сайте, много тестов провел с различными сторонними системами, так как всегда хотелось конверсию поднять хоть чуть-чуть сторонними сервисами (все сам не сделаешь), но в итоге в большинстве случаев оказывалось, что это пустая трата средств.
Спасибо за умный комментарий, это хороший вопрос!
1. Объем трафика который нужен для достижения статистически значимого результата обратно пропорционален приросту конверсии.
Например, вот тут была хорошая статья про то как ребята провели 105 АБ тестов и получили средний прирост конверсии ... всего в 4% - https://blog.analytics-toolkit.com/2018/analysis-of-115-a-b-tests-average-lift-statistical-power/.
Разумеется в этом случае даже на сайте с огромным трафиком придется ждать очень долго.
Но ИИ персонализация позволяет достичь куда большого прироста конверсии (20-30% на одну персонализацию, часто больше) - а это значит, что и нужные доверительные интервалы будут достигнуты концептуально быстрее. Например, сейчас у одного EdTech проекта у нас около 80 визитов в день и 4 доказанные персонализации.
2. В реальности у простых АБ тестов куда больше проблем и основная из них - большая часть из них устаревает со временем.
- Сделали АБ замер в ноябре-декабре, а в это время была черная пятница и новый год. А в январе-феврале паттерны потребления людей уже другие.
- Изменили немного ассортимент в интернет-магазине в сторону удешевления, вчера люди хотели видеть быструю доставку, сегодня гарантию побольше, так как страшно что сломается
- Добавили больше дорогих товаров и оказалось, что главное что сейчас людям показывать на сайте - это яркий баннер о рассрочке.
Но самый главный источник изменчивости паттернов - это рекламные системы, ИИ которых так же постоянно переобучается. Вчера Яндекс гнал нам много дешевого трафика с региональных андроидов по РСЯ, завтра уже куда меньше трафика, но целевой из поиска из Москвы.
В среднем одна модель персонализации у нас живет около 2-3 недель. Потом новое обучение так как паттерны изменились.
3. У нас в сервисе всегда сохраняется контрольная группа, которой мы показываем случайный вариант персонализации. Эта группа служит и для постоянной оценки прироста конверсии от ИИ и как хранилище данных для постоянного дообучения.
Так что вы не просто получаете какой-то прирост и должны верить на слово, а каждый день можно держать руку на пульсе и смотреть по результатам. Плюс есть возможность оптимизации не только по приросту конверсии, но и по выручке/прибыли.
4. В целом результат зависит от:
- Ниши (чем ниша эмоциональнее, тем лучше)
- Количества конверсий
- Величины персонализации (большая персонализация, например, оффера будет давать огромный результат, в отличие от мелочи типа кнопки где-то внизу).