Как нейросеть создает лучшую версию веб-сайта для каждого посетителя
На сайте подкаста «Стартап-секреты» вы найдете все выпуски с возможностью фильтровать по интересующей вас теме, например, «Запуск стартапа», «B2B-проекты», «Инвестиции» или «Глобальные рынки».
P.S. Подписывайтесь на мой VC-блог и ставьте 🔔 если вам интересны материалы о российских стартапах, сервисах и онлайн-бизнесе. Вскоре в блоге появится статья-саммари на основе этого выпуска, для тех, кто любит читать.
Разговор с Рустамом натолкнул меня на мысль, что мы очень сильно зависим от ИИ уже сейчас. И особенно сильно зависит наше продвижение в интернете. Кругом одни алгоритмы: начиная от выдачи в лентах соцсетей и заканчивая рекламными объявлениями, за которые мы платим деньги, но не понимаем до конца, как рекламные сети отдают нам клиентов.
Алгоритмы уже решают все за нас в плане потребления контента, в плане распространения контента, поэтому на стороне владельцев сайтов и бизнесов тоже должен быть какой-то ИИ-помощник, который будет защищать их интересы.
Считаю, такие ИИ-виджеты для персонализации клиентского опыта, как у Рустама, просто необходимы и скоро появятся на каждом сайте :)
У Рустама крутой продукт. За ним будущее маркетинга сайтов
Проблема таких систем в том, что их практически невозможно объективно оценить, для тогоже АВ теста нужно много трафика.
Когда у меня было много трафика на сайте, много тестов провел с различными сторонними системами, так как всегда хотелось конверсию поднять хоть чуть-чуть сторонними сервисами (все сам не сделаешь), но в итоге в большинстве случаев оказывалось, что это пустая трата средств.
Спасибо за умный комментарий, это хороший вопрос!
1. Объем трафика который нужен для достижения статистически значимого результата обратно пропорционален приросту конверсии.
Например, вот тут была хорошая статья про то как ребята провели 105 АБ тестов и получили средний прирост конверсии ... всего в 4% - https://blog.analytics-toolkit.com/2018/analysis-of-115-a-b-tests-average-lift-statistical-power/.
Разумеется в этом случае даже на сайте с огромным трафиком придется ждать очень долго.
Но ИИ персонализация позволяет достичь куда большого прироста конверсии (20-30% на одну персонализацию, часто больше) - а это значит, что и нужные доверительные интервалы будут достигнуты концептуально быстрее. Например, сейчас у одного EdTech проекта у нас около 80 визитов в день и 4 доказанные персонализации.
2. В реальности у простых АБ тестов куда больше проблем и основная из них - большая часть из них устаревает со временем.
- Сделали АБ замер в ноябре-декабре, а в это время была черная пятница и новый год. А в январе-феврале паттерны потребления людей уже другие.
- Изменили немного ассортимент в интернет-магазине в сторону удешевления, вчера люди хотели видеть быструю доставку, сегодня гарантию побольше, так как страшно что сломается
- Добавили больше дорогих товаров и оказалось, что главное что сейчас людям показывать на сайте - это яркий баннер о рассрочке.
Но самый главный источник изменчивости паттернов - это рекламные системы, ИИ которых так же постоянно переобучается. Вчера Яндекс гнал нам много дешевого трафика с региональных андроидов по РСЯ, завтра уже куда меньше трафика, но целевой из поиска из Москвы.
В среднем одна модель персонализации у нас живет около 2-3 недель. Потом новое обучение так как паттерны изменились.
3. У нас в сервисе всегда сохраняется контрольная группа, которой мы показываем случайный вариант персонализации. Эта группа служит и для постоянной оценки прироста конверсии от ИИ и как хранилище данных для постоянного дообучения.
Так что вы не просто получаете какой-то прирост и должны верить на слово, а каждый день можно держать руку на пульсе и смотреть по результатам. Плюс есть возможность оптимизации не только по приросту конверсии, но и по выручке/прибыли.
4. В целом результат зависит от:
- Ниши (чем ниша эмоциональнее, тем лучше)
- Количества конверсий
- Величины персонализации (большая персонализация, например, оффера будет давать огромный результат, в отличие от мелочи типа кнопки где-то внизу).
Такое мне нравится, всё в тему 👍🏻
Дима, текстовая версия будет?