Как я запустила A/B-тест на лендинге одним промтом — бесплатно и без разработчика

У меня есть курс для маркетологов и лендинг, который его продаёт. Я застряла на блоке с программой: подать модули спокойным списком или хуками, как я пишу в Threads? Нравились оба варианта, а спорить не с кем — работаю одна.

Такой спор решается A/B-тестом. Классический путь — позвать разработчика или купить сервис за сотни долларов в месяц. Я пошла третьим: написала промт в Claude Code, и тест заработал за одну сессию, бесплатно. А когда отдала готовый код на ревью другой нейронке, та нашла в замерах дыру, которую я заметила не сразу.

Расскажу весь путь: что тестирую, сколько стоят классические инструменты, как устроен сплиттер, сколько нужно трафика и как не ошибиться в подсчётах. В конце — готовый промт: копируйте и запускайте у себя.

A/B-тест — это когда половина посетителей видит одну версию страницы, половина — другую, а вы сравниваете, какая версия чаще приводит к целевому действию: заявке, клику по тарифу, подписке.

Смысл в том, что мнения о «сильном заголовке» не стоят ничего, пока их не проверили на живых людях. Владелец влюблён в свой текст, дизайнер — в свою вёрстку, а покупает посетитель, у которого свои резоны. Тест снимает спор: вместо «мне кажется» появляется «версия B даёт на треть больше кликов».

Для лендинга это особенно важно. Обычно это одна страница, на которую льётся весь трафик, и каждый процент конверсии — это деньги: при той же рекламе заявок становится больше просто потому, что страница стала убедительнее.

Начну с цифры, которая отрезвляет: выигрывает меньшинство тестов. По данным VWO и Optimizely, только около 22% тестов дают статистически значимого победителя; мета-анализ 1001 реального теста показывает около трети побед и около 40% исходов «разницы нет». Из этого следует практичный вывод: раз большинство попыток не выстреливает, сам тест обязан быть дешёвым. Сервис за сотни долларов в месяц при таких шансах окупить трудно, промт за ноль рублей — легко.

При этом когда тест выстреливает, он выстреливает по-крупному. Два хрестоматийных примера. Команда предвыборной кампании Обамы в 2008 году протестировала варианты первого экрана сайта: смена картинки и текста кнопки подняла конверсию в подписку с 8,26% до 11,6%. Это плюс 3,3 процентных пункта, или +40% в относительном выражении, — и около 60 миллионов долларов пожертвований для кампании.

Второй случай ещё показательнее. В Bing идея слегка изменить заголовки объявлений месяцами лежала в бэклоге как неважная — пока один инженер не запустил тест. Изменение дало плюс 12% к выручке, около 100 миллионов долларов в год, и стало самой прибыльной идеей в истории продукта.

Мораль обоих кейсов одна: заранее не знает никто — ни владелец, ни дизайнер, ни инженеры Microsoft. Поэтому гипотезы отправляют в тест, а не в спор и не в бэклог.

Классический путь — поставить на сайт сервис A/B-тестирования. Он сам делит трафик, показывает версии и считает статистику. Проблема в цене и в объёме настройки: почти все взрослые инструменты рассчитаны на команды с большим трафиком. Вот картина на июль 2026 года — цены округлены и меняются, перед выбором проверяйте на сайтах сервисов:

Google Optimize, которым раньше закрывали «бесплатный» сценарий, Google остановил ещё в 2023 году. Универсальной бесплатной замены для глобального рынка так и не появилось.

Я тестирую блок «Программа» на лендинге курса: те же 11 модулей, но версия A подаёт их спокойным перечислением, а версия B — хуками, как я пишу в Threads. Вот как звучит один и тот же модуль в двух версиях:

Какая подача лучше продаёт холодному трафику, я понятия не имею. Поэтому делаю А/В тест.

В промте не было ни строчки кода — только требования к честному эксперименту: меняется один блок, посетители делятся 50/50 и навсегда запоминают свою версию, никакого мигания при загрузке, метрика успеха одна — клик по кнопке тарифа. Полный текст промта я отдаю в конце статьи, там все требования собраны в готовом виде.

Из этих требований Claude Code собрал механизм — примерно 20 строк JavaScript в начале страницы:

Моя работа здесь была маркетинговой, а не технической: знать, каким условиям должен отвечать честный тест, и сформулировать их. Раньше между «понимаю, как надо» и «работает на проде» стояли разработчик, таск-трекер и пара недель. Теперь — один нормально составленный промт.

Дальше я сделала то, что советую всем: отдала работу одной нейронки на ревью другой. Попросила Codex проверить код теста.

И он нашёл ошибку. Даже не в коде — в самой схеме замера. Клики по тарифам считались правильно, а вот показы вариантов отдельным событием не фиксировались: версия уходила в аналитику фоновым параметром при других событиях.

Показы — это знаменатель конверсии. Конверсия ветки считается как «сколько кликнуло» делить на «сколько увидело». Без честного знаменателя сравнение веток превращается в гадание.

Codex поправил код: теперь при каждой загрузке улетает отдельное событие «показ варианта», а у эксперимента появилось имя — так можно вести несколько тестов параллельно и не путать их в отчётах. Claude Code следом обновил GTM и GA4 под новую схему и проверил живую страницу.

Деталь, которая мне отдельно нравится: техническую настройку Claude Code сделал за меня сам — через API и MCP. Обновить теги в GTM, зарегистрировать новые измерения в GA4 — я просто ставлю задачу словами, а он идёт и делает. Раньше под такое я бы открывала документацию или искала специалиста по аналитике.

Схема замера даёт две цифры по каждой ветке: сколько людей видели версию и сколько сделали целевое действие. В GA4 это два события — показ варианта и клик — с номером версии в параметрах; сравниваете конверсию A и конверсию B.

Главная ловушка — поспешные выводы. Разница «2,1% против 2,6%» на паре сотен визитов почти наверняка шум: подбросьте монетку двадцать раз, и 12 орлов против 8 решек не докажут, что монетка кривая. Чтобы отличить результат от шума, прогоните четыре цифры (показы и клики обеих веток) через бесплатный калькулятор статистической значимости — их много, например abtestguide.com/calc. Калькулятор скажет, можно ли верить разнице или надо копить трафик дальше.

Вторая ловушка — попросить нейронку «посчитай результаты теста» прямо в чате. Языковые модели по своей природе предсказывают следующее слово, а не считают: в арифметике они могут уверенно ошибаться. Поэтому подсчёты — только кодом. Попросите агента написать питон-скрипт, который берёт четыре цифры и выдаёт конверсии и значимость, проверьте формулу один раз руками или тем же калькулятором — и, если всё сходится, зафиксируйте правило: результаты тестов всегда считаются этим скриптом, а не нейронкой на глаз.

Практическое правило: не заглядывать в результаты каждый день и не останавливать тест, пока в каждой ветке не набралось хотя бы несколько сотен визитов и скрипт не показал уверенную разницу.

Сколько визитов копить — считается заранее, до запуска. Размер выборки зависит от двух вещей: текущей конверсии и прироста в процентных пунктах, который вы хотите поймать. Чем меньше ожидаемый прирост, тем больше нужно трафика — зависимость квадратичная. Ориентиры для типичных ситуаций лендинга (уверенность 95%, мощность 80%):

Почему цифры ведут себя именно так. Конверсия любой страницы всегда немного «гуляет» сама по себе: на 500 визитов при честных 2% вы получите где-то от 4 до 16 заявок чистой случайностью. Мелкий прирост — это пара лишних заявок, он полностью тонет в этих колебаниях; крупный — из них выпирает. А случайный шум убывает медленно, как корень из объёма трафика, поэтому чтобы разглядеть вдвое меньший прирост, визитов нужно вчетверо больше.

В статистике этот порог называется минимальный обнаружимый эффект, MDE: при вашем объёме трафика есть прирост, ниже которого разницу физически невозможно увидеть. Подробно феномен разобран в гайде по MDE, а прикинуть порог для своих цифр можно в классическом калькуляторе Эвана Миллера.

Поэтому если у вас 3–5 тысяч визитов в месяц, тестируйте смелые изменения с шансом на большой прирост: другой заголовок, другую подачу оффера, другой порядок блоков. А микроправки вроде оттенка кнопки оставьте компаниям с миллионами визитов — только они способны увидеть их эффект.

Одна оговорка, чтобы ожидания были честными: смелость изменения — это шанс на крупный эффект, а не гарантия. Статистика выше говорит только о том, что вы сможете увидеть; каким эффект окажется фактически, заранее не знает никто — это вы и выясняете тестом. Если смелая версия дала мелкую разницу, тест честно скажет «не вижу» — и это тоже результат: вы оставляете любую версию и переходите к следующей гипотезе.

И перевод в деньги, на модельном примере. Лендинг с 5 000 визитов в месяц, конверсия в заявку выросла с 2% до 2,5% — это плюс 25 заявок в месяц. Если каждая пятая заявка становится оплатой со средним чеком 20 000 ₽, тест принёс плюс 100 000 ₽ в месяц. Цена самого теста — ноль.

Честные границы у способа такие.

Во-первых, localStorage привязан к браузеру: один и тот же человек с телефона и с ноутбука может увидеть разные версии. Для лендинга с холодным трафиком погрешность приемлемая, но она есть.

Во-вторых, нужен доступ к коду сайта. На конструкторе вроде Тильды такой сплиттер не поставить — там разумнее использовать встроенные тесты конструктора или Varioqub.

Блок программы — частный случай. Тем же способом на лендинге проверяются:

Правило одно, и оно уже звучало: за один тест меняется одна вещь. Иначе не поймёте, что именно сработало.

Когда гипотез несколько, приоритизируйте по трём осям — этот подход называют ICE: Impact (насколько сильно элемент влияет на конверсию), Confidence (насколько вы верите в гипотезу), Ease (насколько легко проверить). В моём способе Ease почти всегда высокий — тест ставится промтом, — так что решают первые две оси: начинайте с заголовка, а не с цвета иконок.

И ещё одна трезвая проверка перед выбором гипотезы: смотрите не только на трафик сайта, но и на глубину просмотра. Если до блока с ценами доскролливает лишь 10% посетителей, знаменатель теста для этого блока копится в десять раз медленнее, чем кажется по счётчику визитов, — и результата придётся ждать очень долго. Сколько людей реально доходит до блока, показывают события глубины и карты скролла в GA4, Метрике или Hotjar.

И про источник гипотез. Сильные варианты заголовков не придумываются в кабинете — они берутся из языка клиентов: как люди сами описывают свою проблему на интервью и в отзывах.

Промт рассчитан на AI-агента с доступом к файлам вашего сайта — Claude Code, Codex или аналог. Вставлять его в обычный чат с нейронкой бесполезно: агенту нужно видеть код страницы и уметь его менять. Перед запуском подставьте свой блок и свою метрику в квадратных скобках.

И дисклеймер, который звучит очевидно, но пусть будет: чтобы видеть результаты, на сайте должна стоять веб-аналитика — GA4 или Метрика. Промт научит страницу отправлять события, но если их некому ловить, эксперимент получится философский: варианты показываются, а что происходит дальше — неизвестно.

Такой тест для для меня рутинная задача на вечер. Я Надя, AI-native продуктовый маркетолог, собрала курс, где маркетолог осваивает весь этот режим работы.