Суть очень простая — случайно разбиваем всех пользователей пополам и одной половине показываем опрос в боте, а вторую перенаправляем на идентичный опрос в Google Forms. Набрав достаточное количество респондентов, сравниваем процент людей, отправивших свой ответ, между двумя вариантами опроса.
Достаточно странно начинать аб эксперимент при условии, что аудитория набрана исключительно из одной платформы - телеги.
По сути же сравнили наивный опрос на платформе со сторонним решением. Логично, что нативка победила)
Попробуйте сравнить две платформы для опросов с лидами из электронных писем) А ещё лучше сразу возьмите аудиторию только с Gmail ящиками, да
Гипотеза как раз и заключалась в том, что переход Telegram -> Telegram эффективнее, чем Telegram -> браузер. Я согласен, что при привлечении респондентов из email, результаты будут другими. И это нормально, поскольку бот заточен под телегу и будет полезен тем, кто ищет респондентов в ней
Гугл формы это в принципе такое себе. У нас раньше тоже было по нулям. Сделал формы в airtable - результаты стали лучше. Поэтому возможно играет значение отношение пользователя к Гугл формам
для большинства Гугл формы удобнее и просто привычнее
Особенно на мобилках). А какой у вас эффект был от Airtable? Стали получатся более качественные ответы, или количество тоже как-то замеряли?
Уже было про "Telegram Bots vs Google Forms" полтора года назад на хабре. Очень правильная мысль, кмк, в комментарии:
"У Google Forms есть одно неприятное свойство, которое делает их бесполезными для чего-либо серьезного. На каждой форме внизу слева есть кнопочка, позволяющая пожаловаться на форму. Эту кнопочку может нажать любой желающий, после чего Гугл не разбираясь, не извещая вас отключит форму. Мало того, что отключит, так еще и повесит вместо формы страничку, уведомляющую, что форма suspended за что-то нехорошее.
Поэтому нет смысла сравнивать что-либо с Гугл-формами. Они просто опасны для бизнеса."
Не знаю, как было тогда, сейчас интерфейс такой: слева внизу кнопка "Сообщить о проблеме", а вот прямо под формой ссылочка "Сообщение о нарушении", так что суть не меняется.
А то, что часть отваливается при переходе между платформами - это естественно, тут и эксперименты не нужны.
https://habr.com/ru/post/580084/
Спасибо, что поделились! На хабре, к сожалению, есть только исходники. В моем случае — готовый сервис, который не требует оплаты хостинга и возни с разворачиванием. А по поводу кнопок "пожаловаться" это очень крутая мысль.
А то, что часть отваливается при переходе между платформами - это естественно, тут и эксперименты не нужныТут мог сработать и обратный фактор. Люди уже привыкли к гугл формам, а новый интерфейс мог их оттолкнуть. Но этого не произошло