Вы теряете половину ответов, используя Google Forms. Бот для проведения полноценных опросов в Telegram
Помните времена, когда каждая третья статья на Трибуне была посвящена Telegram боту? Самые распространенные негативные комментарии были в духе «Очередной Telegram бот, лучше бы нормальными стартапами занимались». В этой статье показываю на цифрах, как Telegram бот может собирать ответы эффективнее Google Forms.
С чего все началось
Мне в голову регулярно приходят идеи продуктов, востребованность которых нужно проверять до непосредственной разработки. В этом отлично помогают опросы, однако поиск респондентов — это боль. Люди не хотят тратить свое время на заполнение чужих форм.
В какой-то момент я устал собирать ответы по крупицам и начал искать способы оптимизировать этот процесс. Одно из решений — перенести прохождение опроса из браузера в Telegram, где я и искал респондентов.
Telegram бот vs Google Forms
Я запилил Telegram бота для проведения опросов внутри Telegram. Кидаете ссылку на опрос в Google Forms и бот создает его копию внутри Telegram, а ответы перенаправляет в исходную форму.
Возникает резонный вопрос.
Зачем это нужно, если есть Google Forms?
Отвечаю. Создатель опроса получит больше ответов, поскольку респонденты не будут покидать Telegram. Сначала это была всего лишь гипотеза и ее необходимо было проверить. Поскольку я обожаю цифры и факты, решил провести AB тест — надежный способ статистически сравнить два варианта продукта.
Ложь, наглая ложь и статистика…
Суть очень простая — случайно разбиваем всех пользователей пополам и одной половине показываем опрос в боте, а вторую перенаправляем на идентичный опрос в Google Forms. Набрав достаточное количество респондентов, сравниваем процент людей, отправивших свой ответ, между двумя вариантами опроса.
Я создал тестовый опрос на 16 вопросов и в течение нескольких недель искал респондентов в Telegram чатах и каналах. Получилось собрать 201 переход по ссылке и 92 ответа, после чего я посчитал результат.
Я трижды все перепроверил, поскольку результат получился, на мой взгляд, космическим. Конверсия респондентов в отправку ответов в Telegram боте оказалась в 2 раза выше, чем в Google Forms (статистически значимо).
- Google Forms: 32% респондентов завершило опрос (106 переходов к форме, 34 ответа)
- Telegram бот: 61% респондентов завершило опрос (95 переходов в бота, 58 ответов)
Это значит, что привлекая респондентов из Telegram, создатель опроса получит в 2 раза больше ответов в боте, чем в Google Forms. И это при том, что создание опроса и визуализация результатов остаются в привычном Google Forms.
В качестве бонуса в Telegram боте люди пишут более развернутые ответы на открытые вопросы (в моем тестовом опросе их два). Кажется, что Telegram — это более привычная среда для описания своих мыслей.
- Google Forms: в среднем 36 символов в ответе
- Telegram бот: в среднем 90 символов в ответе
Гипотеза подтвердилась, так что самое время запускать первых пользователей. Проведение опросов с помощью бота бесплатно и должно помочь собирать обратную связь быстрее, эффективнее и подробнее.
Это первая версия бота, поэтому поддерживаются только простые типы вопросов — ввод текста, выбор одного варианта, выбор нескольких вариантов. Однако, этого должно хватить, чтобы вы смогли проверять идеи и исследовать аудиторию своих проектов, экономя время на поиске респондентов. Ловите ссылку https://t. me/gforms_robot? start=vcru1.
Достаточно странно начинать аб эксперимент при условии, что аудитория набрана исключительно из одной платформы - телеги.
По сути же сравнили наивный опрос на платформе со сторонним решением. Логично, что нативка победила)
Попробуйте сравнить две платформы для опросов с лидами из электронных писем) А ещё лучше сразу возьмите аудиторию только с Gmail ящиками, да
Гипотеза как раз и заключалась в том, что переход Telegram -> Telegram эффективнее, чем Telegram -> браузер. Я согласен, что при привлечении респондентов из email, результаты будут другими. И это нормально, поскольку бот заточен под телегу и будет полезен тем, кто ищет респондентов в ней
Вы точно уверены, что умеете делать А/Б тесты? :)
Уверен
Вы же сами сказали, что понимаете, что взяли аудиторию с байасом. Какой смысл в этих цифрах?
Мне кажется, тут возникло недопонимание. Я не утверждаю, что Telegram бот в любых сценариях эффективнее Google Forms. Но показываю, что эффективнее при привлечении респондентов из Telegram, причем только оттуда — про другие каналы у меня нет данных. В таком случае это не байес, а характеристика сегмента пользователей, относительно которого ставится гипотеза и который учавствует в эксперименте.
Так что было бы справедливо наезжать на немного желтушный заголовок. Но сам эксперимент чистый
Тогда заголовок у Вас кликбейтный.
PS Опередили меня :)
А, почитал Ваши комментарии дальше... Вы ТГ-бота опросника продавать собираетесь. Тогда понятно, почему байас, это "какой нужно" байас :)))
Simon прав, вы провалили тест, т.к. нарушили условие сбора тестовой группы.
Гугл формы это в принципе такое себе. У нас раньше тоже было по нулям. Сделал формы в airtable - результаты стали лучше. Поэтому возможно играет значение отношение пользователя к Гугл формам
для большинства Гугл формы удобнее и просто привычнее
Как раз для опровержения этого я и написал статью)
хотелось бы верить, оно может быть и удобнее и практичнее, однако, что же на практике...
Так эксперимент как раз и проведен на практике. Причем преимущество бота существенно — в 2 раза больше людей доходит до конца опроса. Мне кажется, это хороший показатель удобства
Возможно, но я пишу о том что как только перестал использовать Гугл формы - так сразу стал получать более качественные ответы
Особенно на мобилках). А какой у вас эффект был от Airtable? Стали получатся более качественные ответы, или количество тоже как-то замеряли?
Количество всегда одинаковое, так как опросы не публичные. Но качество - выше. А именно ответы подробнее и пустых ответов в разы меньше
Уже было про "Telegram Bots vs Google Forms" полтора года назад на хабре. Очень правильная мысль, кмк, в комментарии:
"У Google Forms есть одно неприятное свойство, которое делает их бесполезными для чего-либо серьезного. На каждой форме внизу слева есть кнопочка, позволяющая пожаловаться на форму. Эту кнопочку может нажать любой желающий, после чего Гугл не разбираясь, не извещая вас отключит форму. Мало того, что отключит, так еще и повесит вместо формы страничку, уведомляющую, что форма suspended за что-то нехорошее.
Поэтому нет смысла сравнивать что-либо с Гугл-формами. Они просто опасны для бизнеса."
Не знаю, как было тогда, сейчас интерфейс такой: слева внизу кнопка "Сообщить о проблеме", а вот прямо под формой ссылочка "Сообщение о нарушении", так что суть не меняется.
А то, что часть отваливается при переходе между платформами - это естественно, тут и эксперименты не нужны.
https://habr.com/ru/post/580084/
Спасибо, что поделились! На хабре, к сожалению, есть только исходники. В моем случае — готовый сервис, который не требует оплаты хостинга и возни с разворачиванием. А по поводу кнопок "пожаловаться" это очень крутая мысль.
А то, что часть отваливается при переходе между платформами - это естественно, тут и эксперименты не нужныТут мог сработать и обратный фактор. Люди уже привыкли к гугл формам, а новый интерфейс мог их оттолкнуть. Но этого не произошло
Привет.
Интересная задумка.
Можно это решение продавать нашим клиентам, это пользователи сервисов: Bitrix24, RetailCrm, Chat2desk, Umnico.
Звучит очень круто! Напишу на следующей неделе
https://t.me/slobodskoj
Проблема с Телеграм-формами в том, что для участия нужен аккаунт в ТГ (в Гугл формах аккаунт не нужен нигде), что оказывается огромной сложностью, как только мы выходим за пределы русскоязычного мира. Я проводил опросы на интернациональную публику и Телеграм точно не прокатил бы.
Если в боте нельзя заполнять вопросы в произвольном порядке, ну его.
У нас вот такой опросник был
https://youtu.be/VpTqfrTC1Sc
Ваша идея парсить опрос и туда же отправлять ответы - прикольная
Не работает
Увидел, уже решаю
Мне кажется, что лучше Web-App сделать нормальный и не парится, хотя это тоже самое, что гугл форма, которая стоит 400р в месяц
Да, web-app может работать лучше. Возможно в будущем до него дойду, но на текущем этапе гораздо быстрее было собрать стандартного бота.
Про 400р не понял. Создание и проведение опросов в боте бесплатное. Подписка только за доп фичи, которые сейчас находятся в бете
за какие?
Это будет в следующей статье, если их ценность подтвердится :). Если коротко, то:
1. Аналитика по вопросам
2. Рекомендации по улучшению качества опроса
3. Генерация описания и приглашений
4. Напоминания для респондентов, которые не завершили опрос
Комментарий недоступен
К сожалению, убрать полностью не получится. Но я подумаю, как сделать его более подходящим для респондентов, спасибо!
Добрый день. Не очень поняла, как работает бот. Получает ли каждый респондент уникальную ссылку на опрос? Скажем, у меня есть контакты пятидесяти человек в телеграме, и мне им нужно отправить ссылку на опрос в телеграме же. Как это сделать?
Бот сгенерирует фиксированную ссылку на опрос (не уникальную). Дальше вы можете самостоятельно отправить ее нужным людям в личных сообщениях, или в любой чат, где есть все эти люди.
Спасибо. А люди будут видеть ответы друг друга, перейдя по этой ссылке?
Нет, ответы видны только создателю опроса, в самом Google Forms
Очень жаль, что не работает(