Как количество слов в cообщениях от телеграм-бота может приводить к потере пользователей

Небольшой эксперимент, в котором я отправлял пользователей бота по сценариям с разным количеством символов и вот что получилось.

Взаимодействие пользователей с большинством телеграм-ботов строится по принципу «нажал — получил», где желание сделать следующий шаг определяется тем, насколько получаемая ценность выше цены из приложенных усилий. Одним из таких усилий является количество информации, необходимой для считывания, чтобы совершить следующий шаг, это может быть инструкция, куда нажать, пример того, как и что нужно ввести или описание принципа работы.

Для примера измерения влияния количества символов на восприятие ценности я создал «бота-пустышку» и опубликовал рекламный пост в телеграм-канале N. Идея заключается в том, чтобы заходящих пользователей отправлять по разным сценариям (с кем-то бот будет общаться только короткими сообщениями, а кому-то достанутся только длинные) и посмотреть, сколько пользователей перейдут к следующему шагу в зависимости от полученного количества символов. Бота я создал в конструкторе ботов botmother.com, а количество пользователей, попавших на каждый шаг замеряю с помощью компонента «Ярлык» и затем могу посмотреть, сколько пользователей дошли до каждого шага в «длинном» или «коротком» сценариях.

Вот такую рекламную публикацию увидели пользователи канал N. А чтобы в процессе эксперимента на поведение пользователей влияла только длина текста, у бота нет функционала. Вернее сказать, функционал есть, но он не заявлен в рекламном посте, чтобы «испытуемые» следовали в первую очередь за любопытством, без поправки на какие либо ожидания:

После запуска пользователи нажимали на кнопку и бот присылал отрывок из книги и предлагал подсчитать, сколько раз встречается какое-то конкретное слово. Одним пользователям попадались короткие сообщения, другим — длинные:

Длинный сценарий содержал 30 шагов и 42443 символов. Короткий сценарий содержал 30 шагов и 11723 символов. При этом, бот не сообщал, для чего это нужно и что будет в конце.

Ниже график процента пользователей, дошедших до каждого из шагов. Синяя кривая — длинный сценарий, красная — короткий.

В конечном итоге, до последнего, 30-го шага в длинном сценарии дошли 4% пользователей, а в коротком — 31,25%. Количество символов в сценариях отличается в 3,62 раза, а разница в итоговой «доходимости» до конца уже в 7,81 раз(грубо говоря, удлиннение текста в 4 раза убило доходимость не в 4 раза, а в 8, то есть в два раза сильнее).

Примечательно, что с 17-18 шага короткий сценарий перестает терять пользователей на отметке в ~7000 символов и если обозначить на кривой длинного сценария отметку с аналогичным количеством символов, то можно заметить, что количество пользователей в обоих сценариях бота по достижении этого объема символов отличается незначительно — в 1,28 раза на фоне того, что количество проделанных шагов отличается в 3,6 раз:

Это позволяет предположить, что в восприятии получаемой ценности у пользователей может существовать своеобразный «лимит» символов, который влияет уже не ситуативно в рамках отдельно взятого сообщения, а работает накопительно на всей дистанции пользования ботом и в какой-то момент может уже начинать сравнивать для пользователя не только усилия и ожидаемую ценность, но и потраченные усилия с размером неполученной ценности в случае завершения пользования ботом прямо сейчас. Поэтому кривая в общем виде может иметь такую форму.

С самого начала эксперимента было запущено именно четыре сценария, но для удобства читателя, два дополнительных сценария появляются только сейчас. Это аналогичные сценарии, лишь с той разницей, что перед их запуском пользователй видит, что он получит. В данном случае, бот обещает сообщить пользователю, насколько тот внимательный:

В тех сценариях, где в самом начале пользователи видели сообщение о том, что получат, доходимость до каждого следующего шага стала заметно ниже. Прикрепляю диаграммы.

Синяя — длинный без ценности, красная — длинный с ценностью:

Синяя — короткий без ценности, красная — короткий с ценностью:

Можно предположить, что представляемая ценность, в тот момент, когда она нигде не была указана, имела больший вес, чем указанная, в силу бесконечного набора пользовательских ожиданий. При этом мы не наблюдаем значительной разницы именно в общих потерях на первых двух шагах(до 5% разницы), что может косвенно подтверждать, что наличие иной ценности не отпугнуло пользователей в момент запуска бота. С другой же стороны, мы видим, что в каждом следующем шаге пользователи, знающие о ценности, принимали решение о продолжении или уходе, вероятно, уже с учетом существования этой самой ценности.

В общем виде все 4 сценария показывают, к чему привела конкретизация пользовательских ожиданий в сравнении с любопытством.

Но вернемся к влиянию именно количества символов.

Если мы возьмем разницу в процентах доходимости между коротким и длинным сообщением и поделим на разницу в символах и сделаем это для каждого шага, то сможем получить «грязную»(влияние добавления 10 символов в тексте длиной 10 символов отличается от добавления 10 символов в текст из 1000 символов) картинку о том, сколько на сколько процентов мог бы уменьшать каждый символ доходимость до следующего шага. Это позволит именно наглядно рассуждать о влиянии количества символов на каждом из шагов и самое главное, сравнить, как ведут себя эти показатели в зависимости от наличия или отсутствия заявленной ценности.

Синяя — столько процентов «отнимает» в доходимости каждый символ для шагов, в которых не заявлена ценность. Красная — столько процентов «отнимает» в доходимости каждый символ для шагов, в которых заявлена ценность.

Получается, что 1 символ мог бы влиять на 0,005-0,03% — и вот эта фраза отняла бы 0,2-1,59% Напомню, что это наглядный пример, выше написал, почему мы не можем рассматривать результат этих расчетов.

Но по-прежнему можем сравнивать влияние количества символов в сценариях с указанием ценности и без. Особенное внимание здесь привлекают первые 2 шага. Именно на них мы видим наибольшую разницу(почти в 5 раз на пике) влияния количества символов в случаях, когда указана ценность(в нашем случае, отрицательная):

Количество символов в телеграм-боте может приводить к потере пользователей как в отдельно взятом шаге, так и на всем пути взаимодействия пользователя с ботом, а заявленная ценность(или ее отсутствие) способна влиять на эти потери. Первые шаги пользователя в боте самые важные. В процессе эксперимента получилось увидеть доходимость до конца сценария, отличающуюся в ~8 раз.

Важно понимать, что это был эксперимент с заведомо сильно разным количеством символов в сценариях, целью которого было показать, как может влиять количество символов и заявленная ценность на поведение пользователей, на то, что эти данные собираемы и анализируемы даже «на коленке», в конструкторе и даже без продукта. Боты могут быть разными, ценность разной, аудитория тоже может быть разной, поэтому все вышеописанное стоит воспринимать исключительно как почву для построения гипотез и их проверки.

Насчет поиска слабых мест в ботах и разработки решений можно писать на @nikralayli. Другие статьи, кейсы и эксперименты есть в канале @larkenization