Как мы растили таймспент в «VK Мессенджере»

Сегодня расскажу, как мы в команде «VK Мессенджера» увеличили вовлеченность пользователей, добавив блок с рекомендацией контактов. И что, на мой взгляд, самое интересное — поделюсь проблемами, с которыми столкнулись, как их решали. Я развивала этот продукт в роли директора по развитию мессенджера, недавно ушла из компании, но считаю, что полученными знаниями полезно делиться, так что, если интересна тема продуктовой разработки и экспериментов, читайте дальше

Блок с рекомендацией контактов расположен во вкладке мессенджера над списком чатов

Как мы растили таймспент в «VK Мессенджере»

Вот над какими этапами мы работали:

Я посмотрела конкурентов и заметила, что подобные рекомендации уже есть у Facebook* Messenger и у Instagram*. Поспрашивав пользователей этих сервисов, я поняла, что там редко попадаются те, кому они действительно пишут, но сам блок не смущает. Было непонятно, понравится ли нашим пользователям появление этого списка и будут ли они общаться с рекомендованными контактами. Но я предположила, что это может заметно улучшить вовлеченность наших пользователей, если мы сможем правильно подбирать релевантные контакты
Сначала мы запустили эскперимент с рекомендациями, основанными на эвристическом алгоритме: те, кого недавно добавил в друзья, телефонные контакты, с кем общался ранее и тд. Мне хотелось максимально просто проверить, что эта идея жизнеспособна – у этого есть название RAT (riskiest assumptions test). Этот подход позволяет быстро проверять гипотезы и не тратить ресурсы на то, что не может значимо повлиять на метрики
Когда мы убедились, что пользователи начинают общаться с рекомендованными контактами, мы попросили ML-команду помочь нам подсказывать наиболее релевантные контакты. Модель нацелена на то, чтобы рекомендовались те пользователи, вероятность написать которым максимальна. В итоге, когда мы запустили блок рекомендации контактов на Web-версии мессенджера, мы получили +1% в таймспенте во всей соц. сети и +0.72% по числу отправляемых сообщений. Фичу раскатили на все платформы, включая Android, iOS

И теперь про проблемы, с которыми мы столкнулись по ходу разработки этой фичи:

Всё, что мы разрабатываем и планируем выкатить на пользователей, мы сначала тестируем на себе, известный термин этого подохода – dogfooding. И вот когда мы раскатили на себя этот блок, от коллег стали приходить жалобы на то, что он мешает. Мы собрали отзывы от коллег и провели интервью с пользователями, чтобы улучшить эту фичу. В результате мы уменьшили размер блока, добавили настройку для скрытия. Также, пользователь может скрывать конкретные отдельные кружочки рекомендаций, если не нравится кто-то определенный, кого порекомендовали – например, увидел там свою бывшую. Также мы заранее продумали и скрыли потенциальные контакты, которые могут не понравиться – например, тех, кого заблокировали. Позже, когда мы стали раскатывать фичу на пользователей, поняли, что все эти опасения были преувеличены. Ядро нашей аудитории – это молодые ребята, школьники и студенты, им интересно общаться – метрики это подтвердили. А предвзятое мнение, скорее, было связано с тем, что мессенджер, который используется для развлечения и для работы – это всё-таки два разных инструмента. Коллеги пользовались нашим мессенджером по большей части для работы, поэтому обратная связь от них была несколько смещенной. Но в любом случае, получилось полезно, что мы доработали настройки скрытия и улучшили UI этого блока, так мы сделали эту фичу универсальной: кто хочет, смотрит и общается, кто не хочет – отключает.
Когда мы запустили эту фичу на Android пользователей, метрики Stories немного просели, хотя суммарный таймспент на платформе вырос благодаря значительно более активному общению в мессенджере. Так как блок рекомендаций контактов в мессенджере был похож на кружочки сторисов в разделе ленты, мы предположили, что это может быть связано с тем, что пользователи их путают. С командой UX-исследований мы стали разбираться, но причин для опасений не оказалось, пользователи понимают, что это разные фичи, просто общение их вовлекает больше, чем просмотры сторис. Чтобы всё же вернуть команде Stories их просмотры, мы договорились, что в дальнейшем добавим обводку вокруг контактов в мессенджере, чтобы пользователи и оттуда могли смотреть сторисы друзей.
Когда мы запустили эксперимент на iOS, команда саппорта сообщила нам о возросшем числе вопросов от пользователей про эту фичу, что они не понимают, кто именно там рекомендуется. За ночь наш разработчик запилил бота, который рассказывает, что это за блок, кто подсказывается, как отключить, и мы выкатили его в списке рекомендаций на первом месте. Число обращений уменьшилось

Что дальше? А дальше в этом блоке можно рекомендовать релевантные групповые чаты, полезных ботов и, например, в конце списка позволять перейти в галерею с чатами и ботами. Также там можно размещать бота, который будет рассказывать, что нового произошло в мессенджере за последнее время, какие фичи появились.

Какие выводы можно сделать?

Важно сначала самим пробовать то, что планируем запускать на пользователей. Но важно понимать, что в некоторых случаях наше мнение может оказаться предвзятым в силу разных сценариев и причин использования продукта
Проводить пользовательские исследования: интервью для сбора качественных данных и опросы для подтверждения статистической значимости
Находить и реализовывать самые простые решения, чтобы проверять гипотезы минимальной затратой ресурсов
Раскатывать постепенно, внимательно наблюдая за метриками. Если обнаруживаются проблемы, откатывать, фиксить и продолжать катить
Следить за метриками не только своего продукта, но и тех, на кого еще могла повлиять новая фича. И сообщать этим командам. Принимать решение на основе верхнеуровневых метрик: если что-то падает, но слабо, а новая фича растит метрики платформы сильнее, имеет смысл ее выкатить и помочь вырасти пострадавшим.
Быть смелее. Может казаться, что менять главные разделы продукта – это рискованно. Но при правильной работе с отзывами от пользователей и метриками, это даёт отличный результат

Почему я решила написать? Часто встречаю продактов, которые отлично знают теорию, как правильно нужно разрабатывать продукты. Они знают, что нужно проводить интервью с пользователями, RAT, dogfooding, катить на процент и наблюдать за стат. значимым изменением метрик и остальное, но не используют это на работе из-за нехватки ресурсов, отсутствия инструментов и других причин. Но создание этих возможностей – это тоже часть нашей работы в качестве продактов, и когда не хватает ресурсов, можно попробовать упрощенные подходы: провести коридорный опрос, запустить фичу под фича тогглом только на часть пользователей, написать/позвонить пользователям и спросить обратную связь, если нет выделенного саппорта – это всё мне приходилось делать на прошлых более маленьких проектах и во время запусков внутренних стартапов в компании, это не так удобно и быстро, но очень полезно. Я подумала, что кого-то может мотивировать история, как мы на практике применяем эти подходы и какую пользу они приносят. Если будут вопросы или захочется что-то обсудить, пишите мне в вк или телеграм

*Meta, которой принадлежит Instagram и Facebook, признана в России экстремистской организацией