{"id":9454,"title":"\u041a\u0430\u043a \u0441\u0442\u043e\u043b\u044f\u0440\u044b \u0438\u0437 \u0420\u044f\u0437\u0430\u043d\u0438 \u0437\u0430\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u044e\u0442 \u043d\u0430 \u0434\u0435\u0440\u0435\u0432\u044f\u043d\u043d\u044b\u0445 \u0434\u0438\u043d\u043e\u0437\u0430\u0432\u0440\u0430\u0445","url":"\/redirect?component=advertising&id=9454&url=https:\/\/vc.ru\/pochta\/328045-kak-stolyarnaya-masterskaya-iz-ryazani-nachala-prodavat-tovary-po-vsemu-miru&placeBit=1&hash=2a5fe1185750debf6eff79c9510d5a82ba810f16be799f12f89083789a4f685f","isPaidAndBannersEnabled":false}
Кейсы роста
Epic Growth

iFunny: как продукт с 50 млн пользователей по всему миру ставит A/B-тесты и увеличивает метрики

Команда Epic Growth подготовила доклад Михаила Табунова, директора по продукту FunCorp, с конференции Epic Growth Conference. Табунов рассказал о поиске retention-драйверов во флагманском продукте iFunny, про успешные и не очень A/B-тесты и к каким результатам они привели.

О продукте и командах

iFunny — это мобильный продукт, который существует с 2011 года и успешно работает на рынке США; одно из первых приложений в App Store и Google Play.

Продукт насчитывает более 50 млн установок и находится во всех топах развлекательных приложений, а также номер два в мире в категории Entertainment, согласно SimilarWeb. На рынке США мы — медиа, основной наш продукт — 150 смешных картинок в день.

Наш офис в Москве, где более 80 человек развивают продукт. Практически все они имеют инженерный бэкграунд, даже менеджеры в прошлом — программисты. Поэтому у нас сейчас полностью инженерный подход к тому, что и как мы делаем.

Команда делится на шесть микрокоманд, каждая из которых занимается iFunny. Ростом retention и целевыми метриками занимается специальная команда роста из десяти человек: несколько iOS- и Android-разработчиков, два-три тестировщика, менеджер и backend.

У iFunny довольно высокий retention, а на уровне социальных сетей и мессенджеров у приложения стопроцентный UGC (пользовательский контент). Чтобы прийти к высоким метрикам retention, нам с командой пришлось запустить более 150 A/B-тестов, большинство из которых были неудачны.

Тем не менее они показали, в каком направлении нам нужно было двигаться и где искать retention-драйвер.

Цели

Когда я пришёл в FunCorp в 2017 году, моей первой и основной задачей был рост retention. Если до недавнего времени команда делала около 100 А/В-тестов в год, то сейчас мы сместили приоритеты.

Мы начали работать над качеством продукта, которое помогло бы улучшить метрику retention и, как следствие, принести рост дохода от продукта.

Хороший онбординг — рост метрики удержания

Когда я пришёл в FunCorp, онбординг (первая сессия пользователя в продукте) iFunny выглядел достаточно примитивно: при запуске приложения появлялся splash screen — объяснение, что нужно свайпить для просмотра, а также обычный запрос на отправку push-уведомлений.

Первой идеей по улучшению онбординга была мысль, что, возможно, люди недостаточно хорошо понимают логику приложения — ведь это не только смешные картинки, но ещё комментарии, лайки и так далее.

Решили сделать объяснение из пяти дополнительных экранов, каждый из которых пояснял, что здесь есть комментарии, UGC, пользователи, режим full screen и то, что контент можно шарить. Эксперимент не дал результатов, все просто доходили до конца, а retention не рос. Начали улучшать эту идею.

Продолжили работу с push-уведомлениями. Узнали, что pop-up с предложением подписки на пуши в iOS не идеален. Нужно сначала делать свой pop-up с кастомным текстом, хочет ли пользователь получать уведомления, а потом уже показывать системный запрос. Сделали и получили результаты хуже, чем было по дефолту.

Попробовали сделать большое красивое объяснение о том, что выходит семь выпусков мемов и нужно лишь включить уведомления, а это семь пушей в день. Выкатили эксперимент, результаты стали еще хуже, чем в первом варианте.

Другой эксперимент про поиск каналов возврата пользователей. Первым каналом стал обычный календарь: он есть в каждом телефоне и уведомления в нем практически всегда включены. Решили добавлять расписание семи выпусков в календарь пользователю, чтобы тот чаще возвращался в приложение.

Для этого сделали простой экран, кнопку ”Continue” и pop-up с запросом доступа в календарь. Retention начал круто расти в первый же день. Но со временем людей эти уведомления начали напрягать, и они стали удалять события из календаря.

Пробовали добавлять авторизацию с помощью мобильного телефона, запрашивали имя, доступ к телефонной книге и предлагали приглашать друзей. С одной стороны, это выглядело довольно странно — зачем развлекательному приложению твой номер телефона.

С другой стороны, сейчас практически все приложения, которые относятся к категории social media, запрашивают на главном экране номер телефона, email и другое. Запустили эксперимент и снова неудача — пользователи на этом экране закрывали приложение и удаляли.

Сделали около 20 итераций, которые не принесли нам результатов. Начали глубже разбираться, смотреть стримы ивентов — на тот момент у продукта появилась запись экрана. В запись шли первые десять сессий пользователя, и это помогло нам отследить один важный момент: пользователи с хорошим retention заходили в приложение, сразу логинились и шли дальше по своим делам, при этом сессия фиксировалась как новая установка.

Чтобы понять, почему так происходит, после установки приложения мы начали спрашивать пользователя — новичок он или до этого пользовался продуктом?

60% были старыми пользователями, а значит заваливать их объяснениями, как лучше пользоваться iFunny, не было смысла. Остальных же 40% новеньких было настолько мало, что даже пытаясь увеличить с их помощью retention, в продукте это ничего бы не поменяло: у старых retention седьмого дня — 30%, у новых — 20%.

Выводы:

  • Реально новых пользователей мало.
  • Retention реинсталлов сильно не увеличишь.
  • Нужно работать со старыми пользователями.

Гипотезы и поиск retention-драйверов

В результате свернули тему с онбордингом и начали работать со старыми пользователями, которые регулярно пользуются продуктом. Эксперименты же помогли нам понять следующее: retention был выше у тех, кто больше всего смотрит мемов, кто включил push-уведомления и кто повторно устанавливал приложение.

Дальше развивать и улучшать продукт мы решили именно в этих направлениях, цель была увеличить глубину просмотра, пуши, реактивацию и так далее.

Retention был выше у тех, кто больше всего смотрит мемов, кто включил push-уведомления и кто повторно устанавливал приложение. Дальше развивать и улучшать продукт мы решили именно в этих направлениях, цель была увеличить глубину просмотра, пуши и реактивацию.

Больше смотришь — выше retention

Первой идеей было сделать большее количество контентных разделов в меню, это помогло бы увеличить глубину просмотра.

В iFunny есть основная лента и есть много других тематических: самый лучший контент, «твои подписки» или лента, отсортированная по определенному алгоритму.

Оказалось, что новые разделы перформят ещё хуже, чем основная лента. Меню отвлекало пользователей от просмотра контента, и они уходили в другие разделы, где глубина была сильно меньше.

Далее решили упростить playback, чтобы он был полностью автоматический, когда лента сама листается и есть возможность ставить её на паузу. Такой аналог сториз в Instagram. Пользователи этот эксперимент вообще не поняли, а глубина просмотра осталась примерно на том же уровне.

Также был ещё один масштабный эксперимент — рядом с главным меню добавили счётчик, который показывал пользователю, сколько осталось непрочитанных мемов, и поменяли сортировку.

Раньше мемы располагались в хронологическом порядке, новая же сортировка выдавала то, что пользователь не видел, а потом то, что уже видел, при этом в каждом из этих кластеров был свой хронологический порядок. На самом деле мы не ожидали от этого эксперимента больших результатов и были очень удивлены, когда он нам принес более 40% просмотров на пользователя.

Но вместе с тем появилась проблема — начало уменьшаться количество людей, которые заходят каждый день. Сделали массу итераций, среди них была группа тестов про счётчик, которая дала отличные результаты: выросла глубина просмотров, а с ними и доходы по рекламе, потому что они напрямую связаны с глубиной просмотров. Но retention при этом не рос.

Продолжили развивать контентную тему. Наши пользователи очень глубоко погружаются в контент, читают, увеличивают и разглядывают детали картинок, пересматривают видео. Для тех, у кого очень высокий retention, это особенно важно.

Проверили гипотезу — чем больше шеров у контента, тем он более вирален и нравится пользователям. Взяли две группы мемов (непрочитанные и прочитанные) отсортировали по убыванию коэффициента шеров (отношение количества шеров этого контента к общему количеству просмотров). Мемы, которые больше всего шерят, поставили вперед, а те, что меньше, — назад.

Благодаря шерам получили более 1000 установок в день, но retention до сих пор был на том же уровне.

Запустили эксперимент и увидели значимые результаты — глубина просмотров не упала, увеличилось количество шеров, вырос уровень републикации. Благодаря шерам получили более 1000 установок в день, но retention до сих пор был на том же уровне.

Тест сортировки

Понимая, что сортировка имеет большой impact, решили подойти к ней более научно. Запустили простенький тест, сделав четыре группы, в том числе дефолтную, в каждой из которых была своя сортировка.

Сортировали по основным действиям, которые доступны пользователю при взаимодействии с контентом: по убыванию коэффициента лайков, по коэффициенту сохранения, по коэффициенту репостов, по коэффициенту шеринга.

На третьей неделе тестов заметили, что retention в группе по лайкам растёт, основные метрики retention поползли вверх и — что немаловажно — onboarding тоже улучшился. Новые пользователи стали лучше онбордиться, а контент, выбранный этим алгоритмом, показался более веселым. Так мы поняли, что смайлы это ещё один наш retention-драйвер, а главное — появилось понимание, в какую сторону развивать продукт.

Retention-драйверы:

  • Лайки.
  • Сохранения.
  • Репосты.
  • Шеры.
  • Что же еще?

Эксперименты с push-уведомлениями

Вместе с этим мы продолжали тестить пуши, так как они всегда были высококонверсионным каналом возврата пользователя. Наши Android-пользователи получают в среднем 25 пушей в день. Когда же пушей приходит навалом, Android-система позволяет пользователям очистить их все разом. На iOS это выглядит немного иначе.

Мы с командой провели около 20 итераций по частотности пушей, по их наполнению, кластеризации — и всё равно это никак не повлияло на продукт. Единственное, что заметили, у iOS и Android совершенно разные механики реактивации через push-уведомления.

На iOS-устройства в принципе присылается гораздо меньше пушей, но зато там есть механика бейджа и цифра на иконке с количеством непрочитанных сообщений. С ними мы и экспериментировали: как часто меняется цифра в день, насколько она увеличивается, уменьшается и так далее.

С Android дела обстояли иначе — пользователям было без разницы, сколько им слали пушей, потому что система их группирует и для нас это не так заметно.

Тогда вернулись к серьёзной аналитике вокруг push-уведомлений. Изначально трекали только открытие пуша, сейчас же мы стали трекать отправку и приём пуша телефоном, его открытие и все ошибки, о которых нам говорят Firebase и APNs на отправку, также постоянно проверяем актуальность токенов.

У нас большое количество технических ошибок по отправке пушей.

В течение квартала собирали отчёты, делали отправку по клиентам — это помогло понять, что мы имеем большое количество технических ошибок по отправке пушей. Разбирались с кейсами, всё починили, какие-то метрики при этом выросли, и продолжили дальше итерировать.

Начали с содержания пуша, сделав заголовок с user-generated текстом. Раньше пользователь получал пуши, которые писали наши редакторы: собиралось семь выпусков в день и семь раз в день пользователь получал 20 смешных картинок.

Теперь же мы создали довольно простой алгоритм, который выбирал самую популярную по лайкам картинку, парсил на ней текст, ставил его в заголовок и добавлял туда же картинку.

Добавление картинки user-generated пуша увеличило его открытие в два раза и сильно повлияло на восприятие пользователями нашего продукта. Затем мы поменяли верстку у пуша, сделав полностью кастомный layout — конверсия увеличилась ещё в полтора раза просто за счет того, что мы сделали большую картинку.

Такие довольно простые изменения с push-уведомлениями дали тройной рост CTR пушам. Кроме этого, мы на 2% увеличили степень лояльности пользователей и вовлеченности в продукт, а глубина сессии получила +3%. Хоть цифры небольшие, но для нашего продукта значимые — крайне редко нам какой-нибудь из тестов приносит +2% DAU/WAU.

Подводя итоги

За два года провели множество экспериментов, и нам удалось увеличить stickiness практически на треть. Следом выросли показатели онбординга и retention 7 и 21 дня. И в результате людей, которые заходят каждый день в приложение, стало гораздо больше.

А еще больше про эксперименты, рост продуктов, growth-процессы команд читайте в Telegram-канале Epic Growth Channel.

0
8 комментариев
Популярные
По порядку
Написать комментарий...
Almas Abulkhairov

Спасибо за кейсы, очень интересно!

Ответить
8
Развернуть ветку
Denis Litvinov
Ответить
12
Развернуть ветку
Sam Woodward

Nice meme. Рейтани мой по-брацки) Поздравляю со статьей на Vice, теперь можно пятерку завершить)

Ответить
1
Развернуть ветку
Mikhail Tabunov

Подписывайтесь на мой канал в Telegram 
https://t-do.ru/bossofyourboss

Ответить
3
Развернуть ветку
Sergey Ontime

Плохое слово удержать. Принести больше полезного опыта – лучше.

Ответить
2
Развернуть ветку
Eduard Mirchev

Подчерпнули пару мыслей, спасибо! 
Я так понимаю, верстку пушей можно менять только на андрюхе?

Ответить
0
Развернуть ветку
Звенислав Николаевич

 существует с 2011 года и успешно работает на рынке США; одно из первых приложений в App Store и Google Play.

Эмм, в Аппстор паблишить можно было с 2008го года. Оно точно не одно из первых

Ответить
–1
Развернуть ветку
Denis Litvinov

Из первой тысячи))

Ответить
0
Развернуть ветку
Читать все 8 комментариев
В «День шопинга» продажи косметики в онлайне выросли в 4 раза

Доля выручки от интернет-заказов в сети «Золотое яблоко» в ноябре составила 45%. Это на 15% больше относительно предыдущих месяцев года.

Аватар Аня стала самостоятельной: виртуальный блогер ТНТ теперь отвечает на комментарии с помощью нейросети

Нейросеть месяц училась общаться в комментариях под постами.

Эвакуатор для своих: бармен из Санкт-Петербурга придумал способ заработать, когда закрыли общепит Статьи редакции

Он сам переоборудовал грузовик Toyota Dyna и принимает заказы от владельцев автосервисов и знакомых автомобилистов.

Платформу для эвакуатора варили из металла вручную
Для пользователей WhatsApp в США запустят мгновенную отправку криптовалюты — без комиссий и ограничений Статьи редакции

Нововведение позволит пользователям «быстро и безопасно» получать и отправлять криптовалюту.

Почему начинающим предпринимателям стоит выходить на маркетплейсы

Торговые онлайн-площадки готовы сотрудничать с бизнесом любого размера.

Tmall заморозил 80к руб. и не отправляет заказ 16 дней

Приветствую! Мой первый пост на vc, не пинайте сильно. Постараюсь кратко и по факту.

Благодарность команде vc.ru

Эти ребята делают наш мир лучше.

Голова не варит: 10+ советов, как предотвратить умственное переутомление

Наш мозг потребляет уйму энергии, но мы почему-то часто игнорируем, продолжая нагружать его новыми задачами. Как следствие — возникает умственное переутомление, и мы печально и бессильно глядим в пустоту в конце дня. Разбираемся, почему такое состояние возникает и как с ним бороться.

В OTUS стартует первый онлайн-буткемп «Java developer»
Праздник к нам приходит: когда заказывать подарки за рубежом

Ещё в ноябре для логистических компаний начинается горячий сезон, который продолжается до марта. 11 ноября — большая распродажа AliExpress, а сразу после неё — Чёрная пятница, плавно перетекающая в подготовку к Новому году, 14 и 23 февраля, и, наконец, к 8 марта. В это время Почта и другие логистические службы по всему миру доставляют особенно…

Как поднять продажи фармы в диджитале? Рассказываем про стратегию продвижения бренда «Ультра-Д» и показываем результаты

В пандемию фармотрасли тоже пришлось пойти в диджитал, но из-за ограничений ей это дается сложнее, чем остальным. Как построить стратегию продвижения фармпродукта в онлайне и поднять продажи, не нарушив закон? В 2020-м мы проверили в бою собственную стратегию продвижения фармы — а теперь рассказываем, как она работает и какие дает результаты.

null