Как Duolingo выросла на 350%, и причем здесь Uber и Gardenscapes

Это вольный перевод текста из рассылки Ленни Ракитски о том, как Duolingo смогли увеличить DAU в 4.5 раза. В тексте ex-CPO Duolingo рассказал, почему слепое копирование механих из других игр не работает, и почему важно выстраивать аналитику в своем продукте.

Как Duolingo выросла на 350%, и причем здесь Uber и Gardenscapes

Для тех, у кого нет времени читать лонгрид

Для того, чтобы сберечь время читателя (потому что текст получился достаточно длинным), в этой части я перескажу ключевые моменты. Если вам будет интересно почему так получилось, то погружайтесь в перевод или изучайте оригинал статьи. Поехали!

Слепое копирование геймификации - не работает. В первой части тексте Хорхе пишет, что первым шагом к решению проблемы роста пользователей была идея копирования механики «прогресс-бара» и счетчика в Duolingo из Gardenscapes. Но простое добавление таких механик не привело к увеличению показателей роста, потому что они не были адаптированы под пользовательский сценарий Duolingo.

Слепое копирование реферальной программы тоже не работает. Дальше Хорхе рассказывает, как они решили скопировать механику привлечения пользователей у Uber — «приглашай друзей и получай бесплатный месяц премиума». В результате количество новых пользователей увеличилось всего на 3%. Все дело было в том, что реферальная программа отрезала аудиторию платящих пользователей, который были самыми активными.

После двух провалов Хорхе перепридумал подход. Как только стало понятно, что простое копирований фичей не несет положительного эффекта. Для этого он вывел для себя четыре вопроса, которые помогают ему принять решение о внедрении новой функции.

Анализ больших данных дал понятие на какие рычаги нажимать. Команда решила серьезнее подойти к анализу данных пользователей и найти метрику «полярной звезды» — это показатель, который лучше всего отражает основную ценность продукта для пользователей. Для этого они ввели коэффициенты удержания разных когорт пользователей, которые в будущем помогали им принимать решения о проведении A/B-тестов и анализе их результатов. (Прим.авт. если честно, это самый важный и полезный блок, но он оказался довольно сложным для перевода, поэтому если вы в ладах с английским, то рекомендую ознакомиться с оригиналом, если почувствуете, что теряете логику повествования).

Добавили «Лиги» и таблицы лидеров. Не оставляя попыток добавить больше геймификации, команда Duolingo подсмотрела у игры Farmville 2 механику таблицы лидеров. Но в этот раз не стала один в один копировать ее, а адаптировала под контекст обучения. И это сразу дало плоды: Общее время обучения увеличилось на 17%, а количество высоко вовлеченных учеников утроилось.

Ввели индикацию серии занятий (streaks). Анализ данных показал, что если пользователь достигает 10-дневной серии, его шансы на отказ значительно снижаются. Команда взяла это на вооружение и серии стали новым поводом для хвастовства между пользователями.

Сделали те самые Push-уведомления. Этот опыт команда переняла у сервиса Groupon, который отправлял своим пользователям до 5 электронных писем в день, пока полностью не уничтожил этот канал коммуникации. В Duoligo сделали умнее и начали внедрять больше A/B-тестов. Самые удачные механики потом стали мемами.

На этом заканчиваю короткое саммари. Дальше идет перевод статьи. Надеюсь, что вам понравится, и вы подпишитесь на мой канал, где я пишу про PR, коммуникации и маркетинг.

Как Duolingo возобновила рост числа пользователей

Несколько месяцев назад я был на небольшом мероприятии, где Хорхе Мазал (бывший CPO компании Duolingo) рассказал историю об ускорении роста Duolingo. И эта история меня покорила. Я никогда раньше не видел подобной истории роста - 4,5-кратный рост для зрелого продукта, обеспеченный незначительным количеством изменений в продукте, основанный на инновационной модели роста и изложенный в таких практических деталях. Я спросил Хорхе, не захочет ли он поделиться (и расширить) эту историю для более широкой аудиторией, и я очень рад, что он согласился. Многие продукты уже смотрят на Duolingo как на источник вдохновения, и я подозреваю, что эта история только усилит эту тенденцию. Наслаждайтесь!

Как Duolingo выросла на 350%, и причем здесь Uber и Gardenscapes

Я пришел в Duolingo в качестве Head of Product в конце 2017 года. Duolingo уже был самым скачиваемым образовательным приложением в мире с сотнями миллионов пользователей, выполняя свою миссию "создать лучший в мире образовательный продукт и сделать его общедоступным". Однако рост числа пользователей замедлялся. К середине 2018 года число ежедневных активных пользователей (DAU) росло линейными темпами в годовом исчислении, что вызывало беспокойство, учитывая взрывной рост, который компания наблюдала в прошлом. Это было проблемой для стартапа, инвесторы которого хотели увидеть динамичный рост монетизации.

В этом тексте я расскажу о некоторых наших ранних ошибках, а затем о наших первых крупных победах, которые помогли нам переломить темпы роста, включая запуск таблиц лидеров, переориентацию на push-уведомления и оптимизацию функции "streak" (дальше по тексту будут упоминаться «серии»). Все это, а также ряд других действий, предпринимаемых в рамках Product и Marketing, помогло нам увеличить DAU в 4,5 раза за четыре года. Устойчивый органический рост пользователей способствовал выходу Duolingo на IPO в 2021 году.

Как Duolingo выросла на 350%, и причем здесь Uber и Gardenscapes

Эта статья - углубленный взгляд на этот путь. Я надеюсь, что обмен этим опытом поможет другим людям быстрее найти свои возможности для роста.

Этап 1: Добавим больше геймификации

Наша первая попытка оживить рост была направлена на улучшение удержания, т.е. на решение проблемы "дырявого ведра". Мы сделали ставку на работу над удержанием, а не над привлечением новых пользователей, потому что все наши новые пользователи привлечены органически, и в то время у нас не было очевидного рычага, за который можно было бы потянуть, чтобы увеличить этот показатель. Кроме того, у некоторых из нас были подозрения, что мы можем повысить уровень удержания с помощью геймификации. На мой взгляд, было две основные причины, по которым такой подход казался мне правильным.

Во-первых, Duolingo уже успешно внедрил несколько геймификационных механик, таких как система продвижения на главном экране, серии и система достижений. Во-вторых, у лучших на тот момент мобильных игр были гораздо более высокие показатели удержания пользователей, чем у нашего продукта, что я расценил как доказательство того, что мы еще не достигли потолка влияния геймификации.

<p>Геймифицированные страницы Duolingo "Главная" и "Достижения</p>

Геймифицированные страницы Duolingo "Главная" и "Достижения

Вооружившись короткой презентацией, которую я создал совместно с нашим главным дизайнером, мы смогли добиться достаточной поддержки со стороны остальных членов руководства, чтобы создать новую команду, команду по геймификации. В состав команды вошли менеджер по проектированию, инженер, дизайнер, APM (Agile project manager) и я.

Но была одна небольшая проблема: мы понятия не имели, какая механика геймификации подойдет для Duolingo.

Наша команда в то время увлеклась игрой под названием Gardenscapes, мобильной игрой-головоломкой в жанре три в ряд, похожей на Candy Crush. Эта мобильная игра вдохновила нас.

Как Duolingo выросла на 350%, и причем здесь Uber и Gardenscapes

Когда мы рассматривали различные игровые механики в Gardenscapes, мы не знали, что именно мы ищем - мы просто знали, что Gardenscapes кажется более увлекательным, чем Duolingo, и мы увидели несколько параллелей. Трехминутный урок Duolingo был похож на уровень игры Gardenscapes в стиле "три в ряд", а в Duolingo и Gardenscapes использовались индикаторы прогресса для отображения визуальной обратной связи о том, насколько пользователь близок к завершению занятия.

Однако в Gardenscapes индикатор прогресса был совмещен со счетчиком ходов, чего не было в Duolingo. Счетчик ходов позволял пользователям иметь только ограниченное количество ходов для завершения уровня, что добавляло ощущение нехватки и срочности в игровой процесс. Мы решили включить механику счетчика в наш продукт. Мы дали нашим пользователям ограниченное количество шансов правильно ответить на вопросы, прежде чем им придется начать урок сначала.

Как Duolingo выросла на 350%, и причем здесь Uber и Gardenscapes

Чтобы добавить счетчик, нашей команде потребовалось несколько месяцев работы. С выходом обновления я с нетерпением ждал оглушительного успеха. К сожалению, результат всех этих усилий оказался совершенно нейтральным. Никаких изменений в удержании пользователей. Никакого увеличения DAU. Мы практически не получили никаких отзывов от пользователей. Я был раздавлен.

Наибольший эффект эта инициатива оказала на нашу команду. После получения результатов мы быстро разделились во мнениях. Одни хотели продолжать развивать идею, а другие - поменять подход. Команда почти сразу (и очень резко) распалась. Это было довольно печально. Единственным плюсом этой неудачи стало то, что я многое узнал о культуре компании и о том, как улучшить свой личный стиль руководства - хотя это тема для другой статьи.

<p>Первая попытка возобновить рост за счет геймификации привела к пожару в мусорном контейнере.</p>

Первая попытка возобновить рост за счет геймификации привела к пожару в мусорном контейнере.

Этап 2: Добавим реферальную программу

Чувствуя себя выгоревшими после наших усилий по геймификации, мы полностью переключились на улучшение удержания пользователей и создали новую команду по продукту, сфокусированную на приобретении новых пользователей, названную командой по привлечению. В то время компания Uber добилась хороших результатов в привлечении пользователей и, по слухам, выросла во многом благодаря своей реферальной программе. Вдохновившись этим, мы создали реферальную программу, аналогичную программе Uber. Вознаграждением был бесплатный месяц нашей премиум-подписки Super Duolingo (в то время она называлась Duolingo Plus). Нам показалось, что это очень хорошее предложение!

Как Duolingo выросла на 350%, и причем здесь Uber и Gardenscapes

Мы внедрили эту фичу и надеялись, что наша вторая попытка будет более успешной. Вместо этого количество новых пользователей увеличилось всего на 3%. Это был положительный результат, но не тот рывок, который нам был нужен. Тем не менее, команда удвоила усилия и упорно работала, создавая итерации реферальной программы и предлагая новые решения, но результата это не принесло.

Пока команда продолжала работу над новыми итерациями, мне стало ясно, что мы должны найти другой подход к решению проблемы роста.

Время перегруппироваться

После этих нескольких неудач, произошедших всего за несколько месяцев, я задумался о том, какие еще продуктовые решения предложить.

Оглядываясь на прошлые события, стало ясно, почему счетчик ходов в Gardenscapes плохо подходил для нашего продукта. Когда вы играете в Gardenscapes, каждый ход кажется стратегическим решением, потому что вам приходится обходить динамические препятствия, чтобы прийти к победе. Но для того, чтобы пройти урок Duolingo, стратегическое решение не требуется - в основном вы либо знаете ответ на вопрос, либо нет. Поскольку в этом не было никакой стратегии, счетчик ходов Duolingo был просто скучной, навязчивой помехой. Это была неправильная механика геймификации, которую мы внедрили в Duolingo. Я понял, что был настолько сосредоточен на сходстве Gardenscapes и Duolingo, что не учел значение основных различий.

Также не потребовалось много времени, чтобы понять, почему наша реферальная программа не принесла успеха, подобного успеху Uber. Реферальные программы работают в Uber, потому что пассажиры платят за поездки по бесконечной системе «привлекаешь новых пользователей - ездишь на Uber бесплатно». Бесплатная поездка - это постоянный стимул. В Duolingo мы пытались стимулировать пользователей, предлагая бесплатный месяц Super Duolingo. Однако у наших лучших и наиболее активных пользователей уже был Super Duolingo, и мы не могли предоставить им бесплатный месяц, когда они уже были подключены к тарифному плану. Это означало, что наша стратегия, которая должна была опираться на наших лучших пользователей, фактически исключала их.

В обеих этих ситуациях мы заимствовали успешные функции из других продуктов, но делали это неправильно. Мы не учли, как изменение контекста может повлиять на эффективность фичи. После этих попыток я понял, что мне нужно лучше понимать, как грамотно заимствовать идеи из других продуктов. Теперь, когда я хочу перенять какую-либо функцию, я спрашиваю себя:

  • Почему эта функция работает в этом продукте?
  • Почему эта функция может быть успешной или неудачной в нашем контексте, т.е. будет ли она хорошо адаптирована?
  • Какие адаптации необходимы для того, чтобы эта функция стала успешной в нашем контексте?

Другими словами, нам нужно было использовать более взвешенный подходы к адаптации при внедрении. Если бы мы придерживались более систематического подхода в этой области, мы бы многое изменили в выборе механики геймификации. И, возможно, мы бы вообще отказались от фокусировки на реферальных пользователях. Я был намерен убедиться, что наши следующие попытки будут более методичными. Мы должны были лучше обосновывать свои решения, опираясь на данные, понимание и базовые принципы.

Этап 3: Использование больших данных и моделей

Duolingo всегда прекрасно справлялся со сбором данных, особенно для проведения A/B-тестов. Но не было приложено много усилий для использования этих данных для генерации идей. Увидев изнутри, как Zynga и MyFitnessPal используют данные, я почувствовал, что мы можем использовать данные Duolingo, чтобы найти метрику "полярной звезды" и добиться нужного нам прорыва.

Моя работа в Zynga и MyFitnessPal вдохновила нас на то, как сегментировать и анализировать наших пользователей по уровню вовлеченности. Zynga разделяла своих пользователей и измеряла уровень удержания на основе следующих еженедельных показателей удержания:

  • Коэффициент удержания текущих пользователей (CURR): Вероятность того, что пользователь вернется на этой неделе, если он заходил на продукт в течение двух последних недель.

  • Коэффициент удержания новых пользователей (NURR): Вероятность того, что пользователь вернется на этой неделе, если на прошлой неделе он был новым пользователем продукта.

  • Коэффициент удержания повторно активированных пользователей (RURR): Вероятность того, что пользователь вернется на этой неделе, если он был повторно активен на прошлой неделе.

Позже, когда я работал в MyFitnessPal, я обнаружил, что они переняли и расширили работу Zynga по удержанию пользователей. Они использовали не только CURR, NURR и RURR для измерения роста, но и для моделирования будущих сценариев. Они также добавили SURR:

  • Коэффициент удержания вернувшихся пользователей (SURR): Вероятность того, что пользователь вернется на этой неделе, если он вернулся (после более длительного отсутствия) на прошлой неделе.

Я предположил, что мы можем использовать эти метрики в Duolingo в качестве отправной точки для создания более сложной модели и использовать эту модель для определения метрики "Полярной звезды". Работая с исследователем данных и руководителем инженерного отдела в команде по привлечению клиентов, мы разработали модель, представленную ниже. Мы использовали те же показатели удержания, что и у Zynga и MyFitnessPal, но перешли от еженедельного к ежедневному анализу и добавили еще несколько показателей.

Как Duolingo выросла на 350%, и причем здесь Uber и Gardenscapes

Блоки, или "корзины", представляют собой различные сегменты пользователей с разным уровнем вовлеченности. И каждый пользователь, когда-либо использовавший продукт, находится в одной, и только в одной корзине, в любой конкретный день. Это означает, что корзины в модели MECE (взаимоисключающие, коллективно исчерпывающие) представляют всю базу пользователей, которые когда-либо использовали Duolingo. Стрелки измеряют перемещение пользователей между корзинами (они включают CURR, NURR, RURR и SURR, но в дальнейшем превратились в ежедневные показатели удержания, а не еженедельные). Сочетание корзин и стрелок позволяет создать почти замкнутую систему, в которой единственным прерыванием является появление новых пользователей.

Удобно, что четыре верхние графы модели складываются в DAU. Эти корзины определяются следующим образом:

  • Новые пользователи: первый день вовлечения в приложение за все время использования приложения
  • Текущие пользователи: участвовали сегодня и еще как минимум один раз за предыдущие 6 дней
  • Заново вовлеченные пользователи: первый день вовлечения после отсутствия в течение 7-29 дней
  • Повторно вовлеченные пользователи: первый день вовлечения после отсутствия в течение 30 дней и более

Остальные три группы представляют пользователей, которые не были активны сегодня и имеют разную степень инактива.

  • WAU с риском: неактивен сегодня, но активен хотя бы в один из предыдущих 6 дней.
  • MAU в группе риска: неактивен в течение последних семи дней, но активен хотя бы в течение одного из предыдущих 23 дней.
  • Неактивные пользователи: неактивны в течение последних 31 дня или дольше

Тот факт, что DAU, WAU и MAU могут быть легко рассчитаны на основе этих корзин, упрощает их моделирование во времени. Это ключевая особенность модели. Кроме того, манипулируя показателями, представленными стрелками, мы можем моделировать суммарное и кумулятивное воздействие изменения этих показателей во времени; другими словами, показатели - это рычаги, за которые могут потянуть продуктовые команды для роста DAU.

Создав модель, мы начали делать ежедневные срезы данных, чтобы создать историю развития всех этих групп пользователей и коэффициентов удержания на ежедневной основе за последние несколько лет. На основе этих данных мы могли создать перспективную модель, а затем провести анализ восприимчивости, чтобы предсказать, какие рычаги окажут наибольшее влияние на рост DAU. Мы провели имитационное моделирование для каждой величины, в ходе которого мы изменяли одну величину на 2% каждый квартал в течение трех лет, сохраняя все остальные величины неизменными.

Ниже приведены результаты нашей первой модели. Здесь показано, как эти небольшие изменения на 2% по каждому рычагу повлияли на прогнозируемые показатели MAU и DAU.

Как Duolingo выросла на 350%, и причем здесь Uber и Gardenscapes

Мы сразу же увидели, что CURR оказал огромное влияние на DAU - в пять раз больше, чем вторая лучшая метрика. Оглядываясь назад, можно сказать, что вывод CURR имеет смысл, потому что у корзины Current User есть интересная особенность: текущие пользователи, которые остаются активными, возвращаются в ту же самую корзину.

Как Duolingo выросла на 350%, и причем здесь Uber и Gardenscapes

Это создает эффект суммирования, что означает, что CURR гораздо труднее увеличить, но когда это произойдет, это будет иметь огромное влияние. На основе этого анализа мы поняли, что CURR - это та метрика, которую мы должны были изменить, чтобы добиться желаемого стратегического прорыва. Мы решили создать новую команду по удержанию, для которой CURR станет метрикой "Северной звезды".

Одним из самых больших преимуществ фокусировки на CURR стало решение не работать над тем, что раньше казалось первостепенным, особенно над удержанием новых пользователей. Это был огромный сдвиг в сознании компании, которая добилась значительного успеха, тратя годы на проведение экспериментов по увеличению числа новых пользователей.

Другим важным уроком было наблюдение огромного разрыва между тем, как метрика может влиять на DAU и MAU; например, влияние CURR на DAU было в 6 раз больше, чем влияние на MAU. iWAURR (коэффициент повторной активации неактивных WAU) был вторым по эффективности рычагом для продвижения DAU, но был лишь на четвертом месте для продвижения MAU, после увеличения числа новых и возвращенных пользователей. Это означает, что в какой-то момент нам все равно придется найти новые векторы роста для привлечения новых пользователей, если мы хотим добиться существенного улучшения MAU. Но на данный момент наше внимание было сосредоточено только на увеличении DAU, поэтому мы отдали предпочтение CURR по отношению ко всем другим рычагам роста. И это оказалось правильным решением.

Развиваем таблицы лидеров

Разобравшись с метриками, мы изучили данные нашей исторической модели и результаты наших A/B-тестов за несколько лет, чтобы выяснить, не сделали ли мы случайно чего-нибудь такого, что сдвинуло CURR в прошлом. Удивительно, но мы этого не сделали. На самом деле, CURR не двигался уже несколько лет. Нам нужно было придумать шаги, чтобы увеличить CURR, основываясь на главных принципах.

Я все еще считал, что геймификация - это хорошая идея в попытках повысить уровень удержания. Наша неудача со счетчиком ходов в стиле Gardenscapes не опровергла ни одной из первоначальных причин, по которым мы считали, что геймификация все еще имеет плюсы для Duolingo - мы узнали, что счетчик ходов был неуклюжей попыткой. В этот раз мы будем более методично и разумно подходить к выбору функций, которые мы добавляем или заимствуем. Мы постарались применить уроки наших предыдущих попыток геймификации.

После некоторых раздумий мы решили сделать ставку на таблицы лидеров. Вот почему. В Duolingo уже была таблица лидеров, с помощью которой пользователи могли соревноваться со своими друзьями и родственниками, но она не была особенно эффективной. Основываясь на своем опыте работы в Zynga, я чувствовал, что есть более эффективный способ. Когда я начал работать над игрой FarmVille 2 от Zynga, в ней была предусмотрена таблица лидеров, аналогичная существующей таблице лидеров Duolingo, где пользователи соревновались со своими друзьями. Основываясь на личном опыте игрока, я предположил, что близость соперников будет важнее, чем близость личных отношений. Я думал, что это будет особенно актуально в развитом продукте, где многие друзья пользователей уже не активны. По результатам нашего тестирования в Zynga, эта идея оказалась верной. Исходя из этого, я решил, что система таблиц лидеров, подобная той, которую я помогал разрабатывать в Zynga, будет успешной в контексте нашего продукта.

Таблица лидеров FarmVille 2 также включала систему "лиг". Помимо попадания на вершину еженедельной таблицы лидеров, пользователи имели возможность продвигаться по уровням лиг (например, от Бронзовой лиги к Серебряной лиге и Золотой лиге). Лиги давали пользователям большее ощущение прогресса и вознаграждения, что является неотъемлемым элементом игрового дизайна. Они также повышают вовлеченность со временем, так как пользователи, участвующие в игре, переходят в более конкурентные лиги из недели в неделю. Мы посчитали, что эта функция хорошо впишется в существующий продукт Duolingo, поскольку она напрямую связана с такими распространенными человеческими мотивами, как соперничество и прогресс.

<p>Пользователи сравниваются с другими пользователями, которые имели аналогичный уровень вовлеченности на предыдущей неделе. Лучшие игроки по итогам недели переходят в более высокую лигу на следующей неделе.</p>

Пользователи сравниваются с другими пользователями, которые имели аналогичный уровень вовлеченности на предыдущей неделе. Лучшие игроки по итогам недели переходят в более высокую лигу на следующей неделе.

Однако не все аспекты таблиц лидеров FarmVille 2 хорошо переносятся на Duolingo. Нам пришлось применить свое собственное понимание, чтобы адаптировать эту игровую механику к контексту Duolingo. В FarmVille 2 соревнование в таблице лидеров требовало выполнения дополнительных заданий помимо основного игрового процесса. Это было то, что мы намеренно оставили без внимания. В контексте Duolingo дополнительные задания только добавили бы ненужную сложность в изучение языка. Мы намеренно сделали нашу таблицу лидеров максимально непринужденной и не требующей особых усилий; пользователи автоматически регистрировались в ней и могли продвигаться к вершине рейтинга лиги, просто постоянно занимаясь изучением языка. Сохранив интересную игровую механику, но сделав ее более простой, чем в FarmVille 2, мы почувствовали, что достигли правильного баланса.

Функция таблиц лидеров оказала огромное и почти немедленное влияние на наши показатели. Общее время обучения увеличилось на 17%, а количество высоко вовлеченных учеников (пользователей, которые проводят в игре не менее 1 часа в день в течение 5 дней в неделю) утроилось. На тот момент мы еще не знали, как рассчитать статистическую значимость для CURR, но мы увидели, что наши традиционные показатели удержания (D1, D7 и т.д.) улучшились существенно и со статистической значимостью. В дальнейшем функция таблицы лидеров стала вектором для улучшения показателей, и команды продолжают оптимизировать эту функцию по сей день. Также важно отметить, что таблица лидеров стала первым прорывом команды по удержанию!

Те самые Push-уведомления

Команда по удержанию пользователей была полностью воодушевлена поиском новых методов, чтобы удержать текущих пользователей и мотивировать их заниматься каждый день. Одной из областей, которую они начали изучать, были push-уведомления. Основываясь на результатах многочисленных A/B-тестов в предыдущие годы, Duolingo установил, что уведомления могут быть важным вектором роста, но с годами это влияние ослабло. С новой командой, полной идей, мы почувствовали, что настало подходящее время пересмотреть этот вектор.

Когда мы начали погружаться в эту тему, один принцип стал главным. Он возник из поучительной истории, рассказанной генеральным директором Groupon. Он объяснил Луису фон Ану, нашему генеральному директору, что долгое время Groupon отправлял одно уведомление по электронной почте в день. Но их команда начала задумываться о том, улучшит ли рассылка большего количества писем показатели.

В итоге генеральный директор сдался и разрешил своей команде протестировать отправку еще одного письма каждому пользователю каждый день. Этот тест привел к значительному увеличению целевых показателей. Воодушевленные этой идеей, Groupon продолжили экспериментировать, отправляя больше писем, даже до пяти в день. Затем, по ощущениям, их канал рассылки электронных писем потерял большую часть своей эффективности.

Со временем накопление агрессивных тестов электронной почты Groupon практически уничтожило этот канал. Один из часто недооцениваемых рисков агрессивного A/B-тестирования электронных писем и push-уведомлений заключается в том, что это приводит к отказу пользователей от канала; и даже если вы остановите тестирование, эти пользователи навсегда останутся в числе отказавшихся. Проделайте это много раз, и вы разрушите свой канал коммуникации. Такого результата нужно было избежать. Для наших push-уведомлений мы установили одно основополагающее правило: защитить этот канал коммуникации.

Учитывая это ограничение, мы решили предоставить команде большую свободу в оптимизации таких параметров, как время, шаблоны, изображения, копии, локализация и т.д., но они не могли увеличивать количество уведомлений без веского обоснования и одобрения генерального директора. Со временем, благодаря бесчисленным итерациям, A/B-тестированию и алгоритму бандита, команда смогла создать десятки малых и средних результатов, которые год за годом приводили к существенному увеличению DAU.

Мем про уведомления, который стал вирусным в 2019 году
Мем про уведомления, который стал вирусным в 2019 году

Вектор на серии занятий из нескольких дней

В поисках дополнительных векторов роста команда по удержанию начала исследовать, существует ли сильная корреляция между удержанием пользователей и использованием определенных функций Duolingo. Они обнаружили, что если пользователь достигает 10-дневной серии занятий, его шансы на отказ значительно снижаются. Понятно, что во многом это просто корреляция и предвзятость отбора, но мы посчитали этот факт достаточно интересным, чтобы снова начать вкладывать средства в улучшение этой функции.

Концепция серии занятий очень проста: показать пользователям количество дней подряд, в течение которых они выполняли какие-либо действия в приложении. Но оказалось, что вокруг полос существует удивительно большое количество возможностей для оптимизации.

Мы добились первой большой победы с помощью уведомления о сохранении серии - уведомления, которое предупреждает пользователей, имеющих серию в несколько дней, о том, что они вот-вот потеряют свою серию. Это позднее уведомление доказало, что действительно существует значительная выгода от удвоения оптимизации механики серий. После этого последовало несколько улучшений: просмотр календаря, анимация, изменения в замораживании полос и вознаграждение за серию, среди прочих. Каждое из них помогло улучшить первоначальную идею серии и привело к существенному улучшению удержания.

Как Duolingo выросла на 350%, и причем здесь Uber и Gardenscapes

На сегодняшний день серии является одной из самых мощных механик вовлечения в Duolingo. Когда люди рассказывают о своем опыте использования Duolingo, они часто упоминают о своей серии занятий. Недавно я встретил одного пользователя, который сказал мне: "У меня серия из 1435 дней!" и добавил: "И ни одного перерыва!". Его хвастовство было вполне заслуженным, поскольку он ежедневно изучал выбранный язык в течение почти четырех лет.

Серии работают по нескольким причинам. Одна из них заключается в том, что серия со временем повышает мотивацию пользователя; чем дольше серия, тем больше стимул продолжать ее. Когда речь идет об удержании пользователей, именно такое поведение мы хотим видеть в наших пользователях. Каждый день, когда ученик приходит в Duolingo, он заботится о том, чтобы вернуться на следующий день, чуть больше, чем за день до этого, а значит, повышается уровень удержания и DAU. В качестве мета-урока, наш успех с механикой серии еще раз показал нам, что мы можем извлечь больше пользы из существующих функций. Мы увидели ценность как в крупных достижениях, так и в быстрой оптимизации. А в команде класса "А+" часто сочетается и то, и другое.

Рост за пределами CURR

Мы не остановились на CURR; существовала очень здоровая обеспокоенность, что в какой-то момент CURR достигнет потолка, и рано или поздно нам придется искать векторы роста для привлечения новых пользователей. Команда по удержанию пользователей оставалась сфокусированной на увеличении CURR, но как компания мы постоянно увеличивали наши инвестиции в рост, создавая все новые и новые команды по продукту и маркетингу для поиска новых векторов (как для удержания, так и для привлечения пользователей). К счастью, некоторые из этих ставок сработали, включая международную экспансию, создание социальных функций (именно на это в конечном итоге переключилась команда Acquisition, причем с большим успехом), ускорение создания контента курсов, работу с инфлюенсерами, увеличение нашего присутствия в школах, инвестиции (небольшие) в платные активации пользователей и сумасшедший успех в TikTok. Каждый из этих примеров заслуживает отдельной статьи.

Общие итоги

Благодаря нашим усилиям за четыре года мы смогли увеличить CURR на 21%, что представляет собой снижение ежедневного оттока наших лучших пользователей более чем на 40% и, вместе с другими нашими успешными решениями, привело к увеличению нашего DAU в 4,5 раза. Прошлый год стал одним из самых быстрых темпов роста в истории Duolingo. Качество пользовательской базы также улучшилось; доля наших пользователей со стажем 7 дней и более увеличилась почти в 3 раза и составила более половины всех пользователей. Это означает, что у Duolingo теперь не только гораздо больше активных пользователей, но и то, что эти пользователи с гораздо большей вероятностью будут возвращаться, рекомендовать своих друзей и подписываться на Super Duolingo. Такой рост стал залогом успешного IPO Duolingo.

Надеюсь, что вам было полезно, а если вам интересно получать больше контента про PR, коммуникации и маркетинг. подпишитесь на мой канал.

1616
6 комментариев

о, до сих пор играю в Gardenscapes, хотя уже прошло лет 5 с момента скачивания

2

Спасибо за перевод.

Приложение кстати отличное (не смотря на все описанные механики геймификации :)), всем рекомендую

1

Не пробовали Speakly? Мне больше зашло

так не люблю таблицы с рейтингом всеобщим в играх

1