10 советов менеджерам по продукту о формировании гипотез в медиа

Автор блога Media Skunk Михаил Калашников об основных методах отработки предположений.

Часто говорят, что главное умение продакт-менеджера — формулировать и проверять гипотезы (а вовсе не интегрировать между собой Slack, Trello и Jira). Посмотрели на метрики, придумали, что поменять, сделали, посмотрели, стало ли лучше. Проверили десять гипотез — две сработали, продукт стал божественным.

Звучит просто: в любом продукте есть куча всего, что можно поменять. Таббар на сайдбар, левую колонку на правую, клик на скролл и так далее. Но есть нюанс, понимание которого приходит с опытом.

Важно, чтобы гипотезы были существенно разными. Если вы передвинули кнопку сначала в одно место, потом в следующее и покрасили её в новый цвет, вы мало что нового узнали о продукте. А задача продакт-менеджера — узнавать о своей предметной области как можно больше, в том числе и в ходе неудачных проверок.

Локальная оптимизация поможет вам забраться на маленький холм, но настоящие горы успеха могут располагаться где угодно. Вы не найдете их, если не попробуете двигаться в как можно более разные направления (а также важно при этом достаточно далеко шагать, но об этом уже в другой раз).

Теперь покажу, как на самом деле это выглядит.

Допустим, вы работаете в медиа и обнаружили, что только 10% пользователей дочитывают до конца тексты на сайте, а 60% «отваливаются», прочитав не больше трети (все цифры вымышлены). Вы не знаете, что было раньше и что в среднем принято в отрасли (конкуренты лживые бездарности, счетчик только вчера поставили). Но всё же чувствуете, что это как-то не очень. Что можно сделать?

Системы аналитики иногда дают сбой, счетчики могут стоять неправильно или отсылать не то, что нужно. Хорошо иметь две или больше систем аналитики, чтобы вовремя такое замечать. Всегда стоит обращать внимание на связанные метрики: скажем, если число пользователей превышает число сессий, это должно вас насторожить.

По моему опыту, ошибки — чуть ли не основная причина аномалий в метриках. Особенно важно проверять достоверность цифр, если вдруг начался бурный рост. Опытный менеджер по продукту знает: если метрика выросла без веских причин, то либо сбились счетчики, либо нужно найти, что при этом упало. Хорошее не происходит случайно.

Например, отдел маркетинга мог вчера завести на проект кучу нецелевой аудитории. Или у вас есть ярко выраженная сезонность (читают только в рабочее время, а были выходные). Возможно, если очистить данные и подождать подольше, всё начнет выглядеть гораздо лучше.

Один из жизненных вариантов: у вас может быть так мало текстов или пользователей, что все сложные метрики просто не будут иметь смысла и статистической значимости.

Например, если у вас в середине текста рекламное видео со звуком — люди пугаются, злятся и закрывают текст. Или, допустим, верстка ломается везде, кроме Safari, а все в вашей компании используют только Macbook и iPhone и не знают об этом (обычная история для рекламных агентств).

Эти три пункта нужно рассматривать всегда в первую очередь перед тем, как что-либо менять.

Есть такая игра на совещаниях. Вы долго обсуждаете продукт, механики, процессы и что угодно ещё, а потом кто-то с бесконечно уставшим, но просветленным видом произносит: «А давайте посмотрим на это с точки зрения бизнеса». Кто сделает это первым, тот и победил, все остальные наказаны острым ощущением своей неэффективности.

Хороший ход — перенести баннеры из-под текста наверх. Еще один можно поставить на 30% текста. Быстро, дешево и эффективно. Вы не узнаете ничего нового, но потратите мало времени и даже что-то заработаете (по крайней мере, в ближайшей перспективе).

Звучит странно, но так постоянно делают в основном те, кто плохо понимает аудиторию. Я читал написанные всерьез тексты о том, как будить уснувших пользователей лонгридов, вставив, например, в середину видео или интерактивный блок. В этом случае можно сделать pop-up, который будет переспрашивать у недочитавшего, действительно ли он хочет закрыть страницу. Чуть более гуманный вариант пробовал The New Yorker: можно отправить себе текст на почту с закладкой на нужном месте.

Этот подход прост и механистичен, и поэтому его так любят начинающие: нарисуем красную стрелочку, немного подергаем нужный блок, сделаем pop-up на весь экран, пообещаем денег за действие. «Нет времени объяснять, жми сюда». Не то чтобы это совсем не работало, просто такой подход дает мало информации и не решает саму проблему. Вы компенсируете свой недостаток эмпатии и знаний за счет комфорта пользователя. А люди на длинной дистанции предпочитают, чтобы к ним относились как к людям.

Даже в плохих метриках можно найти что-то хорошее. Целых 10% пользователей дочитывают ваши тексты до конца. Кто они? Давайте найдем больше похожих людей и будем писать только для них.

Это типичный подход стартапов, которые ищут соответствие продукта и рынка. Особенно стартапов вида «мы сделали штуку и теперь пытаемся понять, зачем». Для зрелых и массовых проектов это не всегда реально.

Что может мешать человеку дочитать текст, который он хочет дочитать?

Например, у вас много аудитории возрастом за 50 лет, а шрифт очень мелкий — людям тяжело читать. Или всплывает окошко «Подписаться на нас в социальной сети Facebook», которое трудно закрыть, и люди уходят. Похоже на техническую ошибку, но сложнее отлавливается и требует некоторого озарения. Впрочем, именно на такие вещи люди чаще всего жалуются, поэтому полезно посмотреть всё, что пишут о проекте в поддержку или где-то снаружи.

Тут есть два подхода, и оба правильные. Можно изучить, чем выделяются статьи, которые дочитывают чаще обычного: тематика, авторы, время публикации. После этого начать делать больше такого и меньше всего другого. Крайне желательно при этом понимать, что такое «статистическая значимость».

Второй вариант (особенно если ничего выделить не удалось) — поискать новых авторов, темы и форматы. Совершенно естественный для редактора, но не всегда приходящий в голову продакт-менеджеру.

Что если делать тексты в три раза короче, чем сейчас? Может, тогда их получится делать в два раза больше и всем станет только лучше?

Если какая-то штука плохо работает, часто её правильно закрыть, а не лечить. Как вариант — купить у тех, кто умеет делать правильно, и не мучиться.

И вообще, кто сказал, что ваше главное умение именно в том, чтобы писать статьи о чем-то? Может, на самом деле вы совсем про другое?

Даже это не полный список направлений, а в более сложных продуктах и ситуациях вариантов может быть еще больше. Здесь важна интуиция: опытный и хорошо информированный мозг сам отбрасывает те варианты, которые нет смысла рассматривать (дорогие, маловероятные, с низкой потенциальной отдачей). Но умение увидеть разные объяснения и, соответственно, разные потенциальные решения — важное качество, которое стоит тренировать.

#Кейсы