Победить хаос в аналитике быстро растущего продукта? Кейс фото-редактора VSCO

VSCO - приложение фоторедактор. 30 млн. пользователей.
Продукт собирает километры логов, но пользоваться этим невозможно. Данные разрозненны, противоречивы, а иногда просто неверны. Нет документации, чтобы построить отчет нужно спрашивать “старожилов” куда смотреть.
По мере роста компании дела не становятся лучше, что делать продакту?

В компании выделили команду инженеров, которые несколько месяцев фокусировались на метриках. CPO Мэт Тернер вместе с CTO Стивеном Тангом прошли по каждому отслеживаемому событию с вопросом - надо ли это трекать команде c-level? А команде продукта? Разработке? Продажам?

• Удалить непонятные метрики
Важно все означает не важно ничего. Изначально в продукте трекали все события, позже оказалось, что на них никто не смотрит. Например одно из самых популярных событий в системе было “настройка установлена”, при этом никто не знал что это за настройка. Все “я не знаю” события удалили.

• Уплотнение
Каким образом мы можем включить одни события в другие, более простые/важные события? Создали отчеты с более высокоуровневыми, но показательными событиями.

• Усреднение
Например у фотографии есть много настроек - экспозиция, сатурация, контраст... оказалось что не надо трекать время каждой настройки, достаточно знать среднее время настройки фотографии, чтобы понять насколько хорошо работает фото-редактор.

• Точность
Отслеживание метрик не было главным приоритетом при разработке. Фичи дописывались а аналитика оставалась старой, часто не точной. Команда инженеров несколько месяцев работала над этим тех. долгом.

• Документирование
Вначале компания была командой из 6 человек в одной комнате, по мере роста потребовалось хорошо документировать метрики, чтобы новые коллеги могли пользоваться.

Ок, система аналитики налажена, и с-level умеет ей пользоваться, как внедрить data-driven культуру в остальных отделах, вот что сработало:

• Не давать аккаунт в Mixpanel, пока человек не попросил.
Надо подождать пару минут пока человек не задаст вопрос, на который можно ответить данными. А потом показать ему, как найти ответ в Mixpanel. Большинство людей скажут: “а что, так можно было? А можно мне тоже аккаунт сделать?”

• Большие презентации на 50 человек не работают.
Люди стесняются задавать вопросы, чтобы не тратить общее время.

• В малых группах или 1-на-1
Человеку не нужно знать все о системе, ему достаточно найти ответ на свой вопрос.

VSCO не единственный пример. С ростом компании отслеживать метрики становится сложнее, больше ошибок. Особенно если аналитика не была приоритетом во время первого бурного роста. Все мы можем оказаться в такой ситуации, но для системного и планомерного роста продукта все равно понадобится точная система метрик.

Если вам удобнее читать меня в Телеграме, вот ссылка на канал.

Это сжатый перевод статьи из блога Mixpanel. Я изучаю кейсы аналитики и заметил что там интересно. Решил написать выжимки всех 48 статей про аналитику в их блоге. Ссылка на оригинал: