Вот как Амазон измеряет свою эффективность

Автор оригинала Cedric Chin. "Я ждал такую книгу, как Working Backwards, очень и очень долго."

Содержание

Это конспект одной лишь главы из Working Backwards (Работай, начиная с конца), первой книги, которая описывает, как работает Амазон изнутри. Советую приобрести книгу, потому что этот конспект будет более полезным, если его читать вместе с историями из самой книги.

Я ждал такую книгу, как Working Backwards, очень и очень долго. Если посмотреть со стороны и подумать, Амазон — невероятно эффективная компания. Они начали с продажи книг, но уже добились лидирующих позиций на огромном количестве рынков: электронная комерция, облачные технологии, интернет-видеосервисы, электронные книги, оборудование для умного дома, сервисы доставки до конечного потребителя. Есть все предпосылки к тому, что в течение следующего десятилетия Амазон продолжит укреплять свои позиции на многих из этих рынков; он также, вероятнее всего, расширится и на новые.

Working Backwards — первая книга, объясняющая как Амазон всего этого добивается. Книга была написана ветеранами Амазона, Колином Брайаром и Биллом Карром, которые были свидетелями создания многих основополагающих техник. Главная причина того, что Амазон способен делать то, что он делает, приводимая Брайаром и Карром, заключается в следовании: а) набору принципов лидерства, воспринимаемых со всей серьезностью (актуальный список принципов можно найти здесь) б) набору из пяти механизмов — процессов, которые позволяют Амазону делать то, что они делают. Такими механизмами являются:

Этот пост будет сфокусирован только на последней теме, в конце концов, это блог о бизнес-аналитике, написанный компанией бизнес-аналитики. Одержимость метриками — это как раз про нас. Но здесь, я бы хотел подчеркнуть силу этих идей. Книга Брайара и Карра основательно объясняет почему Амазон может делать то, что они делают. Вам следует купить книгу и прочитать их истории.

Самая полезная вещь, которую вы вынесите из книги Working Backwards — идея о том, что хороший управляющий должен измерять организацию, которой он руководит. Если вы не будете измерять, вы не будете знать, что у вас происходит. Если вы не знаете, что у вас происходит, вы не можете быть хорошим управляющим — вы не знаете на чем сосредоточить свое внимание, чтобы получить желаемый результат.

Амазон делит метрики на 2 типа: контролируемые входные метрики и метрики на выходе. В индустрии они известны как опережающие и запаздывающие показатели, но Амазон любит использовать собственные словечки, эм, ну это же Безос. Однако, думаю, что выражение «контролируемые входные метрики» — это особенно хороший способ формулировки: он как бы подчеркивает, что опережающие показатели стоят внимания только в случаях, когда они являются контролируемыми.

Согласно Брайару и Карру, Амазон думает о своих показателях в двух широких смыслах:

Мы изучим каждую идею по очереди.

Как Амазон создает свои метрики? Если отвечать коротко, у них для этого есть целый процесс, метод улучшения, называемый DMAIC, который они скопировали из концепции «Шесть Сигм». Аббревиатура расшифровывается как Define (определите), Measure (измеряйте), Analyze (анализируйте), Improve (улучшайте), Control (контролируйте). Авторы говорят, что если вы хотите внедрить схожие с Амазоном еженедельные встречи WBR, то вам нужно пройти через этапы DMAIC в правильном порядке, не пропуская ни один шаг. (Где-то в книге упоминается, что команды, которые не проходят этапы DMAIC в точном порядке, спотыкаются позже. Урок усвоен.)

Давайте взглянем на каждый этап по очереди:

Почти каждая метрика, презентуемая на встрече руководителей WBR, соответствует одному из элементов знаменитого «маховика» Амазона:

Когда-то эту диаграмму нарисовал Безос на салфетке в 2001 году, вдохновленный концепцией маховика из книги Джима Коллинза «От хорошего к великому». Брайар и Карр подчеркивают, что маховик на столько важен, что он располагается в самом начале каталога показателей на встречах руководства WBR. Маховик устанавливает контекст для каждой метрики, которую Амазон отслеживает в своем розничном бизнесе.

Первая вещь, которую делает Амазон — это определяет список правильных контролируемых входных метрик. Это удивительно сложно и требует повторяющегося процесса проб и ошибок. Авторы приводят следующий пример:

Авторы здесь говорят, что для того, чтобы получить правильный набор контролируемых входных метрик, вам нужно будет тестировать и дискутировать, будьте готовы совершать множество итераций и того и другого! Авторы поясняют, что даже этот путь не был таким уверенным, как вы могли бы подумать — Безос был обеспокоен тем, что метрика быстрого роста запасов была слишком узкой, но Джефф Уилк настаивал, что такая метрика приведет к обширным систематическим улучшениям. Безос согласился попробовать, и Уилке оказался прав.

Однако, самое главное, на что необходимо обратить внимание — это на то, что такой процесс совершается для каждой входной метрики, которую использует Амазон. Это сотни человеко-часов только на итерации по используемым входным метрикам.

Приготовьтесь делать то же самое для своей компании.

Этап измерения — это ступень, где вы настраиваете инструментарий для аналитики: закупаете все необходимое и отлаживаете окружение для измерения выбранных метрик. Брайар и Карр выделяют следующие 3 шага на этой стадии:

Во-первых, невероятно важно и необходимо избавиться от предубеждений в ваших метриках, если вы хотите открыть самую потаенную правду о своем бизнесе. Амазон оказывает всяческую поддержку своему финансовому отделу, чтобы те беспристрастно вскрывали и рапортовали правду. Это делается потому что руководители бизнес-подразделений заинтересованы выбирать показатели (или настраивать показатели!) таким образом, чтобы выглядеть лучше.

Во-вторых, планируйте аудит метрик. Амазон требует от блюстителей метрик проведения регулярных ревизий метрик, для того чтобы убедиться, что метриками измеряется то, что на самом деле должно отслеживаться. В основе такого требования лежит предположение о том, что со временем что-то приведет к смещению вашей метрики и, следовательно, к искажению чисел.

В-третьих, найдите время и инвестируйте в инструменты для своего бизнеса. Кажется, это достаточно просто сделать: вы тратите деньги на людей и сервисы для создания бизнес-аналитики, и на этом ваша работа кончается, так? Но авторы подчеркивают, что в ваших интересах использовать правильные инструменты, какими бы они ни были для бизнеса, а ведь иногда правильные — это наиболее сложные!

В пример дается показатель Амазона «в наличии». Метрика «в наличии» звучит простой для измерения, пока вы не увидите как много там возможных способов вычислить в наличии ли товар. И что же вам делать? Посмотрим со стороны, вопрос, на который мы на самом деле хотим ответить следующий: «какой процент моих товаров готовы к покупке и незамедлительной отправке?».

Вы можете измерить это несколькими способами. Авторы приводят только два:

Авторы утверждают, что вторая метрика лучше, потому что она отражает то, что видит клиент. Так что, несмотря на то, что этот способ дороже в реализации (вам нужно будет попросить инженеров написать код, сделать расчеты и хранить каждое событие в базе данных!), вам следует стиснуть зубы и вложиться, потому что это наиболее точная метрика, которую бизнес должен знать.

На этой стадии жизненного цикла метрик вы дорабатываете устойчивое понимание всей подноготной метрики. Авторы говорят, внутри Амазона существует много разных названий для этой ступени, например, «снижаем вариативность», «делаем процесс более предсказуемым», «берем процесс под контроль»

Чарли Белл, старший вице-президент AWS (Amazon Web Services), однажды сказал: «Когда вы сталкиваетесь с проблемой, вероятность того, что вы сразу видите корень этой проблемы стремится к нулю, потому что обычно оказывается, что за каждым происшествием скрывается очень интересная история.»

Он здесь имеет в виду, что часто, если вы сталкиваетесь со странным поведением метрики, то вы тратите время на поиск причин такого поведения. Как и Тойота, Амазон использует метод «5 почему», чтобы добраться до первопричины аномалий ( они называют этот процесс «Исправление ошибок» COE (‘Correction of Errors’), результатом COE является документ, описывающий настоящий корень проблемы аномалии в соответствующей метрике).

Но сам смысл, стоящий за ступенью анализа, важнее. Брайар и Карр говорят, что для каждой новой метрики обязательно будет период, когда нужно будет развить глубокое понимание того, как она работает, какие ее первоисточники, как выглядят ее естественные колебания, доверительный интервал и так далее. Это позволит вам перейти на следующий этап, которым будет:

Как только вы развили твердое, устойчивое понимание вашего процесса и показателей, вы наконец готовы начать улучшать оговоренный процесс. Например, если ваша метрика «в наличии» равна 95%, вы можете задаться вопросом: «Что нужно сделать, чтобы поднять ее до 97%»?

Причина того, что стадия улучшения идет после определения, измерения и анализа, состоит в том, что теперь вы будете делать изменения на прочном фундаменте понимания. В Амазоне были отделы, которые пытались улучшать свои процессы без полного цикла определения, измерения и анализа. Почти всегда это приводило к большому количеству беспорядочных действий с маленькими или незначительными результатами. Авторы отмечают, что если вы со временем постепенно улучшаете этот процесс, то ранее используемая метрика может перестать давать полезную информацию. В таких случаях совершенно нормально удалить ее с ваших дашбордов.

Наконец, метрика переходит в устойчивое состояние, в фазу контроля. Этот этап про то, чтобы убедиться, что ваши процессы отлажено работают и производительность со временем не падает. В некоторых командах Амазона метрики настолько хорошо контролируются и процессы так налажены, что встречи WBR становятся встречами - исключениями, вместо регулярных еженедельных встреч для обсуждения каждой метрики. Сотрудники встречаются лишь для обсуждения аномалий.

Еще одна вещь, которая случается на стадии контроля — это то, что аналитики могут обнаружить процессы, которые могут быть полностью автоматизированы. В конце концов, если процесс достаточно хорошо изучен и решения предсказуемы, то скорее всего он может быть заменен программным обеспечением. Предсказания и покупки на Амазон — два примера, где процессы сейчас полностью автоматизированы — хотя, на автоматизацию ушли годы синхронизации категорий покупателей и разработчиков для того, чтобы автоматизировать покупки миллионов товаров на Амазоне.

Как я ранее уже упоминал, Амазон использует метрики, рассматривая их на еженедельных бизнес-ревью WBR.

Блюстители метрик следят за показателями ежедневно. От них требуется знать, что является естественным отклонением, а что аномальным, чтобы не тратить лишнее время на WBR.

На собраниях WBR самого высокого уровня (Безос и его команда топ-менеджеров, S-team) бизнес-ревью WBR охватываются все наиболее важные показатели компании из «колоды показателей» — презентации, состоящей из сотни графиков, диаграмм и таблиц. На заре Амазона, вся «колода» показателей печаталась на бумаге. Сейчас они либо напечатаны, либо хранятся на электронных носителях.

Существует ряд интересных свойств у «колоды» метрик, которые стоит обсудить. Вот, например:

WBR является фрактальным методом — высшее руководство собирается на WBR, так же как и все отделы и команды. Некоторые показатели отслеживаемы в режиме реального времени (например, те, которые необходимы для обнаружения сбоев), остальные обновляются ежечасно или ежедневно; это в основном зависит от потребностей команды. В конце концов, показатели сертифицируются финансовым отделом, который уполномочен проверять эти показатели, и он же, присутствует на встречах WBR высшего уровня.

С учетом этой информации, мы можем, наконец, перейти к самим еженедельным бизнес ревью WBR.

Амазон посвящает огромное количество времени подготовке гладкого проведения встреч WBR. Еженедельный ритм позволяет поддерживать темп нескольких вещей. Он гарантирует, что менеджеров оповещают о проблемах как можно скорее. Он гарантирует, что из недели в неделю встречи плавно перетекают одна в другую. Со временем, Амазон оставил несколько оптимальных методик:

Метрики форматируются единым и привычным образом. Авторы утверждают, что «хорошая колода настроена однообразно — дизайн графиков, временные шкалы, цветовая палитра, набор символов (текущий год, предыдущий год, цели) и, где это возможно, одинаковое количество графиков на странице. Некоторые данные, естественно, можно по-разному представить, но их тоже выводят в требуемом стандартном виде.

Такое редактирование означает, что руководители Амазона могут просматривать один и тот же набор данных каждую неделю в одном и том же формате и в одном и том же порядке, чтобы иметь возможность беспрепятственно видеть целостную, сквозную картину бизнеса. Со временем, такое единообразие приводит к общей способности выделять тенденции, ловить аномалии и поддержанию процесса непрекращающейся проверки. Таким образом, WBR должен становиться все более эффективным.

На встречах WBR фокус идет на отклонения, ожидаемое поведение игнорируется. Время встреч на бизнес-ревью WBR — бесценно. Если дела идут в пределах ожидаемых изменений, руководители направлений говорят: «здесь нечего смотреть» и продолжают доклад. Главной целью встречи является обсудить исключительные случаи и действия, связанные с ними.

Руководители направлений заведуют метриками и ответственны объяснять отклонения в них. В то время как финансовый отдел обязан сертифицировать метрики, демонстрация каждой метрики — ответственность только соответствующего ей руководителя. Владельцы продукта обязаны детально знать свои показатели; к тому времени как они участвуют во встрече WBR с топ-менеджерами, руководители направлений должны иметь аргументы (или хотябы промежуточные результаты расследования) для обоснования аномалии.

Руководителям, которые не подготовились должным образом перед встречей WBR, делается строгий выговор. Если они не знают причин аномалии, им следует сказать: «Я не знаю, мы все еще анализируем данные, но мы вернемся к вам с информацией.» Догадки на месте или выдумывание причин, также приведет к выговору.

Операционные и стратегические обсуждения проводятся отдельно. Время WBR драгоценно. Это тактическое оперативное совещание, а не стратегическое. Новые стратегии, продуктовые изменения и предстоящие релизы не допускаются к обсуждению во время встречи.

Амазон старается не запугивать (хотя у них это не очень хорошо получается). Успех требует такой среды, в которой люди не чувствуют себя уязвимо в моменте, когда говорят о чем-то, что пошло не так в их области. Авторы признают, что Амазон не всегда хорошо справляется с созданием безопасной среды для признания ошибок, но они работают над этим.

Амазон делает переход от метрики к метрике простым. Еще раз, время WBR драгоценно. Количество исполнительных директоров и владельцев продуктов, собравшихся в одной комнате, делает встречу WBR уровня топ-менеджмента самым дорогим и влиятельным собранием Амазона. Это значит, что переходы от одной области колоды метрик к другой области должны быть максимально беспрепятственными.

Также, у Амазона есть несколько интересных способов представления данных:

Амазон выводит недельные и месячные показатели на одном графике. Как было упомянуто ранее, Амазон строит 6-ти недельный график и 12-ти месячный. Смысл в представлении показателей таким образом заключается в том, что график выглядит как увеличенная версия одних и тех же данных. Возьмем к примеру этот график:

Амазон следит за трендами ежегодных изменений. Посмотрите на следующий график из ежемесячного бизнес ревью (да, такие существуют; это, на самом деле, ежемесячная версия WBR):

На графике фактическая ежемесячная выручка сравнивается и с запланированной выручкой, и с выручкой за предыдущий год. График выглядит так, как будто вы выполняете план и растете с приличной скоростью из года в год …

До тех пор пока вы не добавите сравнение темпа роста с предыдущим годом на правую ось Y:

Без пунктирной линии годового изменения (YOY), вы можете и не заметить, что текущие и прогнозируемые тренды медленно сходятся на первом графике. Однако, с добавленным графиком изменения темпа роста от года к году, вы легко можете заметить, что рост замедлился на 67% с января даже без намеков на выход на плато. В данном конкретном случае бизнес выглядит здоровым, но на горизонте маячат проблемы.

Метрики на выходе показывают результаты, входные метрики дают рекомендации. График выше — пример выходной метрики. Это отличное напоминание о том, что выходные показатели — не реактивные. Например, недостаточно знать, что рост по сравнению с предыдущим годом замедлился, вам также нужно знать какие факторы способствовали замедлению. Брайар и Карр отмечают, что если выходная метрика будет располагаться рядом с входными метриками, такими как "новые клиенты", "доход от новых клиентов" и "доход от существующих клиентов", вы сможете обнаружить сигнал намного раньше, и с более четким призывом к действию.

Не каждая диаграмма/график сравнивается с целями. График выше содержит цели. Но естественно, не каждый график должен включать цели, например, процент пользователей ОС Android и iOS — не является показателем, основанным на целях, и поэтому цели могут быть исключены из визуализации.

Амазон объединяет данные и яркие эпизоды, чтобы осветить случай целиком. Однако, наиболее интересный аспект колоды показателей — это использование баек. Авторы пишут:

Яркие эпизоды могут выявить самые разнообразные и странные проблемы. Например,

В дополнение к таким рассказам, Амазон так же использует отчеты по исключениям для выявления проблем. Например, каждый продукт, продаваемый на Амазоне, имеет свою «прибыль от вложений», далее CP (‘contribution profit’). Прибыль от вложений — деньги, которые Амазон зарабатывает после продажи товара и вычета различных затрат на этот товар. У Amazon есть отчет по исключениям по прибыли CP, в котором перечислены топ-10 продуктов с отрицательным CP (те, которые не принесли прибыли) по каждой категории за предыдущую неделю. Глубокий анализ этих десяти продуктов, которые часто меняются от недели к неделе, может дать полезную информацию о проблемах в бизнесе, которые могут потребовать действий.

Авторы приходят к выводу, что данные и яркие эпизоды составляют «мощную комбинацию, когда они согласованы, а когда это не так, они являются ценной проверкой друг для друга.»

Самый значимый совет, который я вынес из книги Working Backwards, заключается в том, что если вы хотите быть хорошим управляющим, вам необходимо измерять свои процессы. На самом деле, как говорит Брайяр, на первом этапе собеседования:

«Просто подумайте о бизнесе, как о процессе. Это может быть сложный процесс, но по сути, он выдает такие результаты, как выручка и прибыль, количество клиентов и темпы роста. Чтобы вам быть хорошим управленцем, не достаточно фокусироваться только на этих выходных метриках — вам нужно определить контролируемые входные показатели. Многие говорят, что Амазон особо не заботится о прибыли или росте. Думаю, данные говорят об обратном, но что действительно правда, так это то, что бОльшая часть внимания уделяется входным метрикам: если вы что-то делаете, вы должны это правильно контролировать, и тогда вы увидите желаемые результаты в выходных метриках. Лучшие управленцы, которых я видел, очень четко понимают, какие «кнопки» нажимать и какие «рычаги» использовать, чтобы получить результат, который они хотят. Они понимают процессы.(восклицательный знак)»

Working Backwards — фантастическая книга. Она ни на что не похожа, она дает представление о том, как на самом деле выглядит прогрессивная, принимающая решения на основе данных компания изнутри. Купите ее, прочитайте ее, расскажите о ней своим коллегам — не могу подобрать слов, как рекомендую ее.

В продолжение: Я написал пост, в котором подробно объяснил, почему я считаю понятие "контролируемые входные показатели" Амазона таким замечательным. Читайте его здесь.

#Управление_продуктом #Big_data #IT_компании #исследования_в_IT #исследование_продукта #исследования_и_прогнозы_в_IT #метрики_роста_продукта #метрики_роста