Метрики эффективности команд и процессов поставки ценности

Как понять, как работать быстрее, сокращать время от идеи до реализации, делать больше в единицу времени, попадать в сроки? Эти важные вопросы часто обсуждаются в компаниях. Но без данных и понимания картины «как сейчас», все инициативы по улучшениям — это как стрелять вслепую в воздух в надежде попасть туда, куда нужно.

Последние несколько лет я активно занимаюсь вопросом внедрения метрик эффективности команд и потока создания ценности. И с многими компаниями мы прошли большой путь по использованию метрик.

За это время сформировался фреймворк метрик, который позволяет построить сквозную аналитику того, как вы поставляете ценность. Все это дает актуальную картину и данные для того, чтобы находить узкие места в процессах и запускать непрерывный процесс изменений, для улучшения метрик.

Но какие метрики действительно являются ключевыми? Какие из них позволят не только измерить текущее состояние, но и помогут принимать обоснованные решения для улучшения работы? В данной статье мы рассмотрим важные метрики, которые помогут вам ответить на эти вопросы и повысить результативность вашей инженерной команды.

Что такое эффективная команда? дискуссионный вопрос, зависящий от ваших целей. Но в целом можно сказать что базовое определение эффективности — это способность достигать целей за наименьшее количество ресурсов (как временных так и денежных)

Те критерии, которые обычно выделяю я:

Эффективность часто связывают с принципами Lean, так как Lean ориентирован на максимизацию ценности для клиента при минимальных затратах и устранении всего лишнего. Одним из ключевых принципов Lean является устранение всех видов потерь, которые могут возникнуть в процессе потока создания ценности.

Описывает последовательность шагов и процессов, которые необходимы для создания конечной ценности для клиента или пользователя. И наша главная задача - покрыть поток создания ценности метриками, анализировать не только разработку, а весь поток от идеи до выхода на клиента и сбора обратной связи (сколько занимает этап, где у нас простаивает работа или теряется, а сколько времени тратиться на работу, а сколько на ожидания, какие артефакты мы делаем и зачем на каждом этапе). Все эти вопросы позволяеют увидеть картину целиком.

Кумулятивная диаграмма, например, дает понимание потока создания ценности который можно отследить ретроспективно.

Метрики результативности - метрики, ориентированные на пропускную способность и прогнозируемость производственного процесса:

Ниже вы увидите пример метрик выведенных в дашборд Aimger (Если хотите получить презентацию продукта, оставляйте заявку по ссылке в сообщении “хочу на презентацию Aimger").

Метрики скорости и гибкости - метрики, ориентированные на скорость доставки ценности клиенту и гибкость производственного процесса.

Метрики качества - метрики, ориентированные на качество производственного процесса

Time to market измеряет время, необходимое для того, чтобы новый продукт, функция или изменение достигло рынка с момента начала его разработки или концепции. Она является важным показателем для компаний, стремящихся быть конкурентоспособными и адаптироваться к быстро меняющимся рыночным условиям. По сути - это главный показатель скорости компании.

Однако, помимо Time to market, есть еще один важный показатель, расширяющий time to market - это time to learn.

Time to learn не только определяет время необходимое для реализации идеи, но и также время которое нам потребовалось для того чтобы понять приносит ли новая функция/ продукт или изменение должный нам эффект. Многие компании вообще не измеряют эти показатели и просто делают фичи, не задумываясь о том, что большинство идей может и вовсе не нести ценности и просто перегружает продукт для пользователей.

Поэтому главная задача адаптивной организации - не просто быстро что то создавать, но и построить процесс в ходе которого компания поймет нужно ли оставлять изменение в текущем виде, изменить или вообще убрать.

Lead time - время от момента взятия обязательств делать задачу до ее поставки.

Это важная метрика которая позволяет прогнозировать завершение новых задач после их взятия в работу на основе 85 перцентиля.

Для того чтобы вычислить перцентиль необходимо собирать время выполнения по каждой задаче (lead time).

Чтобы посчитать 85 перцентиль за период нужно взять распределение времени выполнения (то есть те задачи которые завершились в данном периоде и вычислить значение до какого значения завершилось 85% задач). Такое значение называется 85-м процентилем. Это значение выводится в виде числа.

Time to release - время от готовности задачи до момента ее попадания на продуктивную среду. Во многих организациях процессы релиза могут быть очень сложными и болезненными и поэтому мониторинг этой метрики позволит нам реально понимать время которое мы тратим на это и принимать необходимые меры.

Картинка иллюстрирующая схематично метрики, включая time to market:

На практике часто возникают ситуации, когда неправильно выбранные метрики создают иллюзию успешности и эффективности.

Пример из реальной жизни:

Не так давно, мы анализировали результаты квартала в одной компании, где мы начали проводить трансформацию. По собранным метрикам казалось, что квартал прошел на высшем уровне. Вот какие метрики были использованы:

- Количество выполненных Story Points (причем измеряется каждая отдельная задача для каждого сотрудника, а не общая продуктовая фича несущая ценность);

- Точность оценок по срокам для задач (также измеряется отдельно по каждой задаче, а не в контексте всей фичи);

- Соотношение запланированных Story Points к выполненным. (также в контексте подзадач)

Однако, при более глубоком анализе мы поняли, что мы не доставили реальной ценности бизнесу. Скорость выполнения всех команд в квартале была равна нулю, потому что реальной ценности мы не заделиверили. Работа была выполнена частично.

Таким образом, эффективность квартала также оказалась на уровне нуля. Этот случай наглядно демонстрирует, что выбор метрик требует осторожности, иначе может сложиться иллюзия прогресса, не соответствующая реальности.

Выбор метрик зависит от конкретных целей оптимизации и характера вашего бизнеса. Чтобы определить, с чего начать, следует сначала определить цели оптимизации.

Если вашей компании важна скорость и гибкость, однозначно вам нужно мерить time to market, time to learn и другие сопутствующие метрики.

Если нужна стабильность, то сделайте фокус на том, чтобы больше фокусироваться на метриках качества и предсказуемости, чтобы уметь завершать в срок.

Если важна гибкость нужно качать метрику time to learn.

Но в целом моя рекомендация - смотреть на комплекс метрик, описанных выше, так как в погоне за time to market вы можете потерять в качестве и наоборот.

Также с осторожностью относитесь к сбору метрик эффективности каждого отдельного человека, количество выполненных задач и прочее. Что не имеет отношение к результату, а дает лишь понимание, что работа делалась, но не дает ответа на вопрос, а что было сделано и насколько хо работает поток создания ценности (как в описанном примере выше).

Используйте метрики в бизнесе как показатели при управлении самолетом, которые используют пилоты при взлете, полете и посадке. Важны все показатели, но фокус на том или ином показатели должен быть в тот или иной момент времени. И также ответ на вопрос что оптимизировать зависит от целей оптимизации в данный момент.

Используйте метрики на ретроспективах как на уровне команд, так и на уровне организации. Принимать решения об улучшении также важно на основе количественных показателях.

Метрики внедряются с помощью интеграции BI инструментов с инструментами трекинга задач и инструментами GIT. Это непростая задача, требующая разработки и доработки инструментов трекинга, досок, внедрению культуры обновления задач, а также последующей поддержке решения. Но в итоге получаются наглядные дашборбы

Для того чтобы помочь компаниям быстро внедрять метрики и визуализировать их в дашборды, мы с командой сделали Aimger - инструмент сбора и анализа метрик на основе AI, с визуализацией дашбордов, который мы внедряем и настраиваем в компаниях.

Инструмент быстро встраивается в экосистему организации, а также мы помогаем определить и внедрить правильный набор метрик. А AI помощник помогает анализировать данные и делать выводы быстрее. Если хотите получить презентацию продукта, оставляйте заявку по ссылке в сообщении “хочу на презентацию Aimger”. А также если понравилась статья подписывайтесь на мой телеграм канал.