Описательная статистика для менеджера. Часть 2. Квантильные оценки Lead Time

Как дать обещания заказчику и попасть в них

В предыдущей статье мы разобрались с понятием Центральной тенденции (ЦТ) и рассмотрели метрики, которые могут её описывать:

— медиану
— арифметическое среднее
— усечённое / винзоризированное среднее
— Trimean

Центральная тенденция (ЦТ) — это, по сути, «типовая скорость» или «системная норма» нашего рабочего процесса.

Допустим, у нас есть статистика времени в пути от дома до офиса. Если центральная тенденция составляет 25 минут, то это означает, что за это время вы доедете до работы, при условии:

Множественные повторения «как обычно» — не ошибка. Это подчёркивает: речь идёт о штатном режиме, без серьёзных рисков — ни плохой погоды, ни ДТП, ни правительственного кортежа.

Когда заказчик спрашивает: «Когда будет готова задача?» - он ждёт обещание, которое с высокой вероятностью будет выполнено, даже если в процессе работы возникнут риски.

И метрики Центральной тенденции не подходят для таких обещаний. Почему?

Все метрики ЦТ, рассмотренные ранее, дают вероятность прогноза в диапазон 50–60%.

А это означает, что прогноз Lead Time, основанный на ЦТ, даёт ошибку в диапазоне 30–50% — слишком много для планирования вдолгую.

Центральная тенденция (ЦТ) описывает нормальный, предсказуемый, штатный режим — без неожиданностей и без сработавших рисков.

А жизнь как правило, постоянно преподносит неприятны сюрпризы:

Короче говоря, жизнь полна рисков, которых ЦТ не учитывает.

Что означает 30% вероятности ошибки в прогнозе Lead Time? Это означает, что каждая 3я задача не будет выполнена в срок.

А если вероятность ошибки 50%, то каждая вторая задача пролетит мимо обещанного срока.

Для бизнеса риск ошибки в 30–50% — это катастрофа. Потому что любая такая ошибка имеет прямой экономический эффект. Это вам любой Заказчик скажет.

По моему опыту, уровень риска ошибки, на который обычно готов Заказчик лежит в диапазоне 5-15% (в зависимости от жесткости контрактных обязательств). То есть от 95% до 85% задач должны выполняться в прогнозный срок.

Ошибка в 5% означает, что время выполнения 1 из 20 задач не попадет в прогноз. А ошибка в 15% означает что одна из 7 задач не попадет в прогноз.

Ни одна метрика Центральной тенденции не дотягивает до уровня 85%-95% вероятности, потому что описывает область "типичного", безрискового поведения системы.

Значит, чтобы достичь вероятности прогноза 85-95%, нам нужно уйти от зоны “типичного” поведения, в зону нарастающих рисков - вправо от ЦТ, по распределению Lead Time.

И в этом нам помогут Квантильные оценки, которые "разрезают" распределение на части, каждая из которых соответствует своему уровню рисков.

Ниже на картинке представлено распределение времени выполнения — от самых быстрых к самым долгим.

Медиана делит это распределение пополам. Слева от нее 50% задач и справа от нее 50% задач.

Вероятность прогноза по Медиане - 50%, а наша цель - 85-95%, так что едем дальше и режем распределение на более мелкие участки.

А что если мы поделим распределение на четыре части, по 25%? Тогда мы получим четыре отрезка, которые называются квартиль (Quartiles)

Квартили нумеруют от 1 до 4:

Прогноз по Q3 позволяет делать прогноз с вероятностью 75%, что больше, чем прогноз по Медиане, или Среднему Арифметическому, но все-таки еще меньше уровня который интересен бизнесу: 85-95%.

Прогноз по Q4 дает 100% вероятности прогноза, потому что основывается на самом пессимистичном времени выполнения, которое мы наблюдали в исторических данных. Пессимистический Lead Time обычно означает, что все что могло пойти не так, пошло не так.

Прогноз по пессимистическому времени бывает нужен при работе с задачами у которых жесткие, фиксированные сроки (например регуляторные задачи), когда нужно учесть все возможные риски, и понять, а успеем ли мы к этой дате, при текущем способе работы, ресурсах, нагрузке и тд.

Но в общем случае прогноз по самому пессимистичному времени является избыточным, и дает очень долгий срок, на который Заказчик, как правило, не соглашается.

Давайте резать распределение Lead Time дальше, в поисках приемлемого баланса риска и времени выполнения.

Далее мы можем разрезать распределение на 10 частей кусочками по 10% данных, и каждая такая точка называется дециль (от лат. decima — десятая часть).

Как видим, на картинке, эти отрезки не будут равны по длине, потому что реальное распределение редко убывает монотонно, и часто содержит "пики" которые вмещают в себя больше данных, и сужают диапазон 10%

Децили также имеют нумерацию: D1, D2, D3….D10 по количеству десятков процентов, который они отсекают с начала распределения.

Например, дециль D5 отсекает 50% задач (Медиана), а D8 - это уже 80% распределения.

Опираясь на децили D8, D9 мы можем давать прогнозы с вероятностью 80-90%, что очень близко к целевой вероятности 85%-95%, но так как размерность децилей - 10% - то точности прогноза в 5% мы никогда не достигнем

Нужны еще более мелкие деления, чтобы получить прогноз с вероятностью 85% или 95%

Процентили делят распределение на сто равных частей по 1% данных. Это наш главный инструмент для прогнозов Lead Time, потому что позволяет детально выбрать нужный уровень прогноза.

По-русски правильно говорить “процентиль”, но часто люди пользуются транскрипцией английского слова “percentile” и произносят “перцентиль”, что тоже правильно.

Благодаря процентилям, мы можем выбрать не «четверть» или «половину», а конкретный уровень распределения с точностью о 1%

Вот теперь мы можем рассчитать и 85% и 95% вероятности, и даже любые вероятности между ними - 86%, 88%, 92% - любое значение с точностью до 1%.

Так же как и для децилей, абсолютное расстояние между отрезками в 1% неодинаково, потому что распределение данных не монотонно.

Процентили нумеруются по количеству процентов отсеченных с начала распределения:

Вот мы и добрались до целевых 85%-95% вероятности прогноза - это P85 и P95 процентили.

Благодаря процентилям мы можем "мельчить" прогноз как угодно - выбрать любую вероятность с точностью до 1%, и использовать ее.

Медиана, Квартили, Децили и Процентили - все эти метрики называются общим словом Квантили (от латинского quantum — «сколько»).

Оценка с помощью тех или иных квантилей называется "Квантильная оценка"

Как я говорил выше, из личного опыта, уровень риска ошибки на который обычно готов пойти Заказчик находится в диапазоне 5-15%.

Этому уровню ошибки соответствуют так называемые “верхние процентили” P85-P95 (85%-95% вероятности). Поэтому при прогнозировании обычно используют именно их.

Главная мысль, которую должен помнить любой менеджер: абсолютно точно будущее предсказывать не умеет ни один способ прогнозирования. Мы можем лишь глядя на исторические данные попытаться спрогнозировать будущее развитие событий c какой-то вероятностью.

Прогноз времени выполнения и риск ошибки взаимосвязаны между собой. Чем больше прогнозное время, тем меньше риск ошибки, и наоборот.

У вас есть три альтернативы:

Ваша задача не “угадать точно время”, а предложить Заказчику меню рисков, и разделить с ним ответственность за итоговый выбор.

Вы можете предоставить Заказчику три сценария, из которых он может выбрать:

Уверен, многие читатели сейчас думаю “а что делать если мой Заказчик не хочет вникать в эти процентили, статистику и так далее?”

Не нужно грузить Заказчика лекциями по статистике. Описывайте возможные сценарии простыми словами, и используйте процентили как дополнительный аргумент выбора.

Само то, что вместо игры в угадайку, вы даете Заказчику выбор, может в корне поменять его отношения к вам, и к вашим словам.

Возможный сценарий диалога:

Заказчик: “За сколько времени вы сделаете эту задачу?”

Менеджер (вы): “Смотрите, у нас есть три варианта прогноза, в зависимости от того, какой риск ошибки для вас приемлем:

Обычно после такого диалога Заказчик выбирает вариант №2 (25 дней), потому что слишко пессимистичный срок в 49 дней ему не интересен, но и подбрасывать монетку и верить, что мы успеем за 6 дней - тоже не хочется.

Самое главное: договорившись таким образом о прогнозе, вы разделяете риски с Заказчиком. Заказчик понимает: «Ок, я выбрал 25 дней, понимая, что в 15% случаев может случиться риск и срок “поедет”. Менеджер меня заранее об этом предупредил, и я на это согласился

Кажется очевидным, что чем больше у вас данных, тем более точный и обоснованный прогноз вы можете дать.

В учебниках по статистике часто пишут:

Но есть нюанс, связанный с природой наблюдаемого явления — временем выполнения задач сотрудниками (Lead Time):

Когда статистики и математики говорят о необходимом количестве точек данных, обычно речь идёт о так называемых “стационарных” системах.

В таких системах закономерности функционирования не меняются во времени (или меняются незначительно). В этих условиях, чем больше данных и длительнее период наблюдения — тем точнее прогноз.

Но вот в чём проблема - люди, существа непостоянные, их производительность не фиксирована. А если речь идёт о команде, отделе, департаменте, то характеристики работы зависят от состава группы. Если состав группы существенно меняется, то и распределение время выполнения работы тоже меняется.

Вывод: если использовать большие объёмы исторических данных за период в течении которого ваша команда/группа/отдел несколько раз меняли состав, то на выходе будет неверный прогноз.

Пример: если за обозреваемый период состав команды менялся 3 раза, то фактически за этот период у нас есть данные по 3-м разным командам (производственным системам), каждая со своими характеристиками.
Для прогноза по текущей команде нужны данные, от момента когда люди собрались и начали работать в текущем составе, а не за весь исторический период.

Практический совет: перед анализом статистики по команде важно узнать:

И узнав ответ, анализировать данные с даты последнего изменения состава.

Трой Маггенис (Troy Magennis) — эксперт по вероятностному прогнозированию

Дуглас Хаббард (Douglas Hubbard) — автор книги «How to Measure Anything»

Дуглас Хаббард математически доказал:
Если у вас есть всего 5 точек данных (например, время выполнения 5 задач), то с вероятностью 93,75% медиана всех возможных значений находится между минимумом и максимумом этой пятёрки. Это уже гораздо точнее, чем гадать на кофейной гуще или полагаться на “экспертное мнение”.

Главный тезис: Не ждите, пока накопите 30 или 100 точек данных. Начните с тех данных, что есть уже сейчас. Прогноз на основе даже небольшой выборки лучше, чем интуитивная догадка.

Имея на руках данные по процентилям, можно делать сравнение распределений, относящихся к разным историческим периодам в рамках одной и тоже производственной системы (команды, отдела, департамента). Достаточно отследить степень сдвига значений интересующих нас процентилей в ту или иную сторону в один период для двух разных распределений.

Процентили для сравнения можно выбирать любые, но давайте для примера, выберем в качестве опорных следующие процентили:

Вот два распределения относящиеся к одной и той же команде разработке. Верхнее показывает распределение времени времени выполнения во 2м квартале, а нижнее - в 3-м квартале.

Давайте попробуем их сравнить с помощью процентилей

2) Примем одно их распределений за эталонное - пусть это будет распределение Q2

3) Отметим сдвиг процентилей на распределении Q3 относительно Q2

4) Построим график функции Сдвига, по осям: “Сдвиг-Процентиль” (к сожалению, в Excel у меня это получилось сделать наглядно только с помощью столбчатой диаграммы)

По этим данным и графику можно сделать следующие выводы:

Метод функции сдвига позволяет увидеть полную картину различий между двумя распределениями, вместо того чтобы просто сравнивать их по одиночному значению Среднего арифметического или Медианы.

В статье мы начали с того, почему «средняя температура по больнице» (Центральная Тенденция) - шаткая основа для планирования, и закончили конкретными инструментами для прогнозирования и ведения переговоров с Заказчиком.

Давайте зафиксируем главные мысли статьи:

1. Среднее и медиана — для типичных сценариев "как обычно", без рисков и форс-мажоров. Опираться на них в прогнозе, значит закладывать 30-50% вероятности ошибки..

2. Заказчику нужна уверенность. Бизнес обычно готов принять риск ошибки в диапазоне 5–15%. Чтобы дать такую гарантию (85–95% вероятности), нам нужно смотреть в «хвост» распределения, отталкиваясь от верхних процентилей - P85, P95.

3. Не угадывайте, а предлагайте выбор. Вместо того чтобы мучительно угадывать «точную дату», предложите Заказчику «Меню рисков»: оптимистичный (P50), реалистичный (P85) или гарантированный (P95) срок. Пусть ответственность за выбор баланса между скоростью и надежностью будет общей.

4. Данные по Lead Time не обязательно должны быть «большими», они должны быть свежими. Вам не нужны данные по сотням задач для начала прогнозирования. Даже 11 свежих точек данных лучше, чем 100 устаревших, если ваша команда или процессы недавно изменились.

5. Квантильные оценки — это зеркало вашей системы. Сами по себе метрики не ускоряют работу. Они лишь честно показывают, на что вы можете опираться в переговорах и при прогнозировании

Когда вы начнете применять «меню рисков», вы, скорее всего, обнаружите неприятный факт: разница между «типичным режимом» (P50) и «гарантированным» (P95) может быть колоссальна и образует длинный "хвост" рисков, который влияет на все прогнозы.

Это заставляет вас называть Заказчику завышенные сроки, чтобы подстраховаться.

Чтобы сократить эту пропасть и приблизить гарантированный срок к типичному, нужно разобраться с причиной этого разброса — с вариативностью.

В следующей статье мы займемся именно ей. Мы разберем, как визуализировать и измерить вариацию, что на нее влияет и, главное, как её уменьшить, чтобы ваши прогнозы стали не только точными, но и оптимистичными

Если вы пропустили начало, то вот Первая статья цикла: Центральная тенденция - что это, и зачем она менеджерам

Задайте вопрос автору статьи в его канале "Данные в действии"

Что еще почитать в ожидании следующей части статьи: