Точность измерения времени производства(Lead Time)

В чате посвящённому канбану был поднят вопрос, а с какой точностью мы измеряем время производства. Беда! Ну не знаем и не знаем, мы же не думаем о точность часов которые носим на руке или о точности спидометра в автомобили. Точность зачем нужна, кейсы. Было предложено два кейса.

1. Главный принцип если ты приводишь какой то померянный показатель, то будь добр указать его точность. Иначе непонятно как с этой цифрой работать

2. Нам поставлена задача улучшить время производства на 10% за год и вопрос стоит в следующем а мы вообще можем отличить реальные улучшения от статистического шума. Возможно метрика совсем не работает. Возможно нам сначала надо поднять точность, а только потом улучшать ее. Иными словами нужно ответить на вопрос, как вы понимаете, что вы вообще что-то улучшили?

Определимся с терминами, потому что в головах у всех разное.
Точность (accuracy): Степень близости результата измерений к принятому опорному значению. Когда он относится к серии результатов измерений (испытаний), включает сочетание случайных составляющих и общей систематической погрешности. [1] В случае измерения времени производства, что у нас является опорным значением? Хороший вопрос, попробуем посмотреть на него с разных сторон.

Статистическая погрешность — это та неопределенность в оценке _истинного значения_ измеряемой величины, которая возникает из-за того, что несколько повторных измерений тем же самым инструментом дали различающиеся результаты. Возникает она, как правило, из-за того, что результаты измерения в микромире не фиксированы, а вероятностны.[2]
Систематическая погрешность характеризует неточность измерительного инструмента или метода обработки данных. Если точнее, то она показывает наше _ограниченное знание_ этой неточности: ведь если инструмент «врет», но мы хорошо знаем, насколько именно, то мы сможем скорректировать его показания и устранить инструментальную неопределенность результата.[3]
Правильность (trueness): Степень близости среднего значения, полученного на основании большой серии результатов измерений (или результатов испытаний), к принятому опорному значению. [1]

Начнем со второго кейса. Нам надо улучшиться на 10% процентов. Мы выбрали тип, определили класс обслуживания и разделили риски с заказчиком и получили 10 дней на 90 перцентиле. После улучшения мы должны получить 9 дней на все том же 90 перцентиле. Исходная диаграмма, очень красивая.

А тут какой шум? Можем тут отличить реальные улучшения от статистического шума? Чувствует в чем подвох в вопросе....
Когда говорят про перцентиль забывают что это всего лишь грань показывающая сколько точек до нее к тому что после нее. Он не несет никакой информации о виде диаграммы распределения времени выполнения. А вот ее вид очень хорошо отражает то, что у вас происходит в производстве.
На мой взгляд вопрос поставлен не корректно и об этом мы обязательно поговорим.

[1]: ГОСТ Р ИСО 5725-1-2002 ТОЧНОСТЬ (ПРАВИЛЬНОСТЬ И ПРЕЦИЗИОННОСТЬ) МЕТОДОВ И РЕЗУЛЬТАТОВ ИЗМЕРЕНИЙ
[2]: «Статистическая погрешность • Физика элементарных частиц • LHC на „Элементах“».
[3]: [«Систематическая погрешность • Физика элементарных частиц • LHC на „Элементах“».]