Графический подход к оценке точности диагностических тест-систем. Пороги превалентности и зоны усиления достоверности.

Автор: Щипков Олег Александрович, Выпускник ММА им. И. М. Сеченова. Медико-профилактический факультет. ФПНПК. Лечебный факультет. Аспирант Медицинского института РУДН. Кафедра Лазерной медицины. Научный руководитель: д. м. н., Профессор, зав. Кафедрой, зам. Пред. РЭНДО - Дуванский Владимир Анатольевич

Аннотация

Чувствительность и специфичность диагностической тест-системы традиционно рассматриваются как её основные паспортные характеристики. Однако практическая диагностическая ценность теста зависит не только от значения этих параметров, но и от влияния превалентности исследуемого состояния на достоверность результатов.

В настоящей статье предлагается оценить влияние превалентности на показатели достоверности различных тест-систем через положение двух пороговых значений, формирующих на оси превалентности три основные области: монопольную зону усиления чувствительности, общую зону усиления достоверности и монопольную зону усиления специфичности. Для количественного описания общей зоны усиления достоверности вводятся параметры: ширина общей зоны и смещение её центра относительно точки 50%-ной превалентности.

Такой подход позволяет оценивать тест не только по показателям чувствительности и специфичности, но и по показателям общей зоны усиления достоверности на оси превалентности.

1. Превалентность и паспортные характеристики тест-системы

Показатели чувствительности (Se) и специфичности (Sp) являются характеристиками тест-системы, определяемыми в процессе её калибровки.

Применение теста происходит в популяциях с различной встречаемостью (превалентностью) заболевания или исследуемого состояния.

Данная работа исследует обстоятельство, как один и тот же тест при разных значениях превалентности может демонстрировать разную степень достоверности получаемых результатов.

В рамках рассматриваемой работы используются формулы Щипкова, позволяющие определить изменения чувствительности и специфичности под влиянием превалентности (P_d).

Se_pre = (1 - P_d)/(1 - P_d*Se)

(скорректированная чувствительность): чувствительность с учетом превалентности.

Sp_pre = P_d/(P_d*Sp+1-Sp)

(Скорректированная специфичность): специфичность с поправкой на превалентность.

При этом особый интерес представляет не само изменение показателей достоверности под влиянием превалентности, а такие значения превалентности, при которых скорректированные значения чувствительности и специфичности тест-системы становятся равными калибровочным для данного заболевания.

2. Пороговые равновесные значения превалентности

Для чувствительности условие равенства калибровочного и скорректированного показателя:

Se_pre=Se, Se<1

определяет верхнюю пороговую превалентность:

Se = (1-P_d)/(1-P_d*Se) =

1- P_d = Se*(1-P_d*Se) =

Se*(1-P_d*Se) = 1- P_d =

Se + P_d*Se*Se = 1 - Pd =

1-P_d + P_d*Se*Se = Se =

1-Se = P_d - P_d*Se*Se =

1-Se = P_d(1 - Se*Se) =

(1-Se)/(1-Se*Se) = P_d =

(1-Se)/(1-Se)*(1+Se)=P_d =

1/(1+Se) = P_d

P_se_a = 1/(1+Se)

Для специфичности из условия

Sp_pre = Sp, Sp<1

получается нижняя пороговая превалентность:

Sp = P_d/(P_d*Sp+1-Sp) ‎ =

P_d = Sp*(P_d*Sp+1-Sp) ‎ =

P_d*Sp*Sp+Sp-Sp*Sp ‎ = P_d=

P_d*Sp*Sp-P_d = Sp*Sp-Sp =

P_d(Sp*Sp-1)‎ = Sp(Sp-1) ‎ =

-P_d(1-Sp*Sp) ‎ = -Sp(1-Sp) ‎ =

-P_d(1-Sp)*(1+Sp) ‎ = -Sp(1-Sp) ‎ =

P_d*(1+Sp) ‎ = Sp =

Sp/(1+Sp) ‎ = P_d

P_sp_b = Sp/(1+Sp)

Таким образом, калибровочные значения (Se) и (Sp) достоверности непосредственно определяют расположения двух порогов на оси превалентности.

⸻

3. Три основные зоны

Два порога разделяют весь диапазон превалентности от 0 до 100% на три области.

Зона усиления чувствительности

0%

Это область низкой превалентности, в которой преимущественное значение приобретает чувствительные тесты, работающие в этой зоне с улучшением показателей.

Общая усиливающая зона.

Область 50%-ной превалентности.

P_sp_b <50%

В этой области скорректированные значения чувствительности и специфичности превышают соответствующие калибровочные показатели.

Именно поэтому эта область обозначается как общая зона усиления: с улучшением показателей в ней работают оба типа диагностических тест-систем.

Зона усиления специфичности

P_se_a

При высокой превалентности преимущество получают специфичные тесты, работающие в этой зоне с улучшением показателей относительно калибровочных значений.

⸻

4.Общая зона усиления достоверности как область перекрытия двух частных зон:

Общую зону можно рассматривать как область перекрытия двух более протяжённых зон.

Частная зона усиления чувствительности занимает диапазон: монопольная зона усиления чувствительности + общая зона усиления достоверности.

А частная зона усиления специфичности занимает диапазон: монопольная зона усиления специфичности + общая зона усиления достоверности.

Общая зона усиления достоверности представляет собой область наложения зон усиления чувствительности и специфичности друг на друга.

⸻

5. Ширина общей усиливающей зоны и показатель точности.

Для количественной характеристики общей усиливающей зоны вводится характеристика ее ширины:

Ш= P_se_a-P_sp_b

Единица измерения — процентные пункты.

Подставляем выражения для порогов превалентности:

Ш=1/(1+Se)-Sp/(1+Sp)

Обратная величина ширины - компактность общей усиливающей зоны - кучность расположения порогов относительно друг друга.

U = 1 - Ш =

1 - 1/(1+Se) + Sp/(1+Sp)

1-1/(1+0.95)+0.95/(1+0.95)=0.974

Данный показатель U можно считать интегральным, характеризующим объединение показателей достоверности: чувствительности и специфичности общей усиливающей зоной. Он отражает компактность общей усиливающей зоны, кучность расположения порогов относительно друг друга. Показатель U можно считать индикатором точности метода, качества тест-системы.

U = 1 - 1/(1+Se) + Sp/(1+Sp)

U = 1-1/(1+0.98)+0.98/(1+0.98)=0.99

U - показатель точности метода. Камертон. Кучность расположения пороговых равновесных значений. Компактность общей зоны.

Компактность общей зоны можно назвать кучностью. Как при стрельбе. Кучность - это и есть точность.

Для теста с одинаковыми чувствительностью и специфичностью:

Se=Sp=x,

получаем:

Ш=(1-x)/(1+x)

U = 1-(1-x)/(1+x) =

((1+x)-(1-x))/(1+x) =

(1+x-1+x)/(1+x)=

2x/(1+x)

U=2x/(1+x)

При x=0.89, U=2*0.89/1.89=0.94

При x=0.99, U=2*0.99/1.99=0.994

Следовательно, при повышении качества теста кучность расположения порогов растет.

Например:

Se = Sp

Нижний порог

Верхний порог

Ширина общей зоны

60%

37,5%

62,5%

25,0 п.п.

70%

41,2%

58,8%

17,6 п.п.

80%

44,4%

55,6%

11,1 п.п.

90%

47,4%

52,6%

5,3 п.п.

95%

48,7%

51,3%

2,6 п.п.

99%

49,7%

50,3%

0,5 п.п.

Таким образом, более качественный тест характеризуется более компактной общей зоной.

Показатель U - компактности общей зоны усиления достоверности, кучности расположения пороговых равновесных значений в центральной зоне превалентности - является интегральным показателем точности и качества тест-системы.

U = 1 - 1/(1+Se) + Sp/(1+Sp)

1-1/(1+0.7)+0.9/(1+0.9)=0.88

1-1/(1+1)+1/(1+1)=1

⸻

6. Почему точка 50% всегда находится внутри общей зоны

Интересным свойством данной концепции является факт, что при (Se<100%) и (Sp<100%):

P_sp_b <50%

и одновременно:

P_se_a>50%.

Следовательно:

P_sp_b <50%

То есть значение превалентности 50% всегда находится внутри общей зоны.

При этом повышение качества тест-системы приводит к сближению обеих пороговых равновесных точек со значением 50%-й превалентности. Но при этом пороги ее не достигают.

P_sp_b -> 50%

P_se_a -> 50%

Таким образом, 50%-ный показатель на оси превалентности является точкой, к которой устремляются пороги общей зоны усиления достоверности при улучшении качества тест-системы.

Область 50%-ной превалентности является зоной начального повышения достоверности результатов любых тест-систем: как чувствительных, так и специфичных.

⸻

7. Дисбаланс чувствительности и специфичности

Если чувствительность и специфичность различаются по величине, общая зона усиления достоверности перестаёт быть симметричной относительно точки 50%-ной превалентности.

Центр общей зоны определяется как:

P_c ‎ = P_se_a - (P_se_a-P_sp_b)/2 = (P_se_a + P_sp_b)/2

P_c ‎ = (P_se_a + P_sp_b)/2*100%=

(1/(1+Se)+Sp/(1+Sp))/2*100%

Если Se=Sp, то P_c ‎ = 50% - положение центра общей зоны совпадает с центральной точкой на оси превалентности. Общая зона будет расположена симметрично относительно центральной точки 50% на оси превалентности.

P_c ‎ = (1/(1+Se)+Sp/(1+Sp))/2*100% положение центра общей зоны.

Центр общей зоны может совпадать, находиться левее или правее относительно центральной точки (50%) превалентности.

Для определения смещения центра общей зоны относительно центра превалентности вводится показатель С:

С = P_c - 50%

С=(1/(1+Se)+Sp/(1+Sp))/2*100%-50%

(1/(1+0.7)+0.9/(1+0.9))/2*100%=53.1%

53.1%-50%=+3.1%

(1/(1+0.9)+0.7/(1+0.7))/2*100%=46.9%

46.9%-50%=-3.1%

где (С) — смещение центра общей зоны относительно точки 50%-ной превалентности.

Предлагается выражать его в полярных процентных пунктах:

Таким образом:

С=0 -> Se=Sp - достоверность +=-

С>0 -> Sp>Se достоверность + выше

С<0 -> Se>Sp -достоверность - выше

Общая зона не смешается относительно центра превалентности. Она равномерно или неравномерно сжимается, или растягивается относительно центра превалентности.

Центр превалентности (50%) всегда будет внутри общей зоны, как бы цепляясь за нее изнутри и не отпуская.

⸻

9. Графическое описание тест-системы

Таким образом, тест-система может быть представлена графически на оси превалентности основными параметрами:

— пороги превалентности;

— ширина общей зоны;

— смещение её центра относительно центра превалентности (50%).

Ш характеризует размер общей зоны,

С — смещение центра общей зоны характеризует направление и величину дисбаланса между чувствительностью и специфичностью.

Для сбалансированного теста:

С=0.

Для преимущественно чувствительного:

С<0.

Для преимущественно специфичного:

С>0.

⸻

10. Качество тест системы и устойчивость достоверности результатов к влиянию превалентности

Если проанализировать формулы влияния превалентности на показатели достоверности, то выявляется интересная закономерность.

При повышении показателей достоверности Se и Sp их изменения под влиянием превалентности будут менее выраженными.

Se_pre = (1 - P_d)/(1 - P_d*Se)

(скорректированная чувствительность): чувствительность с учетом превалентности.

Sp_pre = P_d/(P_d*Sp+1-Sp)

(Скорректированная специфичность): специфичность с поправкой на превалентность.

Изменения показателей достоверности Se и Sp под влиянием превалентности P_d:

d_Se = (1 - P_d)/(1 - P_d*Se) - Se

d_Sp = P_d/(P_d*Sp+1-Sp) - Sp

При Se = Sp = 0.9, P_d = 0.2,

d_Se = 0.8/0.82 - 0.9 = 0.075

d_Sp ‎ = 0.2/0.28 - 0.9 =-0.185

При Se = Sp = 1, P_d = 0.2,

d_Se = 0

d_Sp = 0

Из логики данных формул видно, что чем выше значения показателей достоверности Se и Sp, тем меньше будут их изменения под влиянием превалентности.

Высокие паспортные характеристики теста свидетельствуют о большей устойчивости показателей достоверности к изменению превалентности.

При повышении качества тест-системы происходит:

Таким образом, паспортное качество теста можно рассматривать как основу его устойчивости к влиянию превалентности.

⸻

11. Предлагаемая система характеристик

В результате влияние превалентности на показатели достоверности можно описать простым набором характеристик:

Это позволяет перейти от простой характеристики теста двумя паспортными показателями достоверности (Se) и (Sp) к его геометрическому профилю на оси превалентности.

Такой профиль одновременно показывает:

В итоге мы получаем два информативных показателя: U - точность тест-системы в диагностике данного заболевания в процентах; и С - специализацию: - минус или плюс - преимущественно чувствительная или специфичная - в полярных процентных пунктах.

⸻

Заключение:

Можно рассматривать превалентность не только как характеристику исследуемой популяции, но и как фактор, определяющий изменение показателей достоверности используемых тест-систем.

Паспортные показатели достоверности тест-систем: чувствительность и специфичность - определяют два пороговых равновесных значения превалентности: P_se_a, P_sp_b.

В области равновесных пороговых значений превалентности скорректированные показатели достоверности соответствуют калибровочным показателям чувствительности и специфичности тест-систем.

Между порогами превалентности формируется общая зона начального усиления достоверности, а за её пределами располагаются монопольные зоны усиления чувствительности (достоверности отрицательного результата) и специфичности (достоверности положительного результата).

Огромное значение имеет точка 50%-ной превалентности. От нее гарантированно распространяются в противоположные стороны две зоны усиления достоверности: налево к нулевой превалентности - зона усиления чувствительности, направо - к 100%-ной превалентности - зона усиления специфичности. В этих зонах достоверность соответствующих результатов или соответствует калибровочной, или превосходит таковую.

Монопольная зона усиления чувствительности будет зоной ослабления специфичности и наоборот: монопольная зона усиления специфичности будет зоной ослабления чувствительности.

Показатели общей зоны усиления достоверности позволяют составить представление о качестве и специализации тест-системы.

Ширина общей зоны (Ш) характеризует её протяжённость, а смещение общей зоны (С) — направление дисбаланса между чувствительностью и специфичностью.

Величина обратная ширине общей зоны - это компактность общей зоны.

Компактность общей зоны (U) характеризует качество теста - точность получаемых результатов и их устойчивость к влиянию превалентности.

При улучшении качества теста общая зона сужается и ее пороги приближаются к центру (50%) превалентности. Если чувствительность превышает специфичность, общая зона смещается влево; если специфичность превышает чувствительность — вправо, но центр превалентности (50%) всегда находится внутри общей зоны повышения достоверности.

Таким образом, тест-систему можно описать не только набором паспортных характеристик: Se и Sp, но и графическим профилем, отражающим точность, специализацию тест-системы и устойчивость результатов к влиянию превалентности, что определяется характеристиками общей зоны: ее компактностью U и смещением C ее центра относительно центра превалентности (50%).

Основные формулы:

Формула чувствительности Щипкова с учетом превалентности:

Se_pre = (1-P_d)/(1-P_d*Se)

Формула специфичности Щипкова с учетом превалентности:

Sp_pre = P_d/(P_d*Sp+1-Sp)

Формула верхнего пороговорого равновесного значения превалентности:

P_se_a = 1/(1+Se)

Формула нижнего порогового равновесного значения превалентности:

P_sp_b ‎ = Sp/(1+Sp)

Формула точности Щипкова:

U = 1 - 1/(1+Se)+Sp/(1+Sp)

Формула положения центра общей зоны усиления достоверности:

P_c ‎ = (1/(1+Se)+Sp/(1+Sp))/2

Формула смещения центра общей зоны усиления достоверности относительно центра превалентности:

C =(1/(1+Se)+Sp/(1+Sp))/2*100%-50%

Формулы изменения показателей чувствительности и специфичности под влиянием превалентности:

d_Se = (1 - P_d)/(1 - P_d*Se) - Se

d_Sp = P_d/(P_d*Sp+1-Sp) - Sp