ROC曲线在临床实践中的应用-第三军医大学学报

ROC曲线在临床实践中的应用

董小小1，魏歆1，罗明奎2

(1. 第三军医大学 学员旅九队，重庆 400038) (2. 第三军医大学 数学教研室，重庆 400038）

摘 要：目的：阐明两相关诊断试验的评价及比较的方法，为新的诊断试验的临床应用提供科学依据。方法：根据试验样本量的多少，选择双正态参数法或非参数法来估计曲线下面积，通过曲线下面积的比较，即可对不同试验方法的诊断价值进行比较。同时，结合Meta分析合并同类试验结果的中心思想，可以利用ROC曲线对同一类型的试验进行合并，即为SROC曲线。结果：当样本量少于200时，建议使用参数法进行曲线下面积的估计，样本量大于200时两种方法均可。结论：ROC曲线下面积可以有效地对两诊断试验进行评价和比较。 关键词： ROC曲线；曲线下面积估计；诊断试验；SROC曲线 中图分类号：R 446

ROC curves in clinical practice

DONG Xiao-Xiao1,WEI Xin1,LUO Ming-kui2，

(1. The 9th Team of Cadet Brigade, Third Military Medical University, Chongqing 400038, China)

(2.Department of Mathematics, Third Military Medical University, Chongqing 400038, China )

【Abstract】Objective To clarify the methods of evaluation and comparison of two diagnostic tests and provide a scientific basis for the clinical application of new diagnostic tests. Methods According to the amount of test sample, select pairs of normal parameters or non-parametric method to estimate the area under the curve. By comparison of the area under the curve, you can compare the diagnostic value of different test methods. The same time, combined with the Meta-analysis of the central idea of the merger of similar results, you can use the ROC curve to merge the same type of test, that is, the SROC curve. Results When the sample is less than 200, it is recommended to use parameter method to estimate the area under the curve. When the sample is greater than 200, two methods are suitable. Conclusion The area under the ROC curve can be effective for evaluation and comparison of two diagnostic tests. 【Key words】ROC curves; The estimate of the area under ROC curves; Diagnostic test; SROC curves 一、ROC曲线的介绍

通信作者：罗明奎13452366326 E-mail：lmk1053@sina.com

临床医疗包括诊断和治疗两个方面，医生对疾病作出准确的诊断，毫无疑问对疾病的正确治疗有帮助。一个试验的诊断准确度有多大？多个试验中，哪一个试验的诊断准确度更高？如何进行诊断试验准确度的研究？这些问题的解决对于寻找最佳的医学诊断证据、指导临床诊治决策有至关重要的作用。

诊断准确度的两个基本指标是灵敏度和特异度。灵敏度（sensitivity，Se）是真实情况为有病时，试验发现疾病的能力，也称为真阳性率。特异度（specificity，Sp）是真实情况为无病时，试验排除疾病的能力，即真阴性率。灵敏度和特异度为固有诊断准确度指标，它们不受患病率影响，即通过研究样本获得的灵敏度和特异度也可用于其他具有不同患病率的人群。但是这两个指标依赖于决策界值。而决策界值的选择，依赖于诊断医师的主观判断。例如，对于同样的影像学检查，不同的影像医师会根据自己的经验，使用不同的决策界值进行判断。所以，仅仅用一组灵敏度和特异度去评价诊断的精确度是不恰当的。

为克服这一缺陷，1971年Lusted描述了如何将心理物理学上常用的受试者工作特性 (receiver operating characteristic , ROC)曲线方法用于医学决策[1]。《美国生物统计百科全书》中关于ROC的定义是：对于可能或将会存在混淆的两种条件或自然状态，需要试验者、专业诊断学工作者以及预测工作者做出精细判别，或者准确决策的一种定量方法[2]。它源于信号探测理论，最早用于描述信号和噪音之间的关系，并用来比较不同的雷达之间的性能差异[3]。该方法包括了所有决策界值，能够更加客观地评价诊断试验的诊断价值。目前，ROC分析已成为临床科研文献中应用最广泛的统计方法[4]，是国际公认的比较、评价2种或2种以上影像诊断方法效能差异性的客观标准[5]。

本文就ROC曲线的做法、曲线下面积估计、两ROC曲线比较和SROC曲线的应用这四个方面介绍ROC曲线，并通过实例具体阐明该方法的应用，从而为新的诊断方法的应用提供科学依据。 二、ROC曲线的作法

ROC曲线以试验灵敏度为y轴，1-特异度为x轴，由不同决策界值产生图中不同的点。采用线段连接图中所有可能界值产生的点，即可形成经验ROC曲线。随着灵敏度的增加，1-特异度也增加，ROC曲线正好反映了这种增加的大小。表1为某一诊断试验的结果及相应的金标准试验结果，具体做法如下。

表1 原始数据

金标准 1 1 1 1 0 0 1 0 1

检查数据 11.21 12.32 13.42 13.24 11.32 11.23 14.23 10.65 12.32

金标准 0 1 1 0 0 0 1 0 1

检查数据 9.23 14.32 15.23 10.23 11.32 12.43 10.23 11.54 12.32

金标准 1 1 0 1 0 1 1

检查数据 12.43 12.23 10.23 17.42 9.23 11.24 15.46

我们规定高于决策界值的检查结果为阳性，低于决策界值的检查结果为阴性。对于不同的决策界值，对比检查结果和金标准的结果，可以确定每个决策界值对应的1-特异度和灵敏度。结果见表2。

表2 不同决策界值对应的灵敏度和1-特异度

阈值 8.230 9.730 10.440 10.930 11.220 11.235 11.280 11.430 11.885 12.275 12.375 12.835 13.330 13.825 14.275 14.775 15.345 16.440 18.420

真阳性数 假阳性数 真阴性数 假阴性数 灵敏度 1-特异度 15 15 14 14 13 13 12 12 12 11 8 7 6 5 4 3 2 1 0

0 0 1 1 2 2 3 3 3 4 7 8 9 10 11 12 13 14 15

0 2 4 5 5 6 6 8 9 9 9 10 10 10 10 10 10 10 10

10 8 6 5 5 4 4 2 1 1 1 0 0 0 0 0 0 0 0

1.000 1.000 0.933 0.933 0.867 0.867 0.800 0.800 0.800 0.733 0.533 0.467 0.400 0.333 0.267 0.200 0.133 0.067 0.000

1.000 0.800 0.600 0.500 0.500 0.400 0.400 0.200 0.100 0.100 0.100 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000

每一个决策界值都对应图中的一个点，将这些点用线段连接起来，就形成了ROC曲线，见图1。

ROC Curve1.00.8Sensitivity0.60.40.20.00.00.20.40.60.81.01 - Specificity 图1 SPSS软件作出的ROC曲线 Diagonal segments are produced by ties.三、ROC曲线的曲线下面积估计[6]

ROC曲线的曲线下面积（area under the ROC curve，AUC）的大小可定量表示某诊断试验的准确度。理论上，当诊断试验完全无诊断价值，即完全凭机会区分“有病”与“无病”时，ROC曲线是一条从原点到右上角的对角线段，这条线段称为机会对角线（chance diagonal），如果ROC曲线落在这条机会对角线上，其曲线下面积为0.5。理想的诊断试验ROC曲线应是从原点垂直上升至左上角，然后水平到达右上角，其曲线下面积为1，意义是可完全准确地区分“有病”和“无病”。因此，对于一个诊断试验的ROC曲线下面积，取值范围是0.5～1。一般认为：在0.5～0.7之间，诊断价值较低；在0.7～0.9之间，诊断价值中等；在0.9以上时诊断价值较高。

理论上，当试验数据的样本量足够大时，诊断试验的ROC曲线应当是一条平滑的曲线，而不是如图一的折线段。在此，介绍两种估计ROC曲线下面积的方法。

（1）双正态参数法[7]。

该方法是采用统计学中的双正态（即病例组与对照组均服从正态分布）模型来拟合ROC曲线，是目前ROC曲线分析中最常使用的方法。这种曲线可用a和b两个参数表示，其中参数a是病例组与对照组检测结果标准化均数之差；参数b是对照组与病例组检测结果的标准差之比。两个参数可由公式（1）估计得到：

?x?y?a?sx? （1） ??b?sy?sx?其中，x、y分别表示病例组与对照组检测结果的均数，sx、sy分别表示病例

组与对照组检测结果的标准差。

再结合公式（2）即可得到ROC曲线下面积的估计值。

A??(a1?b2) （2）

其中A为ROC曲线下面积，a、b为公式（1）的参数，?表示标准正态分布函数。

ROC曲线下面积的方差为：

Var(A)?f2Var(a)?g2Var(b)?2fgCov(a,b) （3）

其中，

?e?a/2(1?b)?f?2?(1?b2)???a2/2(1?b2)abe?g???2?(1?b2)3??nx(a2?2)?2nyb2? （4） ?Var(a)?2nxny??2(n?n)bxy?Var(b)??2nxny??Cov(a,b)?ab?2ny??（2）非参数法

非参数法是根据诊断试验的检测结果直接计算绘制ROC曲线所需的工作点，由此绘制的ROC曲线称为经验ROC曲线，其曲线下面积可由梯形规则计算得到。而且，经验ROC曲线下面积等价于病例组与对照组检测结果秩和检验的检验统计量。

病例组有nx个人，对应的试验检查结果为xi(i?1,2,...nx)，对照组有ny个人，对应的试验检查结果为yi(i?1,2,...ny)，非参数法估计曲线下面积的公式为：

22

Q?(1?e) （16）

?A2?1标准误为：

SE(Q)?SE(A) （17） A28[cosh()]4其中，SE(Q)为直线回归方程的截距项A对应的标准差，cosh为双曲余弦函数。

对于不同的试验，可以采用Z检验的方法：

Z?|Q1?Q2|SE(Q1)?SE(Q2)22 （18）

表8是关于某个检查方法的分析数据。

表8 合并的各个试验的数据

试验 1 2 3

真阳性数 8 31 70

假阳性数 3 3 12

真阴性数 23 43 121

假阴性数 84 14 25 ……

35 36

491 48

165 16

250 38

701 31

0.663 0.558

0.191 0.340

73.944 2.122 0.89

7.047

5

-0.772 -0.428

灵敏度 0.258 0.419 0.366

1-特异度 0.034 0.176 0.324

权重 1.947

D

S -4.388 -1.868 -1.281

2.276 1.21

2.173

3 0.18

6.855

7

分别使用加权的最小二乘法，求解SROC曲线，得：

1?FPR0.7969?1TPR?[1?e?1.6433()] （19）

FPRSROC曲线见图7。

10.80.60.40.200ROC曲线36个散点0.20.4TPRFPR0.60.81

图7 SROC曲线

求Q，得：

Q?0.7139

SE(Q)=0.0124即该诊断的灵敏度为71.39%，特异度也为71.39%，95%的可信区间为：

[0.6896,0.7382]。此时将诊断的真阳性率和真阴性率均控制在可接受水平上。综合

整个试验的数据结果，诊断结果的决策界值为154.82时较为合理。此种诊断方法的诊断价值中等，即可以作为临床诊断的佐证之一，但不能成为决定性的指标。

参考文献

[1] Lusted LB. Logical analysis in roentgen diagnosis(Review).Radiology,1960,74:178-193. [2] Armitage P,Colton T. Encyclopedia of biostatistics. New York:John,2005.3738-3744 [3]Swet JA. Measuring the accuracy of diagnostic systems(Review).Science,1988,240:1285-1293. [4] 王敬瀚.ROC曲线在临床医学诊断实验中的应用[J].中华高血压杂志,2008,16(2): 175-177. [5] 潘清，陈卉，马宇晶，沙飞. 影像学诊断评价中的参数法ROC曲线分析[J]. 中国医学影像

技术,2011,27(8): 1694-1697.

[6] 韩云峰. ROC 曲线下面积的计算方法[J]，齐齐哈尔医学院学报,2007,28(6): 697-698. [7] 石昊苏. 基于实例与MATLAB的ROC曲线绘制比较研究[J]，电子设计工程,2010,18(9): 36-39.

[8] 王先运，吴多文，汲伟明，王昌元，刘惠琴，孙勇. 用ROC曲线下面积进行差异性检验的

常用方法[J]，中华放射学杂志,2006,40(7): 763-764.

[9] 田俊. 两个诊断指标的ROC曲线下面积比较的非参数检验方法[J]，敷理医药学杂志,2002,15(3): 201-204.

[10] 宋花玲，贺佳，虞慧婷，李玲. 应用ROC曲线下面积对两相关诊断试验进行评价和比较[J]，第二军医大学学报,2006,27(5): 562-563.

[11] 钱进，吴金美，凌晓冬.线性回归模型加权最小二乘估计的权值计算方法[J]，统计与决

策,2007,9(3): 4-6.

作者简介：

董小小（女）、魏歆（男），第三军医大学本科2008级学生，多次参加全国大学生数学建模竞赛和美国数学建模竞赛并获奖，在2011年全国大学生数学建模竞赛中获得MATLAB创新奖。目前发表论文3篇。

罗明奎，博士，教授，第三军医大学生物医学工程与医学影像学院数学教研室主任，从事生物数学建模工作25年，发表论文15篇。

联系方式：董小小：15922909664 E-mail:xiaoxiaosu338@126.com 魏 歆：15922909533 E-mail:232001688@qq.com 罗明奎：13452366326 E-mail：lmk1053@sina.com

本文来源：https://www.bwwdw.com/article/omt8.html