诊断试验的评价与分析幻灯片.ppt

《诊断试验的评价与分析幻灯片.ppt》由会员分享，可在线阅读，更多相关《诊断试验的评价与分析幻灯片.ppt（88页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、诊断试验的评价与分析第1页，共88页，编辑于2022年，星期三临床试验的类型临床试验的类型I期临床试验：期临床试验：人体药物的耐受程度，药物在人体中的代谢情况。参加试验的人员是健康人或病人（20左右）II期临床试验：期临床试验：药效、安全性的初步评价。患者参加试验（200例以上）III期临床试验：期临床试验：药效与安全性的确认阶段，我国法规要求试验组人数300以上，总人数400-500人IV期临床试验：期临床试验：上市后的临床研究。更大范围使用后的疗效与安全性第2页，共88页，编辑于2022年，星期三一、诊断试验的研究设计随机对照重复伦理盲法试验设计中的要素一、处理因素二、受试对象三、试验效应

2、第3页，共88页，编辑于2022年，星期三临床试验避免偏倚的技巧随机对照重复盲法第4页，共88页，编辑于2022年，星期三临床试验资料的数据集临床试验资料的数据集 分析应包括在知情同意的基础上，愿意参加试验的分析应包括在知情同意的基础上，愿意参加试验的所有随机化后的受试者所有随机化后的受试者，也即原计划好处理（治疗）的受试者都需进入分析，而不是根据实际上完成也即原计划好处理（治疗）的受试者都需进入分析，而不是根据实际上完成的受试者。的受试者。按此原则所作的分析是按此原则所作的分析是最好的分析最好的分析，研究在病人知情同意的前提下，应该考虑，研究在病人知情同意的前提下，应该考虑参与者的依从性，制

3、定合理的纳入排除标准，要求每一个随机分到试验组或对照组的参与者的依从性，制定合理的纳入排除标准，要求每一个随机分到试验组或对照组的受试者都应该尽量完整地随访，记录研究结果如疗效、安全性评价指标以及脱离原因。受试者都应该尽量完整地随访，记录研究结果如疗效、安全性评价指标以及脱离原因。同时，要考虑参与者和不愿意参与者的差异，以及给研究结果带来的偏倚。同时，要考虑参与者和不愿意参与者的差异，以及给研究结果带来的偏倚。s意向性分析（意向性分析（Intention to treatIntention to treat）s全分析集（全分析集（full analysis setfull analysis s

4、et，FASFAS）s安全性评价（安全性评价（safety setsafety set）第5页，共88页，编辑于2022年，星期三临床有效性的统计学评价第6页，共88页，编辑于2022年，星期三为什么要学习诊断试验的评价为什么要学习诊断试验的评价选择最科学合理的诊断方法，循证医选择最科学合理的诊断方法，循证医学的重要内容学的重要内容根据实际需要，提供具有优势的诊断根据实际需要，提供具有优势的诊断试验（试剂、药物、方法）试验（试剂、药物、方法）第7页，共88页，编辑于2022年，星期三金标准的选择 最为可靠的诊断标准！第8页，共88页，编辑于2022年，星期三二、诊断试验的评价指标诊断实验的灵敏

5、度和特异度不会受到患病率的影响，但是预测值诊断实验的灵敏度和特异度不会受到患病率的影响，但是预测值指标会受到患病率高低的影响。指标会受到患病率高低的影响。第9页，共88页，编辑于2022年，星期三阳性预测值的应用第10页，共88页，编辑于2022年，星期三诊断试验的评价指标二、诊断试验中常用的评价指标：灵敏度、特异度、二、诊断试验中常用的评价指标：灵敏度、特异度、误诊率、漏诊率误诊率、漏诊率 三、预测指标：阳性预测值、阴性预测值三、预测指标：阳性预测值、阴性预测值 四、诊断试验的综合评价指标：正确率、四、诊断试验的综合评价指标：正确率、Youden指指数、比数积、阳性似然比、阴性似然比数、比数

6、积、阳性似然比、阴性似然比第11页，共88页，编辑于2022年，星期三诊断试验中常用的评价指标例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现阳 性阴 性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)常用指标有（一）正确百分率、（二）灵敏度、（三）特异度、（四）常用指标有（一）正确百分率、（二）灵敏度、（三）特异度、（四）Youden指数、（五）阳性似然比、（六）阴性似然比、（七）阳性指数、（五）阳性似然比、（六）阴性似然比、（七）阳性预报值、预报值、（八）阴性预报值。（八）阴性预报值。第12页，共88页，编辑于

7、2022年，星期三例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现阳 性阴 性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)第13页，共88页，编辑于2022年，星期三例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现阳 性阴 性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)第14页，共88页，编辑于2022年，星期三例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现阳 性阴 性合计416(TP)9（

8、FP）425104(FN)171（TN）275520180700(N)第15页，共88页，编辑于2022年，星期三第16页，共88页，编辑于2022年，星期三灵敏度与特异度的优缺点优点：灵敏度与特异度不受患病率的影响，其取值范围均在（0,1）之间，其值越接近于1，说明其诊断准确性越好。缺点：当比较两个诊断试验时，单独使用灵敏度或特异度，可能出现矛盾。解决办法：将两指标结合：Youden指数、阳性似然比、阴性似然比等第17页，共88页，编辑于2022年，星期三例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现阳 性阴 性合计416(TP)9（FP）425104(

9、FN)171（TN）275520180700(N)第18页，共88页，编辑于2022年，星期三例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现阳 性阴 性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)第19页，共88页，编辑于2022年，星期三例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现阳 性阴 性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)第20页，共88页，编辑于2022年，星期三医生最关心的问题：医生最关心的问题：1.试

10、验阳性时患病的概率多大？试验阳性时患病的概率多大？2.试验阴性时不患病的概率多大？试验阴性时不患病的概率多大？3.如何选择合适的诊断界值，做出合理的如何选择合适的诊断界值，做出合理的诊断，使患者获得最好的处理诊断，使患者获得最好的处理第21页，共88页，编辑于2022年，星期三例例13.2 表13.2 ECG诊断试验的结果第22页，共88页，编辑于2022年，星期三例例13.2 表13.2 ECG诊断试验的结果第23页，共88页，编辑于2022年，星期三例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现阳 性阴 性合计416(TP)9（FP）425104(FN

11、)171（TN）275520180700(N)第24页，共88页，编辑于2022年，星期三阳性预报值与阴性预报值第25页，共88页，编辑于2022年，星期三五、截断点的选择与ROC曲线第26页，共88页，编辑于2022年，星期三 在进行诊断临界点选择的时候，需要综合考虑在进行诊断临界点选择的时候，需要综合考虑灵敏度和特异度，选择最佳诊断界值。灵敏度和特异度，选择最佳诊断界值。ROC曲曲线提供了很好的临界点选择工具。线提供了很好的临界点选择工具。第27页，共88页，编辑于2022年，星期三 ROCROC【receiver(relative)receiver(relative)operating

12、operating characteristiccharacteristic的的缩缩写写，译译为为“接接受受者者工工作作特征特征”】ROCROC曲线研究历史曲线研究历史1950s 雷达信号观测能力评价雷达信号观测能力评价1960s中期中期 实验心理学、心理物理学实验心理学、心理物理学1970s末与末与1980s初初 诊断医学诊断医学ROC的涵义与起源的涵义与起源第28页，共88页，编辑于2022年，星期三诊诊断断试试验验：泛泛指指血血液液生生化化、影影像像学学、免免疫疫学学、细细胞胞学学、病病理理学、统计模型等检查。学、统计模型等检查。重要性：重要性：1.循证医学的重要组成部分循证医学的重要组

13、成部分 2.诊断试验评价方法可用于：诊断试验评价方法可用于：临床试验评价 临床检验评价 流行病学筛查试验评价 实验室检验评价 统计学模型评价ROC曲线评价诊断试验的重要性曲线评价诊断试验的重要性第29页，共88页，编辑于2022年，星期三 灵敏度灵敏度,特异度特异度,假阴性率假阴性率,假阳性率假阳性率Test variable第30页，共88页，编辑于2022年，星期三 医学诊断试验多数不能将病例和对照完全分开，而只有将二者100%的分开时，才能够获得100%正确的诊断。第31页，共88页，编辑于2022年，星期三不同不同诊断界值诊断界值时时灵敏度与特异度间的平衡灵敏度与特异度间的平衡(tra

14、de off)(trade off)0204060801005060708090100特异度灵敏度百分率（）百分率（）Test variable第32页，共88页，编辑于2022年，星期三完美与无用的完美与无用的ROC曲线曲线真阳真阳性率性率即即灵灵敏敏度度假阳性率假阳性率 即即 1特异度特异度机率线机率线(chance line)(diagonal reference line)第33页，共88页，编辑于2022年，星期三诊断准确度较低（诊断准确度较低（0.9）0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA0.938ROC曲线下面积（曲线下面积（Are

15、a）与诊断准确度高低）与诊断准确度高低高 0.90-1.00=excellent(A)中 0.80-0.90=good(B)0.70-0.80=fair(C)低 0.60-0.70=poor(D)0.50-0.60=fail(F)第34页，共88页，编辑于2022年，星期三似然比（似然比（LR）在）在ROC曲线空间的涵义曲线空间的涵义白细胞计数诊断白血病白细胞计数诊断白血病LR7.5LR0.7LR2.3LR25.0第35页，共88页，编辑于2022年，星期三基本概念小结基本概念小结lROC曲线反映了灵敏度与特异度间的平衡(增加灵敏度将降低特异度；增加特异度将降低灵敏度)。l在ROC曲线空间，如

16、果曲线沿着左边线，然后沿着上边线越紧密，则试验准确度越高。l在ROC曲线空间，如果曲线沿着机会线（45度对角线）越紧密，则试验准确度越低。l在诊断界值（cutpoint）处的正切线的斜率就是该试验值对应的阳性似然比（likelihood ratio，LR)。在ROC曲线空间的左下角LR+最大，随着曲线从左下往右上方移动，LR+逐渐减小。lROC曲线下面积是重要的试验准确度指标。第36页，共88页，编辑于2022年，星期三主要任务：主要任务：s计计 算算 ROC曲曲 线线 工工 作作 点点（Coordinate point或或Operating point）（）（FPR,TPR）s连接相邻两点连

17、接相邻两点一、一、ROC曲线工作点的计算与曲线绘制曲线工作点的计算与曲线绘制第37页，共88页，编辑于2022年，星期三连续型数据的连续型数据的ROC曲线工作点（曲线工作点（TPR，FPR）计算）计算 将这9个数据从大到小排列，以前8个数，分别作为诊断界值，大于等于诊断界值者判为阳性，小于该值者判为阴性。这样，可整理成8个四格表表表133 假想的连续型数据假想的连续型数据第38页，共88页，编辑于2022年，星期三第39页，共88页，编辑于2022年，星期三有序分类数据的有序分类数据的ROC曲线工作点（曲线工作点（TPR，FPR）计算）计算 将诊断分类数据按大到小排序，以前4个分类作为诊断界值

18、，大于等于诊断界值者为阳性，小于该值者为阴性。这样，可整理出4个四格表，每个四格表对应的ROC曲线的工作点见下表。第40页，共88页，编辑于2022年，星期三 2第41页，共88页，编辑于2022年，星期三二、二、ROC曲线下面积的计算曲线下面积的计算lROC曲线下面积曲线下面积(Area)l部分部分ROC曲线下的面积曲线下的面积lFPR为某值对应的为某值对应的TPR值值第42页，共88页，编辑于2022年，星期三(一)Hanley 和 McNeil非参数法非参数法 ROC曲线下面积(Az)就是异常组观察值大于正常组观察值的概率Mann-Whitney U 统计量统计量第43页，共88页，编辑

19、于2022年，星期三Hanley 和 McNeil法法ROC曲线下面积曲线下面积与Mann-Whitney U 检验l由秩和检验中的Mann-Whitney U统计量（SPSS等软件均可计算）可计算ROC曲线下面积l零假设H0:总体ROC面积0.5的检验等价于Mann-Whitney U检验SPSS输出的输出的ROC面积检验面积检验P值值即为上述即为上述Z值对应的概率值对应的概率第44页，共88页，编辑于2022年，星期三Hanley 和 McNeil法法ROC曲线下面积曲线下面积与梯形规则（trapezoidal rule）lHanley 和 McNeil法ROC曲线下面积等等等等于于于于所

20、有曲线下梯形梯形梯形梯形（包括最左侧的三角形）面积之和第45页，共88页，编辑于2022年，星期三（二）其他ROC曲线下面积计算方法1.双正态法2.有序回归模型3.其他模型(如双Gama法、双指数法)第46页，共88页，编辑于2022年，星期三第47页，共88页，编辑于2022年，星期三l单个连续型资料（实例1）l单个有序分类资料（实例2）l两个相关连续型资料（实例3）l两个相关有序分类资料（实例4）二、二、ROC分析的数据类型分析的数据类型Test variables第48页，共88页，编辑于2022年，星期三实例实例1：采用骨髓诊断作为金标准，对采用骨髓诊断作为金标准，对100例缺铁性贫血

21、疑似患者例缺铁性贫血疑似患者进行确诊，患该病者为异常组进行确诊，患该病者为异常组(34例例)，未患该病者为正常组，未患该病者为正常组(66例例)。为了考察红细胞平均容积（。为了考察红细胞平均容积（MCV）诊断缺铁性贫血的效果，测得每）诊断缺铁性贫血的效果，测得每一个体的一个体的MCV值如下：值如下：State VariableTest Variable第49页，共88页，编辑于2022年，星期三实例实例1：MCV诊断缺铁性贫血诊断缺铁性贫血图图4 4 连续性资料的两组频率分布连续性资料的两组频率分布 0.3 0.2 0.100.10.20.3556065707580859095100105组段

22、上限值异常组频率第50页，共88页，编辑于2022年，星期三实例实例1的的SPSS输入格式输入格式State Variable 骨髓诊断骨髓诊断Test Variable MCV结果结果0正常组正常组1异常组异常组Value of State Variable：1第51页，共88页，编辑于2022年，星期三SPSS的的GraphsROC Curve界面界面如果试验测如果试验测量值越小患量值越小患病的可能性病的可能性越大时应改越大时应改变默认的变默认的Options第52页，共88页，编辑于2022年，星期三SPSS输出结果第53页，共88页，编辑于2022年，星期三SPSS输出结果第54页，共

23、88页，编辑于2022年，星期三SPSS输出结果第55页，共88页，编辑于2022年，星期三SPSS输出结果第56页，共88页，编辑于2022年，星期三MCVMCV诊断缺铁性贫血的诊断缺铁性贫血的ROCROC曲线曲线0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR双正态机率线工作点第57页，共88页，编辑于2022年，星期三实例实例2：某放射医生将已知实际分类的影像，按肯某放射医生将已知实际分类的影像，按肯定正常、可能正常、疑似异常、可能异常、肯定异常，定正常、可能正常、疑似异常、可能异常、肯定异常，分别分为分别分为1、2、3、4、5五类。五类。State

24、VariableTest VariableFrequency Variable第58页，共88页，编辑于2022年，星期三实例实例2：放射医生影像分类：放射医生影像分类图图6 6 单个有序分类资料的两组频率分布单个有序分类资料的两组频率分布-0.5-0.4-0.3-0.2-0.100.10.20.30.40.512345分类异常组频率第59页，共88页，编辑于2022年，星期三实例实例2的的SPSS输入格式输入格式State Variable 组别组别Test Variable 诊断分类诊断分类0正常组正常组1异常组异常组Value of State Variable：1第60页，共88页，编

25、辑于2022年，星期三SPSS的的GraphsROC Curve界面界面如果试验测量值越小患病的可能性越大时应改变默认的Options在调用在调用Graphs前，必须先用前，必须先用DataWeight Casesby:频数频数第61页，共88页，编辑于2022年，星期三图图7 7 放射医生影像分类的放射医生影像分类的ROCROC曲线曲线0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR双正态机率线工作点第62页，共88页，编辑于2022年，星期三诊断实验的正确应用1.以金标准为对照的基础2.盲法原则3.研究对象选择要具有代表性4.对试验对象要有清楚的说明5.

26、应说明诊断试验的实用性6.需要进行试验的方法要有应用前景第63页，共88页，编辑于2022年，星期三以金标准为对照的基础金标准金标准疾病诊断的准确标准肿瘤的病理诊断高血压病人的血压糖尿病人的血糖 对于目前没有诊断金标准的疾病，需要采用传统上认为最为准确的方法作为对照，甚至需要采用不能常规使用的一些能够准确诊断出疾病的方法来进行对比。第64页，共88页，编辑于2022年，星期三盲法原则双盲原则单盲原则第65页，共88页，编辑于2022年，星期三 研究对象选择要具有代表性 选用样本应该和将来诊断方法使用的目标人群一致。第66页，共88页，编辑于2022年，星期三对试验对象要有清楚的说明 在研究设计

27、阶段，考虑所试验的方法将来使用的目标人群，达到准确检验方法的诊断效果的目标，需要准确地制定研究的纳入和排除标准。比如纳入的病人是否有年龄、性别限制 比如纳入的病人是否能够有其它疾病 作为健康组病人应该如何选择 所选择的人群应该和将来方法应用的目标人群尽量一致。第67页，共88页，编辑于2022年，星期三应说明诊断试验的实用性主要是与现有金标准相比的优势诊断的灵敏度诊断的特异度方法的成本方法的可接受程度第68页，共88页，编辑于2022年，星期三需要进行试验的方法要有应用前景医生患者医疗费用提供者第69页，共88页，编辑于2022年，星期三诊断试验的串联诊断试验的并联第70页，共88页，编辑于2

28、022年，星期三Data sample13_5;Do group=1,0;Do test_val=1 to 5;Input freq ;Output;end;end;Cards;3 2 2 11 3333 6 6 11 2;Proc logistic descending;Model group=test_val/Scale=none outroc=roc1;Freq freq;symbol1 i=join v=none c=blue;proc gplot data=roc1;title ROC Curve sample13_5;plot _sensit_*_1mspec_=1/vaxis=0

29、 to 1 by.1 cframe=ligr;run;Proc print;Run;第71页，共88页，编辑于2022年，星期三 The LOGISTIC Procedure Model Information Data Set WORK.SAMPLE13_5 Response Variable group Number of Response Levels 2 Frequency Variable freq Model binary logit Optimization Technique Fishers scoring Number of Observations Read 10 Numb

30、er of Observations Used 10 Sum of Frequencies Read 109 Sum of Frequencies Used 109 Response Profile Ordered Total Value group Frequency 1 1 51 2 0 58 Probability modeled is group=1.Model Convergence Status Convergence criterion(GCONV=1E-8)satisfied.Model Fit Statistics Intercept Intercept and Criter

31、ion Only Covariates AIC 152.656 94.735 SC 155.348 100.117 -2 Log L 150.656 90.735第72页，共88页，编辑于2022年，星期三 Testing Global Null Hypothesis:BETA=0 Test Chi-Square DF Pr ChiSq Likelihood Ratio 59.9217 1 .0001 Score 51.6100 1 .0001 Wald 34.1060 1 ChiSq Intercept 1 -3.9137 0.7510 27.1547 .0001 test_val 1 1.

32、1426 0.1957 34.1060 ChiSq Likelihood Ratio 5.4607 1 0.0194 Score 4.4156 1 0.0356 Wald 2.6937 1 0.1007 The LOGISTIC Procedure Analysis of Maximum Likelihood Estimates Standard Wald Parameter DF Estimate Error Chi-Square Pr ChiSq Intercept 1 -3.8912 2.5342 2.3577 0.1247 test_val 1 0.4951 0.3016 2.6937

33、 0.1007 Odds Ratio Estimates Point 95%Wald Effect Estimate Confidence Limits test_val 1.641 0.908 2.963 Association of Predicted Probabilities and Observed Responses Percent Concordant 90.0 Somers D 0.800 Percent Discordant 10.0 Gamma 0.800 Percent Tied 0.0 Tau-a 0.444 Pairs 20 c 0.900第78页，共88页，编辑于2

34、022年，星期三 ROC Curve sample13_3 16:47 Tuesday,November 13,2013 17 Obs _PROB_ _POS_ _NEG_ _FALPOS_ _FALNEG_ _SENSIT_ _1MSPEC_ 1 0.98631 1 4 0 4 0.2 0.00 2 0.94224 2 4 0 3 0.4 0.00 3 0.92023 3 4 0 2 0.6 0.00 4 0.83935 4 4 0 1 0.8 0.00 5 0.57853 4 3 1 1 0.8 0.25 6 0.32676 4 2 2 1 0.8 0.50 7 0.19530 5 2 2

35、 0 1.0 0.50 8 0.16604 5 1 3 0 1.0 0.75 9 0.04523 5 0 4 0 1.0 1.00第79页，共88页，编辑于2022年，星期三第80页，共88页，编辑于2022年，星期三第81页，共88页，编辑于2022年，星期三第82页，共88页，编辑于2022年，星期三第83页，共88页，编辑于2022年，星期三第84页，共88页，编辑于2022年，星期三第85页，共88页，编辑于2022年，星期三第86页，共88页，编辑于2022年，星期三1.001.000.001.001.000.750.251.251.000.500.501.500.800.500.501.300.800.250.751.550.800.001.001.800.600.001.001.600.400.001.001.400.200.001.001.200.000.001.001.00第87页，共88页，编辑于2022年，星期三重 点1.临床试验的类型和主要特点是什么？2.临床试验中避免偏倚的技巧主要是什么？3.诊断试验中常用的指标有哪些？4.诊断试验中常用的综合性评价指标有哪些？5.什么是阴性预测值和阳性预测值？6.什么是ROC曲线，有什么用途？7.诊断试验的正确应用需要注意哪些事项？第88页，共88页，编辑于2022年，星期三