诊断试验设计与性能评价课件.ppt

诊断试验设计与性能评价诊断试验设计与性能评价湖北中医湖北中医药大学药大学 谢圣高谢圣高电话电话：13657206859 027-68890056Email：标题标题：CEA、CA125和和CA50在结核及肺癌性胸在结核及肺癌性胸腔积液鉴别中的意义腔积液鉴别中的意义 某中文核心期刊的某中文核心期刊的投稿论文投稿论文主要内容主要内容：收集胸腔积液：收集胸腔积液126例，其中结核性例，其中结核性70例、例、癌性癌性56例，检测例，检测CEA、CA125和和CA50，计算单项、，计算单项、两项与三项联检肺癌的敏感度、特异度。两项与三项联检肺癌的敏感度、特异度。结论结论：三联检测比单项检测肺癌的敏感度、特异：三联检测比单项检测肺癌的敏感度、特异度都高，对鉴别诊断结核性及肺癌性胸腔积液有重要度都高，对鉴别诊断结核性及肺癌性胸腔积液有重要临床指导意义临床指导意义 能否被录用？能否被录用？如果你是审稿专家，该论文能否被录用？原因？如果你是审稿专家，该论文能否被录用？原因？这便涉及到这便涉及到诊断试验诊断试验的的内容内容诊断试验诊断试验：临床上用于确定或排除疾病的检查临床上用于确定或排除疾病的检查诊断试验诊断试验的概念的概念诊断诊断试验试验的作用的作用v识别疾病识别疾病：鉴别有无疾病鉴别有无疾病v预测疾病预测疾病：预测有无疾病预测有无疾病诊断试验诊断试验2种结果（种结果（阳性阳性、阴性阴性）的作用：）的作用：诊断学评价诊断学评价：项目或方法项目或方法诊断诊断病人病人 方法学评价方法学评价：方法方法测定测定标本标本（项目项目）诊断学评价与方法学评价的区别诊断学评价与方法学评价的区别 金标准与诊断试验同步盲法测量研究对象，金标准与诊断试验同步盲法测量研究对象，据据“有某病有某病”、“无某病无某病”时的时的“阳性阳性”、“阴性阴性”结果，然后结果，然后计算各计算各评价指标评价指标 如何评价项目或方法的诊断性能？如何评价项目或方法的诊断性能？金标准金标准（gold standard）：常用的有活检、尸常用的有活检、尸检、外科手术、影像学检查等检、外科手术、影像学检查等金标准金标准与与参考标准参考标准 有一些疾病目前尚无金标准，由专业学术委员有一些疾病目前尚无金标准，由专业学术委员会制定的诊断标准可作为会制定的诊断标准可作为参考标准参考标准 诊诊断断试验试验结结果果金金标标准准诊诊断断总总计计指指标标有某病有某病（病例（病例组组）无某病无某病（对对照照组组）阳性阳性TP（a）FP（b）TP+FP (a+b)阳阳性性预测值(PV)=阴性阴性FN（c）TN（d）FN+TN (c+d)阴阴性性预测值(PV)=总计总计TP+FN (a+c)FP+TN (b+d)TP+FP+FN+TN(a+b+c+d)准确度准确度（Ac）流行率（流行率（P）=指指标标灵灵敏度敏度(Se)特特异异度度(Sp)漏漏诊诊率假率假阴性率阴性率1灵敏度灵敏度误诊误诊率假率假阳性率阳性率1 特异度特异度表表1 诊断试验结果与常见评价指标诊断试验结果与常见评价指标 三种类型三种类型的评价的评价指标指标v准确性评价指标：准确性评价指标：灵敏度、特异度、尤登指灵敏度、特异度、尤登指数和似然比等数和似然比等 v可靠性评价指标：变异系数、可靠性评价指标：变异系数、符合率和符合率和Kappa指数指数v有效性评价指标：预测有效性评价指标：预测值和流行率值和流行率一、准确性评价一、准确性评价指标指标灵敏度、特异度、尤登指数和似然比等灵敏度、特异度、尤登指数和似然比等 诊诊断断试验试验结结果果金金标标准准诊诊断断 总总计计指指标标有某病有某病（病例（病例组组）无某病无某病（对对照照组组）阳性阳性TP（a）FP（b）TP+FP (a+b)阴性阴性FN（c）TN（d）FN+TN (c+d)总计总计TP+FN (a+c)真阳性率真阳性率FP+TN (b+d)真阴性率真阴性率TP+FP+FN+TN(a+b+c+d)阳阳性似然比性似然比(LR)=阴阴性似然比性似然比(LR)=指指标标灵灵敏度敏度(Se)特特异异度度(Sp)尤登指尤登指数数（YI）=SeSp11漏漏诊诊率假率假阴性率阴性率1灵敏度灵敏度误诊误诊率假率假阳性率阳性率1 特异度特异度表表1 诊断试验结果与常见评价指标诊断试验结果与常见评价指标 直接直接判断判断一个诊断试验的好坏一个诊断试验的好坏LR 数值越大，数值越大，预测预测患病的可能性越大患病的可能性越大，超超过过10.0，可认为是好的试验可认为是好的试验LR 数值越小，数值越小，预测不预测不患病的可能性越大患病的可能性越大，小于小于0.1，可认为是好的试验，可认为是好的试验似然比似然比性质稳定，性质稳定，不因流行率的改变而改变不因流行率的改变而改变似然比似然比的作用与特点的作用与特点可靠性，又称重复性、精密度可靠性，又称重复性、精密度1.变异系数或标准差变异系数或标准差2.符合率符合率比较两名操作者、或同一名操作者两次重复操作，比较两名操作者、或同一名操作者两次重复操作，或比较诊断试验与金标准的符合程度或比较诊断试验与金标准的符合程度。符合率符合率 二二、可靠性评价指标、可靠性评价指标3Kappa指数指数 1.受试者的生物学变异受试者的生物学变异2.实验因素所致的差异实验因素所致的差异3.操作者的变异操作者的变异诊断试验可靠性的影响因素诊断试验可靠性的影响因素1、预预测测值值，又称，又称预告值预告值（PV）、验后概率验后概率包括包括+PV和和PV2、流行率（流行率（P），又称），又称患病率患病率，也称为，也称为验前概率验前概率预测值预测值和流行率和流行率三三、有效性评价指标、有效性评价指标诊诊断断试验试验结结果果金金标标准准诊诊断断总总计计指指标标有某病有某病（病例（病例组组）无某病无某病（对对照照组组）阳性阳性TP（a）FP（b）TP+FP (a+b)阳阳性性预测值(PV)=阴性阴性FN（c）TN（d）FN+TN (c+d)阴阴性性预测值(PV)=总计总计TP+FN (a+c)FP+TN (b+d)TP+FP+FN+TN(a+b+c+d)验后后概概率率=PV验前前概概率率流行率（流行率（P）=患病率患病率指指标标灵灵敏度敏度(Se)特特异异度度(Sp)漏漏诊诊率假率假阴性率阴性率1灵敏度灵敏度误诊误诊率假率假阳性率阳性率1 特异度特异度表表1 诊断试验结果与常见评价指标诊断试验结果与常见评价指标 1.金标准应有可靠性金标准应有可靠性2.研究对象应有代表性与可比性研究对象应有代表性与可比性3.样本含量应足够样本含量应足够4.诊断指标与方法应标准、具体、可靠诊断指标与方法应标准、具体、可靠四四、诊断、诊断试验设计的试验设计的评价评价标准标准(8个个)5.金标准与诊断试验应同步盲法测量金标准与诊断试验应同步盲法测量6.临界值的选择应合理临界值的选择应合理7.要控制偏倚要控制偏倚8.诊断试验应具有临床实用性诊断试验应具有临床实用性 四四、诊断、诊断试验设计的试验设计的评价评价标准标准(8个个)1.金标准应有可靠性金标准应有可靠性2.研究对象应有代表性与可比性研究对象应有代表性与可比性3.样本含量应足够样本含量应足够4.诊断指标与方法应标准、具体、可靠诊断指标与方法应标准、具体、可靠5.金标准与诊断试验应同步盲法测量金标准与诊断试验应同步盲法测量6.临界值的选择应合理临界值的选择应合理7.要控制偏倚要控制偏倚8.诊断试验应具有临床实用性诊断试验应具有临床实用性 平行试验平行试验：可提高诊断灵敏度可提高诊断灵敏度，但降低了特异度但降低了特异度 系列试验系列试验：可提高诊断特异度可提高诊断特异度，但降低了灵敏度但降低了灵敏度五五、用联合试验提高诊断灵敏度或特异度、用联合试验提高诊断灵敏度或特异度 诊诊断断试验试验试验试验A试验试验B平行平行试验试验系列系列试验试验模式模式1模式模式2模式模式3模式模式4表表2平行平行试验试验与与系列系列试验试验的区的区别别 审核结果审核结果：退稿退稿 某投稿论文的某投稿论文的审核审核依据依据：1、对照组不完整，不含其他良性和其他对照组不完整，不含其他良性和其他恶性的胸腔积液疾病，那么敏感度及特异度就无法准恶性的胸腔积液疾病，那么敏感度及特异度就无法准确统计。比如良性的还应该包括：肺炎、充血性心力确统计。比如良性的还应该包括：肺炎、充血性心力衰竭、脓胸、肝炎后肝硬化及结缔组织病等；恶性的衰竭、脓胸、肝炎后肝硬化及结缔组织病等；恶性的还应该包括：淋巴瘤、乳腺癌伴胸膜转移、食管癌和还应该包括：淋巴瘤、乳腺癌伴胸膜转移、食管癌和慢性粒细胞性白血病等；慢性粒细胞性白血病等；2、既能提高灵敏度又能提既能提高灵敏度又能提高特异度（或不降低特异度）的联合检测不存在高特异度（或不降低特异度）的联合检测不存在 ROC曲线曲线：以灵敏度为纵坐标、（以灵敏度为纵坐标、（1特异特异度）为横坐标，各临界值连接起来的折线图度）为横坐标，各临界值连接起来的折线图六六、受试者工作特征曲线、受试者工作特征曲线图图1ROC曲曲线图线图式式样样图图2软软件制作的件制作的ROC曲曲线线图图 ROC曲线的优点曲线的优点 v简洁、直观简洁、直观v与群体患病率无关，但与群体患病率无关，但2组组例数相近则更好例数相近则更好v不固定分类界不固定分类界值，有选择的空间值，有选择的空间v越凸近越凸近左上角左上角或曲线下面积（或曲线下面积（AUC）越大）越大的的诊断价值越大诊断价值越大 说明：说明：LR ROC曲线纵坐标曲线纵坐标值值/横坐标横坐标值值ROC曲线的缺点曲线的缺点v当样品数较少当样品数较少或数据不典型或数据不典型时，图形时，图形多多呈锯齿状呈锯齿状v图上显示的往往不是真正的判断值图上显示的往往不是真正的判断值v没有专用软件时，计算和画图均比较没有专用软件时，计算和画图均比较繁琐繁琐 用软件制作用软件制作ROC曲线曲线目前，有很多成熟的商业软件绘制目前，有很多成熟的商业软件绘制ROC曲曲线，比如线，比如IBM SPSS 19.0软件，方便制图与选择软件，方便制图与选择临界值临界值标题标题：血清基质血清基质金属蛋白金属蛋白酶酶-9（MMP-9）在肺）在肺结结核核鉴别诊鉴别诊断中的价断中的价值值分析分析一中文一中文核心期刊的投稿论文核心期刊的投稿论文主要内容主要内容：选选取肺取肺结结核、肺炎、肺癌患者及健康核、肺炎、肺癌患者及健康志愿者各志愿者各60例分例分别别作作为为肺肺结结核核组组、肺炎、肺炎组组、肺癌、肺癌组组和和对对照照组组，测测血清血清MMP-9。肺。肺结结核核组组患者患者MMP-9水平水平显显著高于其它三著高于其它三组组，用，用ROC曲曲线线分析了其分析了其检验检验效能效能高高 结论结论：血清血清MMP-9有助于肺有助于肺结结核核鉴别诊鉴别诊断和断和筛查筛查，但但应应注意适当提高注意适当提高诊诊断的灵敏度断的灵敏度审核结果审核结果：建议录用建议录用 审核审核依据依据：该文分析了血清该文分析了血清基质金属蛋白酶基质金属蛋白酶-9在鉴别在鉴别诊断肺结核、肺炎、肺癌患者中的升高情况，结果显诊断肺结核、肺炎、肺癌患者中的升高情况，结果显示肺结核患者示肺结核患者MMP-9水平显著高于肺炎和肺癌患者，水平显著高于肺炎和肺癌患者，并且运用并且运用ROC曲线分析了其检验效能，具有先进性曲线分析了其检验效能，具有先进性和研究深度，实验设计合理和研究深度，实验设计合理、思路清晰，此工作有临、思路清晰，此工作有临床价值，建议刊用床价值，建议刊用 建议建议：设计需进一步细化。肺结核和肺癌具有多设计需进一步细化。肺结核和肺癌具有多种分型，通过比较不同类型的肺结核、肺癌组间差异，种分型，通过比较不同类型的肺结核、肺癌组间差异，提高临床实用性。如果有，建议补充提高临床实用性。如果有，建议补充标题标题：血清胃泌素释放肽前体血清胃泌素释放肽前体（ProGRP）和）和NSE、TPS对对小小细细胞肺癌早期胞肺癌早期诊诊断中的断中的实验实验研究研究一投稿一投稿论文论文主要内容主要内容：检测检测了了129例例SCLC、133例非小例非小细细胞胞肺癌（肺癌（NSCLC）患者和）患者和112例肺良性病及例肺良性病及125名正常名正常对对照照组组中中ProGRP、NSE和和TPS的水平。的水平。结结果果 SCLC患者患者ProGRP，NSE和和TPS平均水平明平均水平明显显高于其他三高于其他三组组。在。在SCLC临临床分期中，床分期中，ProGRP在在、期高于期高于、期，其期，其ROC曲曲线线下面下面积积分分别为别为。三种指。三种指标标各各临临界界值值、敏感性、特异性及准确性分、敏感性、特异性及准确性分别为别为。联联合合检测检测明明显显高于高于单项单项NSE和和TPS的敏感性的敏感性一投稿一投稿论文论文主要内容主要内容：动态观动态观察察30例例SCLC化化疗疗前后前后ProGRP、NSE和和TPS水平的水平的变变化，化，16例在治例在治疗疗后血后血清清ProGRP、NSE和水平明和水平明显显下降，下降，11例治例治疗疗后无明后无明显变显变化，化，10例复例复发发者均高正常者均高正常对对照照组组倍。在倍。在SCLC中，中，ProGRP、NSE和和TPS三者相关系数三者相关系数为为r=0.6893，P=0.001，呈正相关。，呈正相关。试验试验比比对对相关性相关性 结论结论：NSE对对SCLC早期早期诊诊断价断价值值有限，有限，ProGRP比比NSE和和TPS是是SCLC更可信的的更可信的的肿肿瘤瘤标标志物，志物，ProGRP两两项项和三和三项联项联合合测测定可作定可作为为肺癌的分型及肺癌的分型及SCLC诊诊断，尤其是早期断，尤其是早期诊诊断的断的较较好指好指标标初步审核初步审核：建议修改后录用：建议修改后录用 审核审核依据依据：该文该文以以ProGRP、NSE和和TPS单项和联合早单项和联合早期诊断小细胞肺癌，从敏感性、特异性、准确性等方面期诊断小细胞肺癌，从敏感性、特异性、准确性等方面进行比较，效果较好，特别是进行比较，效果较好，特别是ProGRP效果效果很好，数据很好，数据充分，有一定的指导意义。充分，有一定的指导意义。但是文章中前后数据不一致，结论中出现一些在结但是文章中前后数据不一致，结论中出现一些在结果中没有的新数据，标点符号的使用欠准确，语言晦涩，果中没有的新数据，标点符号的使用欠准确，语言晦涩，前后内容编排有问题等，还需要作大量修改后才能刊发前后内容编排有问题等，还需要作大量修改后才能刊发最后审核结果最后审核结果：退稿（：退稿（27个具体问题没有退修到位）个具体问题没有退修到位）标题标题：应用血清触珠蛋白评价卵巢癌疗效的价值应用血清触珠蛋白评价卵巢癌疗效的价值一中文一中文核心期刊的投稿论文核心期刊的投稿论文主要内容主要内容：检测检测122例卵巢例卵巢肿肿瘤病人、瘤病人、142 例良性例良性卵巢卵巢肿肿瘤瘤、80例健康女性例健康女性CA125与触珠蛋白，明与触珠蛋白，明显显高于正常高于正常对对照照组组；治；治疗疗前后比前后比较较，触珠蛋白水平下降，触珠蛋白水平下降幅度大于幅度大于CA125 结论结论：触珠蛋白来触珠蛋白来监测监测卵巢癌的治卵巢癌的治疗疗效果更有价效果更有价值值审核结果审核结果：建议退稿建议退稿审核审核依据依据：1、触珠蛋白对卵巢癌的价值有待商鹤。诊断和疗效观、触珠蛋白对卵巢癌的价值有待商鹤。诊断和疗效观察卵巢癌比较公认的主要标志物是察卵巢癌比较公认的主要标志物是CA125，其次是，其次是CA19-9、CEA等。比较新的指标如等。比较新的指标如prostasin（蛋白或（蛋白或基因）。触珠蛋白（又称结合珠蛋白）只是一种急性时基因）。触珠蛋白（又称结合珠蛋白）只是一种急性时相反应蛋白，而不是公认的肿瘤标志物，除了恶性肿瘤相反应蛋白，而不是公认的肿瘤标志物，除了恶性肿瘤时升高以外，烧伤、肾病综合征和感染等病理状态时都时升高以外，烧伤、肾病综合征和感染等病理状态时都升高升高2、文章中缺乏触珠蛋白诊断卵巢癌的临床特异度、灵、文章中缺乏触珠蛋白诊断卵巢癌的临床特异度、灵敏度等指标，更没有与敏度等指标，更没有与CA125特异度、灵敏度等的比特异度、灵敏度等的比较。单纯的统计学比较不能完全说明文章目的较。单纯的统计学比较不能完全说明文章目的审核审核退稿依据：退稿依据：3、文章中缺乏卵巢癌、文章中缺乏卵巢癌CA125阴性时触珠蛋白的诊断效阴性时触珠蛋白的诊断效果描述。既然说触珠蛋白好，那就要写出它无我有、它果描述。既然说触珠蛋白好，那就要写出它无我有、它有我精的内容有我精的内容4、文章的写作有待大量提高：、文章的写作有待大量提高：正文中有、正文中有、但中文摘要中没有不同生存期指标的含但中文摘要中没有不同生存期指标的含量变化比较说明；前言无相关文献引出；统计学方法没量变化比较说明；前言无相关文献引出；统计学方法没有交待；有交待；SD应写为应写为s；触珠蛋白、；触珠蛋白、CA125的浓度单位没的浓度单位没有；表有；表1与文字描述重复，可以直接在表格下加备注；与文字描述重复，可以直接在表格下加备注；表表3没有没有P值；讨论的第值；讨论的第1段基本上与前言重复；讨论的段基本上与前言重复；讨论的背景知识过多；叙述未采用第背景知识过多；叙述未采用第3人称人称标题标题：结结直直肠肠癌患者血清癌患者血清 UGT1A8、CA19-9、CEA联联合合检测对检测对早期早期临临床床诊断的指导价值诊断的指导价值一中文一中文核心期刊的投稿论文核心期刊的投稿论文主要内容主要内容：分别：分别检测检测42例例结结直直肠肠癌患者、癌患者、30例健例健康康查查体志愿者体志愿者对对照照组组血清血清 CEA、CA19-9、UGT1A8，结结直直肠肠癌患者血清癌患者血清CEA检测值检测值明明显显升高，升高，CA19-9有一定升高（有一定升高（P0.05），而），而结肠结肠癌患者血清癌患者血清UGT1A8明明显显降低降低 结论结论：UGTIA8、CEA和和CA19-9联联合合检测检测可提可提高高肿肿瘤瘤诊诊断的准确率断的准确率审核结果审核结果：建议退稿建议退稿审核审核依据依据：1、该该文只有文只有单单独独检测检测的效果，而没有二的效果，而没有二项项或三或三项联项联合合检测检测的效果，与的效果，与题题意不符合。意不符合。CA19-9和和CEA属于常属于常规规项项目，欠缺特异性，只有在它目，欠缺特异性，只有在它们们基基础础上再上再结结合合UGT1A8等才有意等才有意义义，但，但结结合后的合后的联联合合检测检测效果却没有。效果却没有。2、即便是、即便是单单独独检测检测的的项项目，也没有特异度、灵敏度和目，也没有特异度、灵敏度和准确度等准确度等评评价指价指标标，而，而仅仅用科普指用科普指标标阳性率是不能阳性率是不能说说明明效果的，且阳性率效果的，且阳性率还还可能包括假阳性率可能包括假阳性率3、对照组不完整，不含其他良性和其他恶性疾病，则、对照组不完整，不含其他良性和其他恶性疾病，则敏感度及特异度就无法准确统计。比如结肠炎、直肠息敏感度及特异度就无法准确统计。比如结肠炎、直肠息肉、淋巴瘤等肉、淋巴瘤等审核审核退稿依据：退稿依据：4、英文标题和英文文摘基本上是在线翻译，极不通顺、英文标题和英文文摘基本上是在线翻译，极不通顺5、“临界参考值临界参考值”、“检测值范围参考值检测值范围参考值”的用法欠的用法欠妥，应为参考区间妥，应为参考区间6、讨论中的大框框太多，欠缺对该文结果的针对性、讨论中的大框框太多，欠缺对该文结果的针对性8、参考文献格式不规范，基本上无近期文献及国外文、参考文献格式不规范，基本上无近期文献及国外文献支持献支持9、文章的写作有待进一步提高，如中文摘要欠通顺，、文章的写作有待进一步提高，如中文摘要欠通顺，并与英文摘要不对应；叙述未采用第并与英文摘要不对应；叙述未采用第3人称；标点符号人称；标点符号欠妥当，叙述欠简练等欠妥当，叙述欠简练等小小结结1、诊断试验可以识别疾病、预测疾病，其诊断诊断试验可以识别疾病、预测疾病，其诊断效果可从准确性、可靠性与有效性共三个方面进行效果可从准确性、可靠性与有效性共三个方面进行评价，选择诊断试验的临界值最好采用评价，选择诊断试验的临界值最好采用ROC曲线曲线 2、一篇论文，大到设计、方法与数据，小到、一篇论文，大到设计、方法与数据，小到写作、参考文献等，想发好的期刊，要用心写作、参考文献等，想发好的期刊，要用心