数据处理分析_P值的含义.doc

P值是怎么来的从某总体中抽、这一样本是由该总体抽出，其差别是由抽样误差所致；、这一样本不是从该总体抽出，所以有所不同。如何判断是那种原因呢？统计学中用显著性检验赖判断。其步骤是：、建立检验假设（又称无效假设，符号为H0）：如要比较A药和B药的疗效是否相等，则假设两组样本来自同一总体，即A药的总体疗效和B药相等，差别仅由抽样误差引起的碰巧出现的。、选择适当的统计方法计算H0成立的可能性即概率有多大，概率用P值表示。、根据选定的显著性水平（0.05或0.01），决定接受还是拒绝H0。如果P0.05，不能否定“差别由抽样误差引起”，则接受H0；如果P0.05或P 0.01，可以认为差别不由抽样误差引起，可以拒绝H0，则可以接受令一种可能性的假设（又称备选假设，符号为H1），即两样本来自不同的总体，所以两药疗效有差别。统计学上规定的P值意义见下表P值 碰巧的概率 对无效假设 统计意义 P0.05 碰巧出现的可能性大于5% 不能否定无效假设 两组差别无显著意义 P0.05 碰巧出现的可能性小于5% 可以否定无效假设 两组差别有显著意义 P 0.01 碰巧出现的可能性小于1% 可以否定无效假设 两者差别有非常显著意义 理解P值，下述几点必须注意：P的意义不表示两组差别的大小，P反映两组差别有无统计学意义，并不表示差别大小。因此，与对照组相比，C药取得P0.05，D药取得P 0.01并不表示D的药效比C强。 P0.05时，差异无显著意义，根据统计学原理可知，不能否认无效假设，但并不认为无效假设肯定成立。在药效统计分析中，更不表示两药等效。哪种将“两组差别无显著意义”与“两组基本等效”相同的做法是缺乏统计学依据的。统计学主要用上述三种P值表示，也可以计算出确切的P值，有人用P 0.001，无此必要。显著性检验只是统计结论。判断差别还要根据专业知识。样所得的样本，其统计量会与总体参数有所不同，这可能是由于两种原因kokofu 于 2010-3-25 22:12 补充以下内容实际上生物统计原理基于此呵呵。P值是最常用的一个统计学指标，几乎统计软件输出结果都有P值。了解p值的由来、计算和意义很有必要。! I4 U* a' R9 r- C0 A8 e9 t- v2 B, O$ U8 q8 : I4 w, S$ n- & c7 X一、P值的由来R·A·Fisher（1890-1962）作为一代假设检验理论的创立者，在假设检验中首先提出P值的概念。他认为假设检验是一种程序，研究人员依照这一程序可以对某一总体参数形成一种判断。也就是说，他认为假设检验是数据分析的一种形式，是人们在研究中加入的主观信息。（当时这一观点遭到了Neyman-Pearson的反对，他们认为假设检验是一种方法，决策者在不确定的条件下进行运作，利用这一方法可以在两种可能中作出明确的选择，而同时又要控制错误发生的概率。这两种方法进行长期且痛苦的论战。虽然Fisher的这一观点同样也遭到了现代统计学家的反对，但是他对现代假设检验的发展作出了巨大的贡献。）Fisher的具体做法是：3 p# A1 o0 ?3 V! ' I$ k8 R0 c. 5 G1 S1 U) " w& G!     * 假定某一参数的取值。0 M0 k1 j8 C1 L    * 选择一个检验统计量(例如z 统计量或Z 统计量) ，该统计量的分布在假定的参数取值为真时应该是完全已知的。3 w) k( z5 M" a* s" T% j    * 从研究总体中抽取一个随机样本4计算检验统计量的值5计算概率P值或者说观测的显著水平，即在假设为真时的前提下，检验统计量大于或等于实际观测值的概率。4 + 9 M0 b1 G/ 9 v8 b: 3 x1 f* ) G  F% a& f( 0 t; o    * 如果P<0.01，说明是较强的判定结果，拒绝假定的参数取值。/ : i# & d/ Z9 y* T3 z" m%     * 如果0.01<P值<0.05，说明较弱的判定结果，拒接假定的参数取值。+ L8 g7 d7 C; n0 w. w    * 如果P值>0.05，说明结果更倾向于接受假定的参数取值。0 " J, % _% i1 t$ W: 1 B4 j! t6 a  t7 N* ( - i7 s! 可是，那个年代，由于硬件的问题，计算P值并非易事，人们就采用了统计量检验方法，也就是我们最初学的t值和t临界值比较的方法。统计检验法是在检验之前确定显著性水平，也就是说事先确定了拒绝域。但是，如果选中相同的，所有检验结论的可靠性都一样，无法给出观测数据与原假设之间之间不一致程度的精确度量。只要统计量落在拒绝域，假设的结果都是一样，即结果显著。但实际上，统计量落在拒绝域不同的地方，实际上的显著性有较大的差异。1 x1 A' H' Z7 d4 C" H$ 因此，随着计算机的发展，P值的计算不再是个难题，使得P值变成最常用的统计指标之一。4 d6 4 K1 A/ p7 A- f, O二、P值的计算为理解P值的计算过程，用表示检验的统计量，表示根据样本数据计算得到的检验统计量值。4 I/ X" D" u3 q左侧检验 vs& - U: s; |2 V) K8 g! E/ U" H  P值是当时，检验统计量小于或等于根据实际观测样本数据计算得到的检验统计量值的概率，即p值 =  n: a6 T0 E: u2 C9 v- I8 k0 L右侧检验 vs( 1 5 z' j; PP值是当时，检验统计量大于或等于根据实际观测样本数据计算得到的检验统计量值的概率，即p值 =& ?. S8 T: I+ M$ w* A. e- l5 B8 o% 双侧检验 vs5 ?( P, S* 7 R3 u* r  T+ JP值是当时，检验统计量大于或等于根据实际观测样本数据计算得到的检验统计量值的概率，即p值 =$ g- O9 a8 B$ q4 h* b/ M3 I' u3 O4 Q三、P值的意义P值就是当原假设为真时所得到的样本观察结果或更极端结果出现的概率。如果P值很小，说明这种情况的发生的概率很小，而如果出现了，根据小概率原理，我们就有理由拒绝原假设，P值越小，我们拒绝原假设的理由越充分。8 % R! Q( j, F. d总之，P值越小，表明结果越显著。但是检验的结果究竟是“显著的”、“中度显著的”还是“高度显著的”需要我们自己根据P值的大小和实际问题来解决。" Q# q% _8 9 b' , E9 * c/ H6 r2 S7 , G" v$ J. (#161). q' _: T  b+ ! P2008/12/18 09:24/ V- _  C* x! 补充几点关于p值的说法，欢迎大家讨论指正哈* d9 O* K. H% T2 T% I一 p值究竟是否等于evidence？! K) R6 L1 o/ T#   ?p值并不等于evidence，这一点是应用统计中经常犯的错误，正如correlation不等于causality一样。严格的来说，只有 likelihood才能衡量evidence。 p值小有很多原因，也有可能是样本太少，或者数据问题。这些都还好理解，最需要注意的一点是，p值不具有概率那样的可以拿来比较的性质。就是说，今天我对一个假设检验进行检验，发现p0.01，明天我重复了一遍，发现p0.001. 对于这两个结果我们能说他们不一样吗？很难。! I  Z1 T! M4 t# W$ p* L& E二 p 值究竟是什么7 b& ; V4 4 h0 R- t, r& e关于这一点，下面这篇文章是强烈推荐的5 |% t! c" P/ e+ $ M( E* _1 L. dempster (1997) the direct use of likelihood in significance testing, statistics and computing 7。6 o1 Y  a0 W' j, t  i2 z3 x一个很重要的结论是，在某些特定的假设检验，尤其是likelihood ratio testing上，p值实际上就是p(lrt>1|x)。这是什么呢？这就是说，给定样本x， likelihood ratio>1的概率。+ A  x' 6 x: s: a5 所以说，从这个角度出发，站在我们无敌的likelihood 的理论角度出发，p值跟bayesian theory又联系在了一起。) w" F7 m4 I+ L+ u神奇的地球。数据分析】统计学中p值的含义和显著差异性分析数据分析 2010-03-04 21:04:43 阅读702 评论0 字号：大中小  这个社会是残酷的，刚来公司，很多的职业技能尚不具备，但还是要硬着头皮答应经理“苛刻”的要求，无论实验的过程多么难，结果的可预测性多么小，我都会回答“OK"!这不是打脸充胖子，也不是要面子，这就是职场，你不学习是不行的！即使有些东西你从来没有遇到过，甚至没有听说过，你也要因为需要去理解它，掌握它！你比别人掌握的多，你就会慢慢变得很牛气，就会变得有价值，变得不可或缺！这就是职场最需要的！今天就学习一下P值的统计学意义！（当我作出别人都很羡慕的图表时，我的心情是很愉悦的，同样地，当我在对一组数据头头是道的分析时，从别人的眼神中，我读出了“崇拜”）。  统计学意义（p值）（这是经理每次争论的焦点）   结果的统计学意义是结果真实程度（能够代表总体）的一种估计方法。专业上，p值为结果可信程度的一个递减指标，p值越大，我们越不能认为样本中变量的关联是总体中各变量关联的可靠指标。p值是将观察结果认为有效即具有总体代表性的犯错概率。如p=0.05提示样本中变量关联有5%的可能是由于偶然性造成的。即假设总体中任意变量间均无关联，我们重复类似实验，会发现约20个实验中有一个实验，我们所研究的变量关联将等于或强于我们的实验结果。（这并不是说如果变量间存在关联，我们可得到5%或95%次数的相同结果，当总体中的变量存在关联，重复研究和发现关联的可能性与设计的统计学效力有关。）在许多研究领域，0.05的p值通常被认为是可接受错误的边界水平。如何判定结果具有真实的显著性在最后结论中判断什么样的显著性水平具有统计学意义，不可避免地带有武断性。换句话说，认为结果无效而被拒绝接受的水平的选择具有武断性。实践中，最后的决定通常依赖于数据集比较和分析过程中结果是先验性还是仅仅为均数之间的两两>比较，依赖于总体数据集里结论一致的支持性证据的数量，依赖于以往该研究领域的惯例。通常，许多的科学领域中产生p值的结果0.05被认为是统计学意义的边界线，但是这显著性水平还包含了相当高的犯错可能性。结果0.05p>0.01被认为是具有统计学意义，而0.01p0.001被认为具有高度统计学意义。但要注意这种分类仅仅是研究基础上非正规的判断常规。所有的检验统计都是正态分布的吗？并不完全如此，但大多数检验都直接或间接与之有关，可以从正态分布中推导出来，如t检验、f检验或卡方检验。这些检验一般都要求：所分析变量在总体中呈正态分布，即满足所谓的正态假设。许多观察变量的确是呈正态分布的，这也是正态分布是现实世界的基本特征的原因。当人们用在正态分布基础上建立的检验分析非正态分布变量的数据时问题就产生了，（参阅非参数和方差分析的正态性检验）。这种条件下有两种方法：一是用替代的非参数检验（即无分布性检验），但这种方法不方便，因为从它所提供的结论形式看，这种方法统计效率低下、不灵活。另一种方法是：当确定样本量足够大的情况下，通常还是可以使用基于正态分布前提下的检验。后一种方法是基于一个相当重要的原则产生的，该原则对正态方程基础上的总体检验有极其重要的作用。即，随着样本量的增加，样本分布形状趋于正态，即使所研究的变量分布并不呈正态。1  统计软件的选择         在进行统计分析时，作者常使用非专门的数理统计软件Excel进行统计分析。由于Excel提供的统计分析功能十分有限，很难满足实际需要。目前，国际上已开发出的专门用于统计分析的商业软件很多，比较著名有SPSS(Statistical Package for Social Sciences)、SAS(Statistical Analysis System)、BMDP和STATISTICA等。其中，SPSS是专门为社会科学领域的研究者设计的（但是，此软件在自然科学领域也得到广泛应用）；BMDP是专门为生物学和医学领域研究者编制的统计软件。目前，国际学术界有一条不成文的约定：凡是用SPSS和SAS软件进行统计分析所获得的结果，在国际学术交流中不必说明具体算法。由此可见，SPSS和SAS软件已被各领域研究者普遍认可。建议作者们在进行统计分析时尽量使用这2个专门的统计软件。2  均值的计算         在处理实验数据或采样数据时，经常会遇到对相同采样或相同实验条件下同一随机变量的多个不同取值进行统计处理的问题。此时，多数作者会不假思索地直接给出算术平均值和标准差。显然，这种做法是不严谨的。在数理统计学中，作为描述随机变量总体大小特征的统计量有算术平均值、几何平均值和中位数等。何时用算术平均值？何时用几何平均值？以及何时用中位数？这不能由研究者根据主观意愿随意确定，而要根据随机变量的分布特征确定。反映随机变量总体大小特征的统计量是数学期望，而在随机变量的分布服从正态分布时，其总体的数学期望就是其算术平均值。此时，可用样本的算术平均值描述随机变量的大小特征。如果所研究的随机变量不服从正态分布，则算术平均值不能准确反映该变量的大小特征。在这种情况下，可通过假设检验来判断随机变量是否服从对数正态分布。如果服从对数正态分布，则可用几何平均值描述该随机变量总体的大小。此时，就可以计算变量的几何平均值。如果随机变量既不服从正态分布也不服从对数正态分布，则按现有的数理统计学知识，尚无合适的统计量描述该变量的大小特征。退而求其次，此时可用中位数来描述变量的大小特征。3  相关分析中相关系数的选择         在相关分析中，作者们常犯的错误是简单地计算Pearson积矩相关系数，而且既不给出正态分布检验结果，也往往不明确指出所计算的相关系数就是Pearson 积矩相关系数。常用的相关系数除有Pearson积矩相关系数外，还有Spearman秩相关系数和Kendall秩相关系数等。其中，Pearson 积矩相关系数可用于描述2个随机变量的线性相关程度（相应的相关分析方法称为“参数相关分析”，该方法的检验功效高，检验结果明确）；Spearman或Kendall秩相关系数用来判断两个随机变量在二维和多维空间中是否具有某种共变趋势，而不考虑其变化的幅度（相应的相关分析称为“非参数相关分析” ，该方法的检验功效较参数方法稍差，检验结果也不如参数方法明确）。各种成熟的统计软件如SPSS、SAS等均提供了这些相关系数的计算模块。在相关分析中，计算各种相关系数是有前提的。对于二元相关分析，如果2个随机变量服从二元正态分布，或2个随机变量经数据变换后服从二元正态分布，则可以用Pearson积矩相关系数描述这2个随机变量间的相关关系（此时描述的是线性相关关系），而不宜选用功效较低的Spearman或Kendall秩相关系数。如果样本数据或其变换值不服从正态分布，则计算Pearson 积矩相关系数就毫无意义。退而求其次，此时只能计算Spearman或Kendall秩相关系数（尽管这样做会导致检验功效的降低）。因此，在报告相关分析结果时，还应提供正态分布检验结果，以证明计算所选择的相关系数是妥当的。需要指出的是，由于Spearman或Kendall秩相关系数是基于顺序变量（秩）设计的相关系数，因此，如果所采集的数据不是确定的数值而仅仅是秩，则使用Spearman或Kendall秩相关系数进行非参数相关分析就成为唯一的选择。4  相关分析与回归分析的区别         相关分析和回归分析是极为常用的2种数理统计方法，在地质学研究领域有着广泛的用途。然而，由于这2种数理统计方法在计算方面存在很多相似之处，且在一些数理统计教科书中没有系统阐明这2种数理统计方法的内在差别，从而使一些研究者不能严格区分相关分析与回归分析。最常见的错误是，用回归分析的结果解释相关性问题。例如，作者将“回归直线（曲线）图”称为“相关性图”或“相关关系图”；将回归直线的R2(拟合度，或称“可决系数”)错误地称为“相关系数”或“相关系数的平方”；根据回归分析的结果宣称2个变量之间存在正的或负的相关关系。这些情况在国内极为普遍。         相关分析与回归分析均为研究2个或多个随机变量间关联性的方法，但2种数理统计方法存在本质的差别，即它们用于不同的研究目的。相关分析的目的在于检验两个随机变量的共变趋势（即共同变化的程度），回归分析的目的则在于试图用自变量来预测因变量的值。在相关分析中，两个变量必须同时都是随机变量，如果其中的一个变量不是随机变量，就不能进行相关分析。这是相关分析方法本身所决定的。对于回归分析，其中的因变量肯定为随机变量（这是回归分析方法本身所决定的），而自变量则可以是普通变量（规范的叫法是“固定变量”，有确定的取值）也可以是随机变量。如果自变量是普通变量，采用的回归方法就是最为常用的“最小二乘法”，即模型回归分析；如果自变量是随机变量，所采用的回归方法与计算者的目的有关-在以预测为目的的情况下，仍采用“最小二乘法”，在以估值为目的的情况下须使用相对严谨的“主轴法”、“约化主轴法”或“Bartlett法”，即模型回归分析。显然，对于回归分析，如果是模型回归分析，就根本不可能回答变量的“相关性”问题，因为普通变量与随机变量之间不存在“相关性”这一概念（问题在于，大多数的回归分析都是模型回归分析！）。此时，即使作者想描述2个变量间的“共变趋势”而改用相关分析，也会因相关分析的前提不存在而使分析结果毫无意义。如果是模型回归分析，鉴于两个随机变量客观上存在“相关性”问题，但因回归分析方法本身不能提供针对自变量和因变量之间相关关系的准确的检验手段，因此，若以预测为目的，最好不提“相关性”问题；若以探索两者的“共变趋势”为目的，建议作者改用相关分析。        需要特别指出的是，回归分析中的R2在数学上恰好是Pearson积矩相关系数r的平方。因此，这极易使作者们错误地理解R2的含义，认为R2就是 “相关系数”或“相关系数的平方”。问题在于，对于自变量是普通变量（即其取值具有确定性）、因变量为随机变量的模型回归分析，2个变量之间的“相关性”概念根本不存在，又何谈“相关系数”呢？（说明：二元回归可决系数符号用小写r2）