统计数据预处理.ppt

《统计数据预处理.ppt》由会员分享，可在线阅读，更多相关《统计数据预处理.ppt（46页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、统计数据的预处理数据预处理 把混在原始数据中的“异常数据”排除、把真正有用的“信息”提取出来，有助于推断统计得出正确分析结论。1：异常数据取舍2：未检出值和/或缺失值估算 采用异常数据进行推断统计得到的结论误导带给科研与统计控制判断出错的隐患不可小视。异常数据 单个异常值：是指单个样本观测数据组内隐含的个别异常数据。同义词有：可疑值、异常值、极端值、端值、离群值、逸出值、奇异值、超限值、粗值 异常均数：三个以上（k3）样本多均数要作统计分析比较时，无疑也要检查其中是否隐含可疑均数。研究者对7例糖尿病患者给某种药物后，测量其血中胰岛素(/ml,X1)和血糖(mg%,X2)作者采用直线相关分析 结

2、论：血液中胰岛素与血糖两者含量之间无直线相关患者编号1 2 3 4 5 6 7胰岛素（X1）24 17 18 12 15 121 10血 糖（X2）142 170 194 213 214 238 249 剔出第6 对数据前后的Pearson相关系数，前者是0.314，后者是-0.936，显示有相关性！异常数据的判别法 物理判别法：根据人们对客观事物已有的认识，判别由于外界干扰、人为误差等原因造成实测数据偏离正常结果，在实验过程中随时判断，随时剔除 统计判别法：给定一个置信概率，并确定一个置信限，凡超过此限的误差，就认为它不属于随机误差范围，将其视为异常数据剔除 能用物理判别法判定异常数据有时不

3、易做到，此时只能用统计判别法统计判别法 拉依达准则 肖维勒准则 格拉布斯准则 狄克逊准则 t 检验（罗马诺夫斯基准则）极差法统计判断对异常数据的区分 异常数据有两种情况：1.异常值不属于该总体，抽样抽错了，从另外一个总体抽出一个(一些)数据，其值与总体平均值相差较大；2.异常值虽属于该总体，但可能是该总体固有随机变异性的极端表现，比如说超过3 的数据，出现的概率很小。犯错误1：将本来属于该总体的、出现的概率小的、第二种情况的异常值判断出来舍去，就会犯错误。-去真 犯错误2：不属于该总体但数值又和该总体平均值接近的数据被抽样抽出来，统计检验方法判断不出它是异常值，就会犯另外一种错误。-存伪统计判

4、别法之一：拉依达准则 如果实验数据的总体x是服从正态分布的，则 根据上式对于大于+3 或小于-3 的实验数据作为异常数据，予以剔除。剔除后，对余下的各测量值重新计算偏差和标准偏差，并继续审查，直到各个偏差均小于3 为止。无需查表，使用简便对某一长度L 测量10次，其数据如下：试用拉依达准则剔除坏值。解：20.33不 能 用 拉 依 达准则剔除次数1 2 3 4 5 6 7 8 9 10L(cm)10.35 10.38 10.3 10.32 10.35 10.33 10.37 10.31 10.34 20.33对某一长度L 测量10次，其数据如下：试用拉依达准则剔除坏值。解：20.33用 拉 依

5、 达 准 则剔除次数1 2 3 4 5 6 7 8 9 10 11L(cm)10.35 10.38 10.3 10.32 10.35 10.33 10.37 10.31 10.34 20.33 10.37 对于服从正态分布的测量结果，其偏差出现在3 附近的概率已经很小，如果测量次数不多，偏差超过3 几乎不可能，因而，用拉依达判据剔除疏失误差时，往往有些疏失误差剔除不掉。另外，仅仅根据少量的测量值来计算，这本身就存在不小的误差。因此拉依达准则不能检验样本量较小的情况。（显著性水平为0.1 时，n 必须大于10）统计判别法之二：肖维勒准则 肖维勒准则又称为等概率原则，以正态分布为前提,假设多次重复

6、测量所得n个测量值中,某个测量值的残余误差|vi|=Zc,则剔除此数据。实用中Zc3,所以在一定程度上弥补了3 准则的不足，另外考虑了测量次数的因素，在一定程度上比拉依达准则更合理。Zc 是一个与测量次数相关的系数，可以查表获取。肖维勒准则可用于n10 时粗大误差的判定。Zc 系数表n Zc n Zc n Zc3 1.38 11 2.00 25 2.334 1.54 12 2.03 30 2.395 1.65 13 2.07 40 2.496 1.73 14 2.10 50 2.587 1.80 15 2.13 100 2.808 1.86 16 2.159 1.92 18 2.2010 1.

7、96 20 2.24统计判别法之三：格拉布斯准则 格拉布斯准则是在未知总体标准差情况下，对正态样本或接近正态样本异常值的一种判别方法。某个测量值的残余误差|vi|=T，则判断此值中含有粗大误差,应予剔除。T 值与重复测量次数n 和置信概率 均有关，因此格拉布斯准则是比较好的判定准则。格拉布斯准则理论较严密，概率意义明确，可用于严格要求的场合,当n=20-100 时，判别效果较好。T 值通过查表获得。T0(n,)值表 采用格拉布斯方法判定异常数据的过程如下：1.选定危险率 是一个较小的百分数，例如1%，2.5%，5%，它是采用格拉布斯方法判定异常数据出现误判的几率。2.计算T 值 如果x(n)是

8、可疑数据，则令 3.根据n 及，查表得到T0(n,)值 4.如果TT0(n,),则所怀疑的数据是异常数据，应予剔除。如果T0(n,)，则所怀疑的数据不是异常数据，不能剔除。5.余下数据重复操作至无异常数据 格拉布斯准则可以检验较少的数据狄克逊准则 亦称Q 检验法，狄克逊准则是通过极差比判定和剔除异常数据。该准则认为异常数据应该是最大数据和最小数据，因此该其基本方法是将数据按大小排队，检验最大数据和最小数据是否异常数据。将实验数据xi按值的大小排成顺序统计量 x(1),x(2),x(3),x(n)计算f0值 或 根据狄克逊系数表将f0与f(n,)进行比较 如果f0f(n,)，说明x(n)离群远，

9、则判定该数据为异常数据，予以剔除。狄克逊系数f(n,a)与f0的计算公式 t 检验准则（罗马诺夫斯基准则）t 检验准则与狄克逊准则相似，也是检验最大实验数据和最小实验数据。首先将实验数据按大小排列 x(1),x(2),x(3),x(n)对最小数据和最大数据分别进行检验，如果 或 则x(1)或x(n)是异常数据，应予剔除 式中 及 分别为不包括x(1)或x(n)的n-1 个数据的均值和标准差。t 检验中的K(n,)应注意的问题：所 有 的 检 验 法 都 是 人 为 主 观 拟 定 的，至 今 无 统一 的 规 定。以 数 据 按 正 态 分 布 为 前 提 的，当 偏 离 正态分布和测量次数少

10、时检验不一定可靠。若 有 多 个 可 疑 数 据 同 时 超 过 检 验 所 定 置 信 区 间，应 逐 个 剔 除，重 新 计 算，再 行 判 别。若 有 两 个 相 同数据超出范围时，应逐个剔除。在一组测量数据中，可疑数据应很少。反之，说明系统工作不正常。为了减少犯错误的概率，可以将3 种以上统计检验法结合使用，根据多数方法的判断结果，确定可疑值是否为异常值 拉依达准则不能检验样本量较小的情况，格拉布斯准则则可以检验较少的数据。在国际上，常推荐格拉布斯准则和狄克逊准则。但对于异常数据一定要慎重，不能任意的抛弃和修改。往往通过对异常数据的观察，可以发现引起系统误差的原因，进而改进过程和试验。

11、SPSS 实现 研究者对7 例糖尿病患者给某种药物后，测量其血中胰岛素(/ml,X1)和血糖(mg%,X2)作者采用直线相关分析 结论：血液中胰岛素与血糖两者含量之间无直线相关患者编号1 2 3 4 5 6 7胰岛素（X1）24 17 18 12 15 121 10血 糖（X2）142 170 194 213 214 238 249SPSS 实现 本例为小样本，单击Analyze，后单击Descriptivestatistics 选择Explore 主对话框中，再单击Plots 选项进入Explore：Plots 对话框：在Boxplots 项下点选DependentsTogether，在De

12、scriptive 项下勾选Stem-and-leaf，其余各项可以不要勾选和点选；单击Continue 返回Explore 对话框，单击OK,SPSS 运行、输出结果Frequency Stem&Leaf2.00 1.03.00 1.781.00 2.41.00 Extr emes(=121)Stem width:10Each leaf:1 case(s)胰岛素检出离群值121 叶茎图和箱须图提示有极端值（121）缺失数据的处理数据缺失的机制 将数据集中不含缺失值的变量（属性）称为完全变量，数据集中含有缺失值的变量称为不完全变量，Little 和Rubin 定义了以下三种不同的数据缺失机制：1）完全随机缺失：数据的缺失与不完全变量以及完全变量都是无关的。2）随机缺失：数据的缺失仅仅依赖于完全变量。3）非随机、不可忽略缺失：不完全变量中数据的缺失依赖于不完全变量本身，这种缺失是不可忽略的。