非参数统计课件优秀PPT.ppt

《非参数统计课件优秀PPT.ppt》由会员分享，可在线阅读，更多相关《非参数统计课件优秀PPT.ppt（49页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第一章第一章 绪绪 论论主要内容主要内容1.统计的实践统计的实践2.非参数统计方法简介非参数统计方法简介 3.参数统计过程与非参数统计的比较参数统计过程与非参数统计的比较4.非参数统计的历史非参数统计的历史5.必要的准备学问必要的准备学问1.统计的实践统计的实践我们四周的世界我们四周的世界符号和数据就是整个世界。符号和数据就是整个世界。数据繁衍，信息匮乏：视察数据激增，设计数据数据繁衍，信息匮乏：视察数据激增，设计数据细分。细分。数据的困难性和不确定性的特点更为突出。数据的困难性和不确定性的特点更为突出。数据分析方法和手段不足。数据分析方法和手段不足。统计的方法论统计的方法论就方法论而言，统计

2、分析主要解决两方面的问就方法论而言，统计分析主要解决两方面的问题：题：找寻数据内部差异中共同的特征。找寻数据内部差异中共同的特征。找寻数据之间本质的差异。找寻数据之间本质的差异。统计分析的目标是从数据中发觉比数据本身更统计分析的目标是从数据中发觉比数据本身更为有用的学问为有用的学问2.非参数统计方法简介非参数统计方法简介参数方法参数方法定义：样本被视为从分布族的某个参数族抽取出来的定义：样本被视为从分布族的某个参数族抽取出来的总体的代表，而未知的仅仅是总体分布具体的参数值，总体的代表，而未知的仅仅是总体分布具体的参数值，推断问题就转化为对分布族的若干个未知参数的估计推断问题就转化为对分布族的若

3、干个未知参数的估计问题，用样本对这些参数做出估计或者进行某种形式问题，用样本对这些参数做出估计或者进行某种形式的假设检验，这类推断方法称为参数方法。的假设检验，这类推断方法称为参数方法。比如：比如：（1）探讨保险公司的索赔恳求数时，可能假定索赔恳）探讨保险公司的索赔恳求数时，可能假定索赔恳求数来自泊松分布求数来自泊松分布P(a);（2）探讨化肥对农作物产量的影响效果时，平均意）探讨化肥对农作物产量的影响效果时，平均意义之下，每测量单元（可能是）产量听从正态分布义之下，每测量单元（可能是）产量听从正态分布N(a,b).一个典型的参数检验过程一个典型的参数检验过程1.总体参数总体参数Example

4、:Population Mean2.假定数据的形态为假定数据的形态为 Whole Numbers or Fractions Example:Height in Inches(72,60.5,54.7)3.有很强的假定有很强的假定Example:正态分布正态分布4.例子例子:Z Test,t Test,2 Test一个例子：一个例子：对两组学生进行语法测试，如何比较两组学生的成果是否存在差异？原始数据原始数据秩秩2530293424251332243032379.514.012.021.07.59.52.017.57.514.017.524.044332284731403033351821352

5、82226.019.55.51.027.016.025.014.019.522.53.04.022.511.05.5非参数检验过程非参数检验过程1.不涉及总体的分布不涉及总体的分布Example:Probability Distributions,Independence2.数据的形态各异数据的形态各异定量数据定量数据定序数据定序数据Example:Good-Better-Best名义数据名义数据Example:Male-Female3.例子例子:Wilcoxon Rank Sum Test/Run TestF,F,F,F,F,F,F,F,M,M,M,M,M,M,MF,M,F,M,F,M,F,

6、M,F,M,F,M,F,M,F3.参数统计与非参数统计比较参数统计与非参数统计比较对总体假定较少，有广泛的适用对总体假定较少，有广泛的适用性，结果稳定性较好。性，结果稳定性较好。1.假定较少假定较少2.不须要对总体参数的假定不须要对总体参数的假定3.与参数结果接近与参数结果接近针对几乎全部类型的数据形态。针对几乎全部类型的数据形态。简洁计算简洁计算在计算机盛行之前就已经发展起在计算机盛行之前就已经发展起来。来。非参数检验的优点1.可能会奢侈一些信息可能会奢侈一些信息特殊当数据可以运用参数模型的时候。特殊当数据可以运用参数模型的时候。Example:Converting Data From Ra

7、tio to Ordinal Scale2.大样本手算相当麻烦大样本手算相当麻烦3.一些表不易得到一些表不易得到非参数检验的弱点本学期内容结构体系本学期内容结构体系非参数统计的主要内容内容内容非参数检验非参数检验相应的参数检验相应的参数检验2独立样本中位数检验秩和检验独立样本t检验2 配对样本/单一样本符号检验Wilcoxon 检验成对样本 t-检验2独立样本Kruskal-Wallis 检验单一因素ANOVA两因素Friedman检验双因素ANOVA相关性检验Spearman秩相关Pearson相关性检验 分布的检验Kolmogorov-Smirnov4.非参数统计的历史非参数统计的历史非参

8、数统计的历史非参数统计的历史非参数统计的形成主要归功于非参数统计的形成主要归功于20世纪世纪40年头年头50年头化学家年头化学家F.Wilcoxon等人的工作。等人的工作。Wilcoxon于于1945年提出两样本秩和检验，年提出两样本秩和检验，1947年年Mann和和Whitney二人将结果推广到两组样本二人将结果推广到两组样本量不等的一般状况；量不等的一般状况；Pitman于于1948年回答了非参数统计方法相对于年回答了非参数统计方法相对于参数方法来说的相对效率方面的问题；参数方法来说的相对效率方面的问题；非参数统计的历史（续）非参数统计的历史（续）60年头中后期，年头中后期，Cox和和Fe

9、rguson最早将非参数方法应最早将非参数方法应用于生存分析。用于生存分析。70年头到年头到80年头，非参数统计借助计算机技术和大量年头，非参数统计借助计算机技术和大量计算获得更稳健的估计和预料，以计算获得更稳健的估计和预料，以P.J.Huber以及以及 F.Hampel为代表的统计学家从计算技术的实现角度，为代表的统计学家从计算技术的实现角度，为衡量估计量的稳定性提出了新准则。为衡量估计量的稳定性提出了新准则。90年头有关非参数统计的探讨和应用主要集中在非参年头有关非参数统计的探讨和应用主要集中在非参数回来和非参数密度估计领域，其中较有代表性的人数回来和非参数密度估计领域，其中较有代表性的人

10、物是物是Silverman和和J.Fan。5.必要的准备学问必要的准备学问（1）假设检验）假设检验（2）渐进相对效率）渐进相对效率（3）秩检验统计量）秩检验统计量（4）U统计量统计量(1)假设检验回顾假设检验回顾问题：问题：(a)新引进的生产过程是否优于旧过程？新引进的生产过程是否优于旧过程？（b）几种不同的肥料哪一种更有效？）几种不同的肥料哪一种更有效？（c）高校生的就业率与城市失业率之间是否）高校生的就业率与城市失业率之间是否存在关系？存在关系？内容内容（a）假设的真正涵义和作用）假设的真正涵义和作用（b）如何选择零假设和备择假设）如何选择零假设和备择假设（c）检验的）检验的p-值和显著性

11、水平的作用值和显著性水平的作用（d）两类错误）两类错误（e）置信区间和假设检验之间的关系）置信区间和假设检验之间的关系单边检验和双边检验的单边检验和双边检验的p值值?例例2：Poisson分布 H0:1 H1:依据假设检验的步骤，可以选取统计量 为检验统计量，检验的目的是使得 C=5C=7同样显著性水平之下的检验在同样显著性水平之下的检验在不同样本量下的势函数不同样本量下的势函数0.9901263 0.9997043（2）检验的相对效率）检验的相对效率渐进效率的概念渐进效率的概念分位数和非参数置信区间分位数和非参数置信区间秩检验统计量秩检验统计量无结点秩的定义无结点秩的定义例题：某学院本科三年

12、级有例题：某学院本科三年级有9个专业组成，统计每个专业学个专业组成，统计每个专业学生每月消费数据如下，用生每月消费数据如下，用S-Plus求消费数据的秩和依次统计求消费数据的秩和依次统计量的现值：量的现值：300 230 208 580 690 200 263 215 520 2.有结数据的秩有结数据的秩设样本设样本 取自总体取自总体X的简洁随机抽样，的简洁随机抽样，将数据排序后将数据排序后,相同的数据点组成一个相同的数据点组成一个“结结”，称重复数据的个数为结长。，称重复数据的个数为结长。例例1：3.8 3.2 1.2 1.2 3.4 3.2 3.2解：结长为解：结长为3。U统计量统计量核的概念核的概念例：总体期望有无偏估计例：总体期望有无偏估计X1，总体期望是，总体期望是1可估的，可估的，X1是是总体期望的核。总体期望的核。对称核和对称核和U统计量的概念统计量的概念U统计量的特征计算统计量的特征计算U统计量的大样本性质统计量的大样本性质U统计量举例统计量举例本章内容回顾本章内容回顾1.统计的实践统计的实践2.非参数统计方法简介非参数统计方法简介 3.参数统计过程与非参数统计的比较参数统计过程与非参数统计的比较4.非参数统计的历史非参数统计的历史5.必要的准备学问必要的准备学问