数据分析方法MATLAB实现ppt课件.ppt

《数据分析方法MATLAB实现ppt课件.ppt》由会员分享，可在线阅读，更多相关《数据分析方法MATLAB实现ppt课件.ppt（79页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1/24第第2 2章章 数据描述性分析数据描述性分析普通高等院校计算机课程规划普通高等院校计算机课程规划教材教材MATLAB数据分析方法数据分析方法 李柏年 吴礼斌 主编 张孔生 丁 华 参编 2/24第第2 2章章 数据描述性分析数据描述性分析第第2章章 数据描述性分析数据描述性分析 数据描述性分析是从样本数据出发，概括分析数数据描述性分析是从样本数据出发，概括分析数据的集中位置、分散程度、相互关联关系等，分析数据的集中位置、分散程度、相互关联关系等，分析数据分布的正态或偏态特征据分布的正态或偏态特征.描述性分析是进行数据进一描述性分析是进行数据进一步分析的基础步分析的基础.对不同类型量纲的

2、数据有时还要进行变对不同类型量纲的数据有时还要进行变换，然后再作出合理分析换，然后再作出合理分析.本章主要介绍样本数据的基本章主要介绍样本数据的基本统计量、数据的可视化、数据分布检验及数据变换本统计量、数据的可视化、数据分布检验及数据变换等内容等内容.2.1基本统计量与数据可视化基本统计量与数据可视化 2.1.1样本数据的基本统计量样本数据的基本统计量 描述数据基本特征主要为集中位置和分散程度。描述数据基本特征主要为集中位置和分散程度。设从所研究的对象设从所研究的对象(即总体即总体)X中观测得到中观测得到n个观测值个观测值3/24第第2 2章章 数据描述性分析数据描述性分析1.均值、中位数、分

3、位数与三均值均值、中位数、分位数与三均值 数据数据(x1,x2,xn)的平均值称为该数据的均值，记为的平均值称为该数据的均值，记为11niixxnx1,x2,xn这这n个值称为样本数据个值称为样本数据, 简称数据，简称数据，n称为样本容量称为样本容量.我们的任务就是要对样本数据我们的任务就是要对样本数据(2.1.1)进行分析，提进行分析，提取数据中所包含的有用的信息，从而进一步对总体取数据中所包含的有用的信息，从而进一步对总体的特性作出推断的特性作出推断. (2.1.1)(2.1.2)样本均值描述了数据取值的平均位置样本均值描述了数据取值的平均位置.样本均值计算样本均值计算简易简易, 但易受异

4、常值的影响而不稳健但易受异常值的影响而不稳健.4/24第第2 2章章 数据描述性分析数据描述性分析又将数据（又将数据（2.1.1）按从小到大的次序排列，排序）按从小到大的次序排列，排序为为k的数记为的数记为x(k)(1 k n)，即，即x(1) x(2) x(n)，称，称 )()2()1(,nxxx (2.1.3) 为数据（为数据（2.1.1）的次序统计量）的次序统计量.由次序统计量定义数由次序统计量定义数M，1222()( )(1).1()2nnnxnMxxn为奇数为偶数称称M为数据（为数据（2.1.1）的中位数。）的中位数。(2.1.4)中位数是描述数据的中心位置的数字特征，若数据的中位数

5、是描述数据的中心位置的数字特征，若数据的分布对称，则均值与中位数比较接近。若数据的分布分布对称，则均值与中位数比较接近。若数据的分布为偏态，则均值与中位数差异会较大。中位数的一个为偏态，则均值与中位数差异会较大。中位数的一个显著特点是受异常值的影响较小，具有较好的稳健性显著特点是受异常值的影响较小，具有较好的稳健性.5/24第第2 2章章 数据描述性分析数据描述性分析设设0 p M_MD_SM %M文件名ans = 1.0e+03 * 0.2883 0.2599 0.0290 1.2056 1.0830 0.1482 0.1455 0.0171 0.8421 0.6775 0.0449 0.0

6、404 0.0129 0.2111 0.0654即如表6-2所示。13/24第第2 2章章 数据描述性分析数据描述性分析统计量林业用地面积（khm2)森林面积（khm2)森林覆盖率（%）活立木总蓄积量（m3*104)森林蓄积量（m3*104)均值288.3259.929.01205.61083.0中位数148.2145.517.1842.1677.5三均值44.940.412.9211.165.4表表6-2 某省森林资源均值、中位数与三均值某省森林资源均值、中位数与三均值14/24第第2 2章章 数据描述性分析数据描述性分析2.方差与变异系数方差与变异系数方差是描述数据取值分散性的一种度量，它

7、是数据相方差是描述数据取值分散性的一种度量，它是数据相对于均值的偏差平方的平均对于均值的偏差平方的平均.样本数据（样本数据（2.1.1）的方）的方差记为差记为 22221111()11nniiiisxxxn xnn（2.1.7） 其算术平方根称为标准差或根方差，其算术平方根称为标准差或根方差，即即 22111niisxn xn（2.1.8） 15/24第第2 2章章 数据描述性分析数据描述性分析刻画数据刻画数据x1,x2,xn相对分散性的指标可以用变异系相对分散性的指标可以用变异系数，其计算公式为数，其计算公式为 / |vs xsx，或（2.1.9） 变异系数是一个无量纲的量，一般用百分数表示

8、变异系数是一个无量纲的量，一般用百分数表示.在在MATLAB中，计算方差命令中，计算方差命令var，调用格式，调用格式 S=var(x);计算标准差命令计算标准差命令std，调用格式，调用格式 d=std(x)其中输入其中输入x是样本数据，输出是样本数据，输出S为方差为方差,d为标准差为标准差.当当输入输入x是矩阵时，输出是矩阵时，输出x每列数据的方差与标准差每列数据的方差与标准差.由均值与方差命令，可设计变异系数的计算程序为由均值与方差命令，可设计变异系数的计算程序为v=std(x)./mean(x)，或者，或者v=std(x)./abs(mean(x)当输入当输入x是矩阵时，输出是矩阵时，

9、输出x每列数据的变异系数每列数据的变异系数.16/24第第2 2章章 数据描述性分析数据描述性分析例例2.1.2. 计算例计算例2.1.1中各指标的方差、标准差中各指标的方差、标准差与变异系数与变异系数解：将表解：将表2-1中的数据粘贴到中的数据粘贴到MATLAB软件软件A=53.93,3252.88; % 粘贴原始数据粘贴原始数据M=mean(A); % 计算各指标均值计算各指标均值D=var(A); % 计算各指标方差计算各指标方差SD=std(A); % 计算各指标标准差计算各指标标准差V=SD./abs(M) % 计算各指标变异系数计算各指标变异系数D;SD;V % 输出计算结果输出计

10、算结果表表2.3安徽省森林资源方差、标准差与变异系数安徽省森林资源方差、标准差与变异系数 （2008年）年）统计量统计量 林地面积林地面积森林面积森林面积森林覆盖率森林覆盖率活立木总蓄积量活立木总蓄积量森林蓄积量森林蓄积量方差方差75464.4859198.14394.491065554.981040590.73标准差标准差274.71243.3119.861032.261020.09变异系数变异系数1.011.010.740.961.0717/24第第2 2章章 数据描述性分析数据描述性分析 3. 样本的极差与四分位极差样本的极差与四分位极差极差的计算公式为：极差的计算公式为： ( )(1)

11、-nRxx它是表示数据的分散性的数字特征它是表示数据的分散性的数字特征.MATLAB中公式为：中公式为：max(data)-min(data)，或，或 range(data)上、下四分位数上、下四分位数Q3,Q1之差称为四分位极差，即之差称为四分位极差，即 R1=Q3-Q1MATLAB中计算数据中计算数据data的公式为：的公式为：iqr(data)4. 异常点判别异常点判别先求上、下截断点：先求上、下截断点：R上上=Q3+1.5R1 ， R下下=Q1-1.5R1小于小于R下下或大于或大于R上上的数据均为异常值的数据均为异常值.18/24第第2 2章章 数据描述性分析数据描述性分析例例2.1.

12、3 根据根据2007年华东地区各高校教职工数据，年华东地区各高校教职工数据，计算专任教师、计算专任教师、 行政人员、教辅人员以及工勤人行政人员、教辅人员以及工勤人员占在职教工的百分比，以及百分比的极差、四分员占在职教工的百分比，以及百分比的极差、四分位极差以及上、下截断点位极差以及上、下截断点.表表2.4 2007年华东地区各高校教职工数据年华东地区各高校教职工数据地地 区区在职教工在职教工专任教师专任教师行政人员行政人员教辅人员教辅人员工勤人员工勤人员上上 海海61385354801028278427781江江 苏苏13421588568201721337112104浙浙 江江6776345

13、6221096067984383安安 徽徽5914940743727857635365福福 建建4786431385771250343733江江 西西6339245153817954954565山山 东东1209968188916342116141115119/24第第2 2章章 数据描述性分析数据描述性分析解：解：A=61385 354801028278427781134215 885682017213371121046776345622109606798438359149407437278576353654786431385771250343733633924515381795495456

14、5120996 81889163421161411151;B=A(:,2:5)./A(:,1)*ones(1,4); % 计算百分比计算百分比R=range(B); % 计算极差计算极差 R1=iqr(B); % 计算四分位极差计算四分位极差 XJ=prctile(B,25)-1.5*R1; % 计算下截断点计算下截断点SJ=prctile(B,75)+1.5*R1; % 计算上截断点计算上截断点5.偏度与峰度偏度与峰度 偏度是用于衡量分布的不对称程度或偏斜程度的偏度是用于衡量分布的不对称程度或偏斜程度的指标指标.随机变量的偏度是变量的三阶中心矩除以标准随机变量的偏度是变量的三阶中心矩除以标准

15、差的三次方，计算样本的偏度公式为：差的三次方，计算样本的偏度公式为：20/24第第2 2章章 数据描述性分析数据描述性分析233(1)(2)dn upnns，其中其中u3,s 分别表示数据的分别表示数据的3阶中心矩与标准差阶中心矩与标准差.Matlab计算数据偏度的命令为计算数据偏度的命令为: skewness(data,0) 正态分布正态分布的偏度为零，若的偏度为零，若pd0称分布具有正偏离，也称右偏态，情况称分布具有正偏离，也称右偏态，情况相反；而偏度接近相反；而偏度接近0则可认为分布是对称的则可认为分布是对称的.若知道若知道分分布布有可能在偏度上有可能在偏度上偏离偏离正态分布时，可用偏离

16、来检验正态分布时，可用偏离来检验分布的正态性分布的正态性.21/24第第2 2章章 数据描述性分析数据描述性分析峰度峰度 峰度用来衡量数据尾部分散性，正态分布峰度峰度用来衡量数据尾部分散性，正态分布峰度为零，峰度为零，峰度0，则厚尾，峰度，则厚尾，峰度0，则细尾，在金融，则细尾，在金融时间序列分析中，通常要研究数据是否为尖峰、细时间序列分析中，通常要研究数据是否为尖峰、细腰、厚尾等特性。腰、厚尾等特性。 随机变量的峰度是变量的四阶中心矩除以标准随机变量的峰度是变量的四阶中心矩除以标准差的四次方，计算样本的峰度公式为：差的四次方，计算样本的峰度公式为：22443( -1)(1)(2)( -2)(

17、 -3)dn unfnnsnn-，其中其中u4,s 分别表示数据的分别表示数据的4阶中心矩与标准差阶中心矩与标准差.Matlab计算峰度的命令为：计算峰度的命令为：kurtosis (data,0)-3.22/24第第2 2章章 数据描述性分析数据描述性分析例例2.1.4 计算计算1995年年1月月3日至日至1999年年4月月1日日IBM公司股票开盘价、最高价、最低价、收盘价以及公司股票开盘价、最高价、最低价、收盘价以及成交量的偏度、峰度成交量的偏度、峰度.解：首先在解：首先在MATLAB编辑窗口键入编辑窗口键入ibm = ascii2fts(ibm9599.dat, 1, 3, 2);得到数

18、据共有六列，分别为得到数据共有六列，分别为:日期、股票开盘价、最高日期、股票开盘价、最高价、最低价、收盘价以及成交量数据价、最低价、收盘价以及成交量数据. 然后键入然后键入tsmat = fts2mat(ibm); % 提取提取ibm数据的后五列数据矩阵数据的后五列数据矩阵pd=skewness(tsmat,0); % 计算偏度计算偏度fd=kurtosis (tsmat,0)-3; % 计算峰度计算峰度pd;fd % 输出计算结果输出计算结果subplot(221),histfit(tsmat(:,1),title(open) % 做开盘价直方图做开盘价直方图subplot(222),his

19、tfit(tsmat(:,2),title(high) % 做最高价直方图做最高价直方图subplot(223),histfit(tsmat(:,3),title(low) % 做最低价直方图做最低价直方图subplot(224),histfit(tsmat(:,4),title(close) % 做收盘价直方图做收盘价直方图23/24第第2 2章章 数据描述性分析数据描述性分析 表表2.5 IBM公司股票偏度与峰度公司股票偏度与峰度.统计量统计量开盘价开盘价最高价最高价最低价最低价收盘价收盘价成交量成交量偏度偏度0.93470.88980.90780.89122.9448峰度峰度0.1745

20、-0.02360.0018-0.022516.2246由于正态分布的偏度与峰度都应等于零，从表由于正态分布的偏度与峰度都应等于零，从表1.5可知可知IBM公司股票各指标均不服从正态分布公司股票各指标均不服从正态分布.上述上述数据的直方图（图数据的直方图（图1.1）也验证了这一点）也验证了这一点.-1000100200300050100150open-1000100200300050100150high-1000100200300050100150low-1000100200300050100150close图图2.1 IBM公司股票直方图公司股票直方图24/24第第2 2章章 数据描述性分析数

21、据描述性分析2.1.2 样本数据可视化样本数据可视化1.可视化可视化 数据可视化是指数据的图形表示。借助几何图形数据可视化是指数据的图形表示。借助几何图形可形象说明数据的特征与分布情况。常用的图形有条可形象说明数据的特征与分布情况。常用的图形有条形图、直方图、盒图、阶梯图和火柴棒图等形图、直方图、盒图、阶梯图和火柴棒图等.（1）条形图）条形图. 条形图是用宽度相同的直线条的高低或条形图是用宽度相同的直线条的高低或长短来表示统计指标数值的大小长短来表示统计指标数值的大小.条形图根据表现资条形图根据表现资料的内容可分为单式条形图、复式条形图和结构条形料的内容可分为单式条形图、复式条形图和结构条形图

22、图.单式条形图反映统计对象随某一因素变化而改变单式条形图反映统计对象随某一因素变化而改变的情况的情况.复式条形图可以反映统计对象随两个因素变复式条形图可以反映统计对象随两个因素变动而变动的情况动而变动的情况.结构条形图则反映不同统计对象内结构条形图则反映不同统计对象内部结构的变化情况部结构的变化情况.25/24第第2 2章章 数据描述性分析数据描述性分析在在MATLAB中，绘制条形图命令中，绘制条形图命令bar，调用格式，调用格式 bar(X) bar(x,Y)作样本数据作样本数据X的条形图；的条形图； x的元素在横坐标轴的元素在横坐标轴上按从小到大排列，作上按从小到大排列，作Y和和x对应的条

23、形图对应的条形图.（2）直方图）直方图.将观测数据的取值范围分为若干个区将观测数据的取值范围分为若干个区间间, 计算落在每个区间的频数或频率计算落在每个区间的频数或频率.在每个区间上在每个区间上画一个矩形画一个矩形, 以估计总体的概率密度以估计总体的概率密度.在在MATLAB中，绘制直方图命令中，绘制直方图命令hist，调用格式，调用格式 hist(x,n)%作数据作数据x的直方图，其中的直方图，其中n表示分组的个数，缺省表示分组的个数，缺省时时n=10 h,stats = cdfplot(x)26/24第第2 2章章 数据描述性分析数据描述性分析%作数据作数据x的经验分布函数图，的经验分布函

24、数图，stats给出数据的最大值给出数据的最大值、最小值、中位数、平均值和标准差、最小值、中位数、平均值和标准差.附加有正态密度曲线的直方图命令附加有正态密度曲线的直方图命令histfit，调用格式，调用格式 histfit(X)%X为样本数据向量，返回直方图和正态曲线为样本数据向量，返回直方图和正态曲线. histfit(X,nbins)% nbins指定指定bar的个数，缺省为的个数，缺省为X中数据个数的平方根中数据个数的平方根.（3）盒图）盒图.盒图是由五个数值点组成：最小值，下四盒图是由五个数值点组成：最小值，下四分位数，中位数，上四分位数，最大值分位数，中位数，上四分位数，最大值.中

25、间的盒子是中间的盒子是从从Q1延伸到延伸到Q3，盒子里的直线标示出中位数的位置，盒子里的直线标示出中位数的位置，盒子两端有直线往外延伸到最小数与最大数盒子两端有直线往外延伸到最小数与最大数.27/24第第2 2章章 数据描述性分析数据描述性分析在在MATLAB中，绘制盒图命令中，绘制盒图命令boxplot，调用格式，调用格式 boxplot(X)%产生矩阵产生矩阵X的每一列的盒图和的每一列的盒图和“须须”图，图，“须须”是是从盒的尾部延伸出来，并表示盒外数据长度的线，如从盒的尾部延伸出来，并表示盒外数据长度的线，如果果“须须”的外面没有数据，则在的外面没有数据，则在“须须”的底部有一个的底部有

26、一个点点.（4）阶梯图命令）阶梯图命令stairs，调用格式，调用格式 stairs(x) % 作数据作数据x的阶梯图的阶梯图（5）火柴棒图命令）火柴棒图命令stem，调用格式，调用格式 stem(x) % 作数据作数据x的火柴棒图的火柴棒图例例2.1.5随机生成随机生成150个服从标准正态分布随机数，将个服从标准正态分布随机数，将这些数据作为样本数据，分别作出样本数据的柱形图这些数据作为样本数据，分别作出样本数据的柱形图、直方图、阶梯图、火柴棒图等图形。、直方图、阶梯图、火柴棒图等图形。28/24第第2 2章章 数据描述性分析数据描述性分析解：解：x = random(normal,0,1,

27、1,150); %产生服从产生服从标准正态分布随机数标准正态分布随机数150个个bar(x) %作柱形图（作柱形图（图图2.2）hist(x,20) %作作直方图（图直方图（图2.3）stairs(x) %作阶梯图（作阶梯图（图图2.4）stem(x) %作火柴棒图（作火柴棒图（图图2.5）020406080100120140160-3-2-10123bar(x)-3-2-10123010203040hist(x)图图2.2柱形图柱形图 图图2.3直方图直方图29/24第第2 2章章 数据描述性分析数据描述性分析050100150-3-2-10123statrs(x)050100150-3-2

28、-10123stem(x)图图2.4 阶梯图阶梯图 图图2.5 火柴棒图火柴棒图2. 二维与三维数据可视化二维与三维数据可视化（1）散点图命令）散点图命令scatter与与scatter3，调用格式，调用格式 scatter(x,y)其中其中x是横坐标，是横坐标，y 是纵坐标，输出平面散点图。是纵坐标，输出平面散点图。 scatter3(x,y,z)其中其中x ,y,z分别是横、纵、竖坐标向量，输出空间散点图分别是横、纵、竖坐标向量，输出空间散点图30/24第第2 2章章 数据描述性分析数据描述性分析（2）曲面图命令）曲面图命令mesh与与surf，调用格式，调用格式 mesh(X,Y,Z)

29、或或surf(X,Y,Z)其中其中Z是对应是对应(X,Y)处的函数值处的函数值Z=f(X,Y) ，X,Y是由命令是由命令meshgrid生成的数据点矩阵，即生成的数据点矩阵，即X,Y=meshgrid(x,y)，输入向量，输入向量x为为xoy平面上平面上矩形定义域的矩形分割线在矩形定义域的矩形分割线在x轴上的坐标，向量轴上的坐标，向量y为为xoy平面上矩形定义域的矩形分割线在平面上矩形定义域的矩形分割线在y轴上轴上的坐标的坐标.矩阵矩阵X为为xoy平面上矩形定义域的矩形分平面上矩形定义域的矩形分割点的横坐标值矩阵，割点的横坐标值矩阵，X的每一行是向量的每一行是向量x，且，且X的行数等于的行数等

30、于y的维数；矩阵的维数；矩阵Y为为xoy平面上矩形平面上矩形定义域的矩形分割点的纵坐标值矩阵，定义域的矩形分割点的纵坐标值矩阵，Y的每一的每一列是向量列是向量y，且，且Y的列数等于的列数等于x的维数的维数.31/24第第2 2章章 数据描述性分析数据描述性分析例例2.1.6对对 作二维正态分布随机数的散点图作二维正态分布随机数的散点图3/2,22221( , )exp (2)(3)2 (2)(3)/2(1)21f x yxyxy解：随机生成服从二维正态分布的数据的命令解：随机生成服从二维正态分布的数据的命令mvnrnd，调用格式，调用格式 X=mvnrnd(mu,sigma,n)其中其中mu是

31、均值向量，是均值向量，sigma是协方差矩阵，是协方差矩阵，n是数据是数据个数，输出个数，输出X是和协方差矩阵同阶的随机数据矩阵是和协方差矩阵同阶的随机数据矩阵.clearmu = 2 3; %输入均值向量输入均值向量sa = 1 1.5; 1.5 3; %输入协方差矩阵输入协方差矩阵r = mvnrnd(mu,sa,100); %生成生成n=100的样本数据的样本数据scatter(r(:,1),r(:,2),*); %作样本数据平面散点图作样本数据平面散点图32/24第第2 2章章 数据描述性分析数据描述性分析%绘制密度曲面绘制密度曲面figure(2)v=sqrt(3)/2; %输入相关

32、系数输入相关系数x=-1:0.05:5; %横坐标的取值向量横坐标的取值向量y=-2:0.05:8; %纵坐标的取值向量纵坐标的取值向量X,Y=meshgrid(x,y); %生成网格点生成网格点T= (X-mu(1).2/sa(1,1)-2*v/sqrt(sa(1,1)* sa(2,2)*(X-mu(1).*(Y-mu(2)+(Y-mu(2).2/sa(2,2);%计算密度函数值计算密度函数值Z=1/(2*pi)/sqrt(det(sa)*exp(-1/2/(1-3/4)*T); mesh(X,Y,Z) %绘制曲面绘制曲面33/24第第2 2章章 数据描述性分析数据描述性分析-0.500.5

33、11.522.533.544.5-101234567 图图 1.6样本数据的散点图样本数据的散点图 图图 1.7样本数据的密度曲面图样本数据的密度曲面图 由图形由图形1.6.可以看出，散点图位于平面上的一个可以看出，散点图位于平面上的一个椭圆状区域内，不同的相关系数对应的椭圆状区域椭圆状区域内，不同的相关系数对应的椭圆状区域形状不同，相关系数越接近与形状不同，相关系数越接近与1，椭圆越扁长，可以，椭圆越扁长，可以利用这一图形特征初步说明数据是否来自正态总体利用这一图形特征初步说明数据是否来自正态总体.34/24第第2 2章章 数据描述性分析数据描述性分析设总体服从正态分布设总体服从正态分布N(

34、 , 2)，来自总体的样本为，来自总体的样本为x1,x2,xn，其次序统计量，其次序统计量 ，则平面，则平面上上n个个点点(1)(2)( )nxxx), 2 , 1)(),375. 0375. 0()(1nixnii3. QQ图图的散点图称为样本的散点图称为样本QQ图，其中图，其中 -1(.)为标准正态分为标准正态分布函数的反函数布函数的反函数. 可以证明，若样本确是来自正态总体可以证明，若样本确是来自正态总体, 则散点在则散点在直线附近，即直线附近，即QQ图大致呈现一条直线形状。当样本图大致呈现一条直线形状。当样本来自其它分布总体时，样本来自其它分布总体时，样本QQ图将是弯曲的图将是弯曲的.

35、这样，这样，利用利用QQ图可以直观地作正态性检验，即若图可以直观地作正态性检验，即若QQ图近似图近似一条直线时，则可认为样本数据来自正态总体一条直线时，则可认为样本数据来自正态总体.35/24第第2 2章章 数据描述性分析数据描述性分析在在MATLAB中，作正态分布中，作正态分布QQ图命令图命令normplot，调用格式：，调用格式： normplot(X)其中输入其中输入X为向量时，显示正态分布为向量时，显示正态分布QQ图；当图；当X为矩阵，则显示每一列的正态分布概率图形为矩阵，则显示每一列的正态分布概率图形.作威布尔分布的作威布尔分布的QQ图命令图命令weibplot，调用格式：，调用格式

36、： weibplot(X)其中，输入其中，输入X为向量时，显示威布尔为向量时，显示威布尔(Weibull) 分布分布QQ图；若图；若X为矩阵，则显示每一列的威布尔概率图形为矩阵，则显示每一列的威布尔概率图形.如果数据点基本散布在直线上，则表明数据服从该分如果数据点基本散布在直线上，则表明数据服从该分布，否则拒绝该分布布，否则拒绝该分布.36/24第第2 2章章 数据描述性分析数据描述性分析例例2.1.7 对于例对于例2.1.6模拟的样本数据模拟的样本数据r，分别作出两个，分别作出两个分量的分量的QQ图，从图，从QQ图检验各分量是否服从正态分布图检验各分量是否服从正态分布.解：解：subplot

37、(121),normplot(r(:,1), %分量分量x的的QQ图图 subplot(122),normplot(r(:,2), %分量分量y的的QQ图图 012340.0030.01 0.02 0.05 0.10 0.25 0.50 0.75 0.90 0.95 0.98 0.99 0.997DataProbabilityNormal Probability Plot02460.0030.01 0.02 0.05 0.10 0.25 0.50 0.75 0.90 0.95 0.98 0.99 0.997DataProbabilityNormal Probability Plot图图 1.8

38、 两个分量的正态分布两个分量的正态分布qq图图37/24第第2 2章章 数据描述性分析数据描述性分析 上一节中的数据直方图与上一节中的数据直方图与QQ图等能直观初略描图等能直观初略描述数据的分布，本节进一步研究如何判定数据是否服述数据的分布，本节进一步研究如何判定数据是否服从正态分布的问题。若不服从正态分布，那么又可能从正态分布的问题。若不服从正态分布，那么又可能服从怎样的分布服从怎样的分布.2.2 数据分布及检验数据分布及检验2.2.1 一元数据分布检验一元数据分布检验1.经验分布函数经验分布函数设设来自来自总体总体X的样本为的样本为x1,x2,xn，对于任意实数对于任意实数x,定定义函数义

39、函数 ., 1, 0)()()1()()1(nkknxxxxxnkxxxF若若若（2.2.1） 称为经验分布函数称为经验分布函数.38/24第第2 2章章 数据描述性分析数据描述性分析1933年，格里汶科年，格里汶科(Glivenko)证明了以下的结果证明了以下的结果: 对于任一实数对于任一实数x, 当当n时时Fn(x)以概率以概率1一致收敛一致收敛于分布函数于分布函数, 即即. 10| )()(|suplimxFxFPnxn这一结论表明：对于任一实数这一结论表明：对于任一实数x，当当n充分大时充分大时 F(x) Fn(x) (2.2.2)因此可用经验分布函数来近似代替因此可用经验分布函数来近

40、似代替F(x)，这一点也，这一点也是由样本推断总体的最基本理论依据之一是由样本推断总体的最基本理论依据之一.在在MATLAB中，作经验（累积）分布函数图形命令中，作经验（累积）分布函数图形命令cdfplot，调用格式：，调用格式：cdfplot(X) %作样本作样本X的经验分布函数图形的经验分布函数图形39/24第第2 2章章 数据描述性分析数据描述性分析h = cdfplot(X) %h表示曲线的环柄表示曲线的环柄h,stats = cdfplot(X) %stats表示样本最小、大值、均值、中值与标准差表示样本最小、大值、均值、中值与标准差例例2.2.1 生成服从标准正态分布的生成服从标准

41、正态分布的50个样本点，作出个样本点，作出样本的经验分布函数图，并与理论分布函数比较样本的经验分布函数图，并与理论分布函数比较.解：解：%生成服从标准正态分布的生成服从标准正态分布的50个样本点个样本点X=normrnd (0,1,50,1); h,stats=cdfplot(X); %作样本的经验分布函数图作样本的经验分布函数图hold on%作理论分布函数图作理论分布函数图 plot(-3:0.01:3, normcdf(-3:0.01:3,0,1), r)40/24第第2 2章章 数据描述性分析数据描述性分析输出结果：输出结果：h =3.0013stats = min: -1.8740

42、%样本最小值样本最小值 max: 1.6924 %最大值最大值 mean: 0.0565 %平均值平均值 median: 0.1032 %中间值中间值 std: 0.7559 %样本标准差样本标准差-3-2-1012300.10.20.30.40.50.60.70.80.91xF(x)Empirical CDF图图1.9 标准正态分及其标准正态分及其50个样本点的经验分布函数图个样本点的经验分布函数图41/24第第2 2章章 数据描述性分析数据描述性分析2.总体分布的总体分布的正态性检验正态性检验 进行参数估计和假设检验时，通常总是假定总进行参数估计和假设检验时，通常总是假定总体服从正态分布，

43、虽然在许多情况下这个假定是合体服从正态分布，虽然在许多情况下这个假定是合理的，但是当要以此为前提进行重要的参数估计或理的，但是当要以此为前提进行重要的参数估计或假设检验，或者人们对它有较大怀疑的时候，就确假设检验，或者人们对它有较大怀疑的时候，就确有必要对这个假设进行检验，进行总体正态性检验有必要对这个假设进行检验，进行总体正态性检验的方法有很多种，以下针对的方法有很多种，以下针对MATLAB统计工具箱中统计工具箱中提供的程序，简单介绍几种方法提供的程序，简单介绍几种方法.（1）Jarque-Bera检验检验Jarque-Bera检验简称检验简称JB检验，它是利用正态分布检验，它是利用正态分布

44、的偏度的偏度g1和峰度和峰度g2，构造一个包含，构造一个包含g1，g2且自由度且自由度为为2的卡方分布统计量的卡方分布统计量JB，即，即42/24第第2 2章章 数据描述性分析数据描述性分析)2()24161(222BJnJB （2.2.3） 3)(1,)(14131niiniiSxxnBSxxnJ其中， 对于显著性水平对于显著性水平 ，当，当JB统计量小于分布的分位统计量小于分布的分位数时接受数时接受H0，即认为总体服从正态分布；否则拒绝，即认为总体服从正态分布；否则拒绝H0，即认为总体不服从正态分布，即认为总体不服从正态分布.这个检验适用于大这个检验适用于大样本，当样本容量样本，当样本容量

45、n较小时需慎用较小时需慎用.在在MATLAB中，中，JB检验命令检验命令jbtest，调用格式，调用格式 H,P,JBSTAT,CV = jbtest(X,alpha)其中其中alpha是检验水平，通常取是检验水平，通常取0.05，0.01，缺省默，缺省默认为认为0.05，若，若h=0，则无法拒绝正态分布；若，则无法拒绝正态分布；若h=1，则拒绝正态分布则拒绝正态分布.43/24第第2 2章章 数据描述性分析数据描述性分析（2）Kolmogorov-Smirnov检验检验 Kolmogorov-Smirnov检验简称检验简称KS检验，它是检验，它是通过样本的经验分布函数与给定分布函数的比较，推

46、通过样本的经验分布函数与给定分布函数的比较，推断该样本是否来自给定分布函数的总体断该样本是否来自给定分布函数的总体.设给定分布设给定分布函数为函数为G(x)，构造统计量，构造统计量|)()(|maxxGxFDnnn（2.2.4） 即两个分布函数之差的最大值，对于假设即两个分布函数之差的最大值，对于假设H0：总体服从给定的分布总体服从给定的分布G(x)，及给定的，及给定的 ，根据，根据Dn的的极限分布确定统计量关于是否接受极限分布确定统计量关于是否接受H0的数量界限的数量界限. 因为这个检验需要给定因为这个检验需要给定G(x)，所以当用于正态性，所以当用于正态性检验时只能做标准正态检验，即检验时

47、只能做标准正态检验，即H0：总体服从标准：总体服从标准正态分布正态分布.44/24第第2 2章章 数据描述性分析数据描述性分析在在Matlab中，中，KS检验命令检验命令kstest，调用格式，调用格式h = kstest(x)h = kstest(x,cdf)h,p,ksstat,cv = kstest(x,cdf,alpha) 把向量把向量x中的值与标准正态分布进行比较并返回中的值与标准正态分布进行比较并返回假设检验结果假设检验结果h.如果如果h=0表示不能拒绝原假设，即不表示不能拒绝原假设，即不能拒绝服从正太分布能拒绝服从正太分布.假设的显著水平默认值是假设的显著水平默认值是0.05.c

48、df是一个两列矩阵，矩阵的第一列包含可能是一个两列矩阵，矩阵的第一列包含可能的的x值，第二列式假设累积分布函数值，第二列式假设累积分布函数G(x)的值，在可的值，在可能的情况下，能的情况下，cdf的第一列应包含的第一列应包含x中的值，如果第中的值，如果第一类没有，则用插值的方法近似一类没有，则用插值的方法近似.指定显著水平指定显著水平alpha,返回返回p值，值，K-S检验统计量检验统计量Ksstat；截断值；截断值cv.45/24第第2 2章章 数据描述性分析数据描述性分析（3）Lilliefors检验检验Lilliefors检验是改进检验是改进K-S检验并用于一般的正态性检验并用于一般的正

49、态性检验，原假设检验，原假设H0：总体服从正态分布：总体服从正态分布N( , 2)，其，其中中 , 2由样本均值和方差估计由样本均值和方差估计.该检验的该检验的MATLAB命令命令lillietest，调用格式，调用格式 H,P,LSTAT,CV = lillietest(X,alpha) 显著性水平显著性水平alpha在在0.01和和0.2之间，缺省时为之间，缺省时为0.05.输出输出P为接受假设的概率值，为接受假设的概率值， LSTAT为测试统为测试统计量的值，计量的值，CV为是否拒绝原假设的临界值为是否拒绝原假设的临界值.H为测试为测试结果，若结果，若H=0，则无法拒绝，则无法拒绝X是服

50、从正态分布的；若是服从正态分布的；若H=1，则可以否定，则可以否定X服从正态分布服从正态分布. 46/24第第2 2章章 数据描述性分析数据描述性分析2.2.2 多维数据的特征值与分布检验多维数据的特征值与分布检验1.多维数据的数字特征多维数据的数字特征 设总体为设总体为p维向量维向量G=(X1,X2,Xp)，从中抽取样本，从中抽取样本容量为容量为n的样本，第的样本，第i个样本观测值为个样本观测值为Xi=(xi1,xi2,xip)(i=1,2,n)记记npnnppxxxxxxxxxX212222111211(2.2.5)称称X为样本数据矩阵为样本数据矩阵. 为了方便起见，将为了方便起见，将X的