《基于R的统计分析与数据挖掘》课件.ppt

《《基于R的统计分析与数据挖掘》课件.ppt》由会员分享，可在线阅读，更多相关《《基于R的统计分析与数据挖掘》课件.ppt（329页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第1章 关于R基于R的统计分析与数据挖掘为什么选择R和如何学习RR语言是一种面向统计分析的计算机高级语言，属于数据分析软件范畴根据由浅入深的数据分析需求，依据数据分析过程分阶段、分步骤地学习R，是一种快速有效掌握R的基本方法R入门必备R是一个关于包的集合包是关于函数、数据集、编译器等的集合编写R程序的过程就是通过创建R对象组织数据，通过调用系统函数，或者创建并调用自定义函数，以逐步完成数据分析任务的过程包是R的核心，可划分为基础包（Base）和共享包（Contrib）两大类R的下载可从R的网站www.r-project.org上免费下载并安装R软件启动R成功启动R之后显示的窗口R的书写是严格区

2、分英文大小写的；利用键盘上的的书写是严格区分英文大小写的；利用键盘上的上下箭头键，可重复显示以往或后续的书写内容上下箭头键，可重复显示以往或后续的书写内容当前已经加载了哪些包成功启动R意味着基础base包中的默认加载包已成功加载到R的工作空间，用户可以直接调用其中的函数窗口菜单：Mics List search path当前可以做的事情成功启动R意味着用户可在R工作空间中创建和管理R对象，调用已被加载包中的函数，实现对对象的管理和相关的数据分析等R对象是R程序处理的基本单元，用于待分析数据的组织，以及分析结果的组织等。每个R对象均有一个对象名作为唯一的标识。一般可直接通过对象名访问对象中的数据

3、或其他内容当前可以做的事情函数是实现某计算或分析的程序段，可视为一种特殊的对象。每个函数均有一个函数名。用户可通过两种形式调用函数：函数名()函数名(形式参数列表)如何获得的R帮助文档help.start()函数和包的拓展使用若要调用尚未加载的包中的函数，需按照“先加载，后浏览，再调用”的步骤实现先加载：首先，将未加载的包加载到R的工作空间，调用的函数为：library(“包名称”)后浏览：然后，浏览包中提供的函数，调用的函数为：library(help=”包名称”)再调用：最后，以无形式参数或带形式参数的方式调用相应函数R的运行方式命令行方式是指在R控制台的提示符后，输入一条命令并回车即可立

4、即得到运行结果。适合于较为简单步骤较少的数据处理和分析R的运行方式程序运行方式也称脚本运行方式，是指首先编写R程序，然后一次性提交运行该程序。适合于较为复杂步骤较多的数据处理和分析退出R当结束R工作退出R的时候，可调用函数：q()，或鼠标单击R主窗口右上角的窗口关闭按钮工作空间（workspace）是R的工作环境，或工作内存，其中临时保存了本次运行中生成的R对象和已输入的命令清单等退出R时，用户可指定将工作空间中的内容保存到当前工作目录下的环境文件中。环境文件名为.Rdata和.Rhistory第2章 R的数据组织基于R的统计分析与数据挖掘从存储角度划分R对象数据对象是R组织数据的基本方式。由

5、于不同类型的数据在计算机中所需的存储字节不同，所以可将R数据对象划分为数值型：123.5，1.235E2字符型：”ZhangSan”，”BeiJing”逻辑型：只有真（是）、假（否）两个取值从结构角度划分R对象数据对象是R组织数据的基本方式。由于数据分析实践中有不同的数据组织结构，所以R数据对象可划分为向量、矩阵、数组、数据框、列表等多种结构类型创建和访问R的数据对象创建对象是通过赋值语句实现的。基本书写格式为：对象名-R常量或R函数访问对象，即浏览对象的具体取值，也称对象值。基本书写格式为：对象名，或，print(对象名)查看对象的结构，即对象的存储类型以及与结构相关的信息。基本书写格式为：

6、str(对象名)创建和访问R的数据对象管理对象，即浏览当前工作空间中包含哪些对象，删除不再有用的对象等。基本书写格式为：ls()rm(对象名或对象名列表)，或，remove(对象名)向量的创建和访问示例：访问向量中的元素示例：矩阵的创建和访问示例：矩阵的创建和访问示例：访问矩阵中的元素示例：访问矩阵中的元素示例：访问矩阵中的元素以编辑窗口形式访问：数据框的创建和访问示例：访问数据框示例：数据对象的相互转换可利用as函数将数据对象的存储类型转换为指定的类型，基本书写格式为：as.存储类型名(数据对象名)向量转换为因子：因子是一种特殊形式的向量。由于一个向量可视为一个变量，如果该变量的计量类型为分

7、类型，则将对应的向量转换为因子，这样更利于后续的数据分析。基本书写格式为：as.factor(向量名)从文本文件读数据可利用scan函数将文本数据读入到向量中，基本书写格式为：scan(file=”文件名”,skip=行数,what=存储类型转换函数()可利用read.table函数将文本数据读入到数据框中，基本书写格式为：read.table(file=文件名,header=TRUE/FALSE,sep=数据分隔符)第3章 R 的数据管理基于R的统计分析与数据挖掘数据合并数据合并是指将存储在两个R数据框中的两份数据，以关键字为依据，以行为单位做列向合并。通常，这些数据是关于观测对象不同侧面的

8、描述信息，合并后将利用数据多角度的综合分析和研究实现数据合并的函数是merge函数，基本书写格式为：merge(数据框名1,数据框名2,by=关键字)数据合并示例：数据排序数据排序不仅便于数据浏览，更有助于快速找到数据中可能存在的错误数据、异常数据等。可按单个变量取值的升序或降序排序数据，称为单变量排序。也可依据多个变量进行多重排序。实现数据排序的函数是order函数，基本书写格式为：order(向量名列表,na.last=TRUE/FALSE/NA,decreasing=TRUE/FALSE)数据排序示例：缺失数据报告导致缺失数据的主要原因有两类：第一，数据无法或很难获得。如家庭储蓄总额等。

9、对此，R用符号NA（Not Available）表示，NA即为缺失值第二，由于各种原因数据取了明显不合理的值。如年龄是230岁等。对此，R用符合NaN（Not a Number）表示，NaN也是一种缺失值判断缺失值和完整观测判断变量是否取缺失值的函数是is函数，基本书写格式为：is.na(向量名)，is.nan(向量名)为逐个判断每个观测样本是否有取缺失值的变量（域），则需利用complete.cases函数，基本书写格式为：complete.cases(矩阵名或数据框名)判断缺失值和完整观测示例：生成缺失数据报告为进一步得到关于数据缺失状况的全面报告，可利用mice包提供的相关函数生成缺失数

10、据报告的函数是md.pattern，基本书写格式为：md.pattern(矩阵名或数据框名)示例：变量计算变量计算是在原有数据基础上派生出信息更加丰富的新变量。或者对原有变量进行变换处理以满足后续建模的需要变量计算可借助赋值语句，通过恰当的表达式实现：对象名-R的算术表达式或关系表达式变量计算函数R表达式中的函数种类很多，从计算目的上大致分为数学函数、统计函数、概率函数、字符串函数等示例：用户自定义函数尽管系统函数能够满足绝大部分的变量计算需求，但有时也可能无法完成较为繁琐的，需经多个步骤才能完成的，具有用户个性需求的计算任务。如果这个计算具有一定的功能完整性且应用场合较多，就有必要将其编写成

11、，或称定义成一个独立程序段，即函数。与系统函数不同的是，这些函数是用户自行编写的，因而称为用户自定义函数用户自定义函数的定义定义函数，即明确给出函数说明和函数体。定义的基本书写格式为：用户自定义函数名-function(参数列表)计算步骤1计算步骤2return(函数值)用户自定义函数的定义示例：变量值的重编码：分组分组是按一定方式将数值型变量的变量值分成若干个区间，每个区间即是一个分组。例如，可将学生各科成绩的平均分为A、B、C、D、E5个组，分别对应优、良、中、及格、不及格成绩。分组后的变量为分类型变量，一般在R中以因子方式组织变量值的重编码：分组示例：变量值的重编码：重定义类别值重定义类

12、别值是对分类型变量的类别值重新进行编码。例如，学生成绩数据中的性别，原本用1和 2依次指代男女，若希望修改为M和F，即为重新定义性别的类别值示例：数据筛选数据筛选，顾名思义是将现有数据，按照某种方式筛选出部分观测样本，以服务于后续的数据建模。数据筛选方式包括按条件筛选随机筛选数据筛选：按条件筛选实现条件筛选的函数为subset函数，基本书写格式为：subset(数据框名,关系表达式)示例：数据筛选：随机筛选随机筛选是对现有数据按照指定的随机方式筛选观测样本。可利用sample函数实现，基本书写格式为：sample(向量名,size=样本量,prob=c(各元素抽取概率表),replace=TR

13、UE/FALSE)示例：数据保存保持数据到文本文件的函数是write.table函数，基本书写格式为：write.table(数据对象名,file=文本文件名,sep=分隔符,quote=TRUE/FALSE,append=TRUE/FALSE,na=NA,row.names=TRUE/FALSE,col.names=TRUE/FALSE)数据管理中控制流程简单的数据管理任务均可通过顺序调用函数来实现。但较为复杂的数据管理还需更为灵活的流程控制手段。如果将顺序调用函数视为以一种顺序结构的流程控制，即R程序的执行过程完全取决于程序语句的先后顺序，那么，更为灵活的流程控制则包括：分支结构的流程控制

14、循环结构的流程控制分支结构的流程控制分支结构的流程控制是指R程序在某处的执行取决于某个条件。当条件满足时执行一段程序，当条件不满足时执行另外一段程序。因程序的执行在该点出现了“分支”，因而得名分支结构的流程控制分支结构的流程控制if结构：if-else结构：循环结构的流程控制循环结构的流程控制是指R程序在某处开始，根据条件判断结果决定是否反复执行某个程序段循环结构的流程控制for结构：示例：循环结构的流程控制while结构示例：循环结构的流程控制repeat结构:示例：利用流程控制还原汇总数据示例：第4章 R的基本数据分析：描述和相关基于R的统计分析与数据挖掘数值型单变量的描述数值型单变量描述

15、的目标是选用恰当的描述统计量，测度和刻画变量分布的集中水平、离中趋势、分布形态的对称性及陡峭程度。常用的描述统计量包括：反映集中水平特征的均值、众位数等；反映离中趋势特征的四分位差、方差、标准差等；反映分布形态对称性的偏态系数；反映分布形态陡峭程度的峰度系数计算基本描述统计量可利用summary函数，基本书写格式为：summary(数据对象名)示例：计算多个变量的某个描述统计量可利用sapply函数实现简化，基本书写格式为：sapply(数据框列号范围,FUN=函数名,na.rm=TRUE/FALSE)示例：分类型单变量的描述分类型单变量描述的目标是编制频数分布表。频数分布表一般包括频数和百分

16、比，用于展示单个分类型变量的分布特征编制频数分布表的函数是table函数，基本书写格式为：table(向量名)分类型单变量的描述示例：两数值型变量相关性的分析两个数值型变量的相关性，这里主要指线性相关性。一方面，可通过简单相关系数刻画样本所体现的相关性。相关系数大于零表示有正的线性相关性，小于零表示有负的线性相关性，等于零表示没有线性相关性。相关系数的绝对值越大，线性相关性越强；另一方面，可通过相关系数检验对样本来自总体的相关性进行检验计算简单相关系数简单相关系数：计算两数值型变量相关系数的R函数是cov，基本书写格式为：cor(矩阵或数据框列号,use=缺失值处理方式,method=pear

17、son)计算简单相关系数示例：简单相关系数的检验由于抽样的随机性以及样本量的影响，简单相关系数仅能体现样本所表现的相关性。样本来自的总体是否相关或无关，还需要进行相关系数检验简单相关系数检验的检验统计量：简单相关系数的检验相关系数检验的R函数是cor.test，基本书写格式为：cor.test(数值型向量1,数值型向量2,alternative=检验方向,method=pearson)示例：计算偏相关系数偏相关系数是在控制了其他数值型变量（这些变量称为控制变量）的条件下，计算两数值型变量间的相关系数，从而消除其他变量对相关系数值的影响偏相关系数计算的函数在corpcor 包中基本书写格式为：c

18、or2pcor(相关系数矩阵名)计算偏相关系数示例：两分类型变量相关性的分析两分类型变量相关性的分析主要包括两个方面：第一，相关性的描述第二，相关性的检验两分类型变量相关性的描述两分类型变量相关性描述的工具是编制列联表。列联表中一般包括两分类型变量类别值交叉分组下的观测频数，表各行列的频数合计（边际频数），各频数占所在行列合计的百分比（边际百分比）以及占总合计的百分比（总百分比）等编制列联表的函数基本书写格式为：table(矩阵或数据框的列号)xtabs(R公式,data=数据框名)两分类型变量相关性的描述示例：两分类型变量相关性的描述进一步计算：两分类型变量相关性的检验两分类型变量相关性的检

19、验是在列联表的基础上，利用列联表数据，分析表中两分类型变量的总体相关性。采用的方法是卡方检验卡方检验的原假设是：列联表中两分类型变量独立。常用的检验统计量为pearson卡方统计量，定义为：卡方检验的R函数和示例卡方检验的R函数是chisq.test，基本书写形式为：chisq.test(列联表对象,correct=TRUE/FALSE)示例：第5章 R的基本数据分析：可视化基于R的统计分析与数据挖掘R的基本数据分析：可视化数据特征可视化的基本工具是统计图形。一方面，图形是直观展示变量分布特征以及变量在不同样本组分布特征差异性的重要工具。另一方面，R的图形绘制功能强大，图形种类丰富，在数据可视

20、化方面优势突出R的绘图函数分布在基础base包和共享contrib包中。其中基础base包中的绘图函数一般用于绘制基本统计图形，而大量绘制各类复杂图形的函数，多包含在共享contrib包中绘图基础：图形设备和图形文件R的图形并不显示在R的控制台中，而是默认输出到一个专用的图形窗口中。这个图形窗口被称为R的图形设备。R允许多个图形窗口同时被打开，图形可分别显示在不同的图形窗口中，也即允许同时打开多个图形设备用以显示多组图形绘图基础：图形组成和图形参数R的图形是由多个部分组合的，主要包括：主体，坐标轴，坐标标题，图标题四个必备部分绘制图形时，一方面应提供用于绘图的数据，另一方面还需对图形各部分的特

21、征加以说明绘图基础：图形布局图形布局是指，对于多张有内在联系的图形，若希望将它们共同放置在一张图上时，应按怎样的布局组织它们具体讲，就是将整个图形设备划分成几行几列，按怎样的顺序摆放各个图形，各个图形上下左右的边界是多少等。设置图形布局的函数为par，基本书写形式为：par(mfrow=c(行数,列数),mar=c(n1,n2,n3,n4)par(nfcol=c(行数,列数),mar=c(n1,n2,n3,n4)数值型单变量分布的可视化为直观展示数值型单变量的分布特征以及在不同样本组上的分布差异性，常用的统计图形有：茎叶图箱线图直方图核密度图小提琴图克利夫兰点图时序折线图，等茎叶图绘制茎叶图的

22、函数是stem，基本书写格式为：stem(数值型向量名或域名)示例：箱线图绘制单个变量箱线图的函数是boxplot，基本书写格式为：boxplot(数值型向量名或域名,horizontal=TRUE/FALSE,axes=TRUE/FALSE,ylim=纵坐标范围)绘制变量在不同样本组的箱线图的函数仍为boxplot，基本书写格式为：boxplot(R公式,data=数据框名,horizontal=TRUE/FALSE,axes=TRUE/FALSE,ylim=纵坐标范围,names=分组标题)箱线图示例：直方图与核密度图直方图的函数为hist，基本书写格式为：hist(数值型向量名或域名,f

23、req=TRUE/FALSE)核密度估计函数为density，基本书写格式为：density(数值型向量名或域名)直方图与核密度图示例：小提琴图小提琴图是箱线图和核密度图的结合，因形状酷似小提琴而得名。绘制小提琴图的函数vioplot在violpot包中，首次应用时需要下载安装，并加装到R的工作空间中。vioplot函数的基本书写格式为：vioplot(数值型向量名或域名)或vioplot(数值型向量名或域名列表,names=横坐标轴标题向量)小提琴图示例：克利夫兰点图克利夫兰点图可用于直观展示数据中可能的异常点。克利夫兰点图的横坐标为变量值，纵坐标为各观测编号（观测编号越小纵坐标值越大）。绘

24、制克利夫兰点图的函数是dotchart，基本书写格式为：dotchar(数值型向量名或域名)克利夫兰点图示例：时序折线图如果数值型变量是一个时间序列数据，那么关于它的图形展示目的是刻画时间序列如何随时间的推移而变化。理想的图形工具是时序折线图。图中的横坐标为时间，纵坐标为变量值。plot函数可用于绘制折线图，基本书写格式为：plot(数值型向量或域名,type=线的类型名)时序折线图示例：分类型变量分布和相关性的可视化为直观展示分类型单变量的分布特征，变量在不同样本组上的分布差异，也即两分类型变量的相关性，常用的统计图形有柱形图或条形图饼图马赛克图，等简单柱形图简单柱形图是展示分类型变量分布特

25、征的最常见图形，其横坐标为类别值，纵坐标默认频数或频率简单绘制柱形图的函数是barplot，基本书写格式为：barplot(数值型向量名,horiz=TRUE/FALSE,names.arg=条形标签向量)简单柱形图示例：簇式柱形图为对比分类型变量的分布在不同样本组上的差异，需绘制簇式柱形图。仍利用barplot函数，基本书写格式为：barplot(数值型矩阵名,col=颜色向量,beside=TRUE/FALSE,horiz=TRUE/FALSE,legend=图例标签向量)簇式柱形图示例：饼图和扇形图饼图用于展示分类型变量各类别的分布比例状况，扇形图更利于比较绘制饼图的函数是pie，基本书

26、写格式为：pie(数值型向量名,labels=切片标签向量,clockwise=TRUT/FALSE)绘制扇形图的函数是fan.plot，包含在plotrix包中，基本书写格式为：fan.plot(数值型向量名,labels=切片标签向量)饼图和扇形图示例：马赛克图马赛克图用于展示两或三个分类型变量相关性。因图中格子的排列形似马赛克而得名绘制马赛克图的R函数是vcd包中的mosaic函数，基本书写格式为：mosaic(分类型域名1+分类型域名2+,data=数据框名,shade=TRUE/FALSE,legend=TRUE/FALSE)马赛克图示例：两数值型变量相关性的可视化散点图是展示两个或

27、多个数值型变量相关性特征的最常用工具，包括：简单散点图三维散点图汽包图矩阵散点图，等进一步，由于散点图对变量间相关性大小的展示略显粗略，所以还可以绘制以相关系数矩阵为绘图对象的相关系数图，以更精准展示数值型变量间线性相关性的强弱简单散点图简单散点图将观测数据点绘制在一个二维平面中，通过数据点分布的形状可粗略展示两数值型变量间的相关性特点利用plot绘制散点图时，函数的基本书写格式为：plot(x=数值型向量名1,y=数值型向量名2)或plot(域名2域名1,data=数据框名)在简单散点图上添加回归线第一步，求解回归线，有两种求解方法：一元线性回归法，函数基本书写格式为：lm(被解释变量名解释

28、变量名,data=数据框名)局部加权散点平滑法，函数基本书写格式为：loess(被解释变量名解释变量名,data=数据框名)在简单散点图上添加回归线第二步，将回归线添加到已有的散点图上。可采用abline函数，基本书写格式是：abline(数值型向量)，或，abline(h=纵坐标值)，或，abline(v=横坐标值)在简单散点图上添加回归线示例：高密度散点图的处理当观测样本量较大时，所绘制的散点图可能会出现数据点非常集中，有很多数据点重叠在一起的现象。这样的散点图称为高密度散点图。由于高密度散点图中的点大量重合叠加，不利于直观展示变量间的相关性特征，需对其做进一步的处理高密度散点图的处理主要

29、有以下两种方式：第一，增加数据“噪声”减少数据点的重叠增加噪声的函数是jitter，基本书写格式为：jitter(数值型向量,factor=n)第二，利用色差突出散点图中的数据密集区域可使用smoothScatter函数绘制散点图，基本书写格式为：smoothScatter(x=横坐标向量,y=纵坐标向量)高密度散点图的处理示例：三维散点图和气泡图三维散点图在展示两数值型变量相关性的同时，还希望体现第三个变量的取值状况绘制三维散点图的函数是scatterplot3d包中的scatterplot3d函数，基本书写格式为：scatterplot3d(向量名1,向量名2,向量名3)三维散点图和气泡图

30、汽包图即在绘制两个变量的散点图时，各个数据点的大小取决于第三个变量的取值。第三个变量取值不同，数据点的大小也就不同，形如大小不一的一组气泡绘制汽包图的函数是symbols，基本书写格式为：symbols(向量名1,向量名2 circle=向量名3,inches=计量单位,fg=绘图颜色,bg=填充色)三维散点图和气泡图示例：矩阵散点图矩阵散点图用于在一副图上同时展示多对数值型变量的相关性绘制矩阵散点图的函数是pairs，基本书写格式为：pairs(域名1+域名2+域名n,data=数据框名)若希望在散点图上添加回归曲线，应采用car包中的scatterplotMatrix函数。函数的基本书写格

31、式为：scatterplotMatrix(域名1+域名2+域名n,data=数据框名,lty.smooth=2,spread=FALSE)矩阵散点图示例：相关系数图相关系数矩阵虽然可以准确反映两两变量的线性相关性的强弱，但当这个矩阵较大时，分析起来就不很直观。为此，可基于相关系数矩阵绘制相关系数图相关系数图由下三角区域、上三角区域、对角区域三个部分组成。区域在这里称为面板，三个区域也分别称为下面板，上面板和对角面板。除对角面板外，上下面板以不同形式直观展示相应变量对的相关性强弱相关系数图绘制相关系数图的函数是corrgram包中的corrgram函数,基本书写格式为：corrgram(矩阵或数

32、据框列,lower.panel=面板样式,upper.panel=面板样式,text.panel=面板样式,diag.panel=面板样式)相关系数图示例：分组散点图若要展示两个数值型变量之间的相关性在不同样本组上的差异，需要绘制分组散点图，也称协同图。可采用coplot函数绘图，基本书写格式为：coplot(域名1域名2|分组域名,number=分组数,data=数据框名)分组散点图示例：第6章 R的两均值比较检验基于R的统计分析与数据挖掘R的两均值比较检验统计学有一系列方法检验两个样本上的均值差是否在统计上显著。主要包括：两独立样本的均值检验两配对样本的均值检验，等参数检验方法此外，还可以

33、利用非参数检验方法解决类似问题R的两均值比较检验假设检验的基本步骤是：提出原假设和备则假设构造检验统计量，在原假设成立条件下，服从某个已知的理论分布（抽样分布）依据样本数据计算在原假设成立条件下，检验统计量的观测值和概率-P值。检验统计量的观测值反映了样本数据与原假设之间的差距。概率-P值反映了在原假设成立条件下，检验统计量取当前观测值或更极端值的可能性R的两均值比较检验假设检验的基本步骤是：指定显著性水平，通常为0.05。显著性水平是原假设为真但却被拒绝的概率，也即弃真概率。以抽样分布为基础判断能否推翻原假设两独立样本的均值检验适用的数据：观测样本是来自两个总体的两个独立样本，即在两个总体中

34、分别独立抽样，所得的两个样本在抽样过程中互不影响检验目标是：检验两独立样本的样本均值差是否具有统计显著性不具统计显著性表明：两样本均值差是抽样误差所致，两独立样本来自的两个总体均值没有显著差异，也即两总体的均值差与零无显著差异；具有统计显著性表明：两样本均值差并非抽样误差所致，两总体的均值存在显著差异，也即两总体的均值差与零有显著差异两独立样本的均值检验检验的理论依据：两样本均值差的抽样分布模拟：两独立样本的均值检验原假设为：两总体均值之差为零，即两总体均值无显著差异依据样本均值差的抽样分布，检验统计量为：R函数为t.test，基本书写格式为：t.test(数值域名因子,data=数据框名,p

35、aired=FALSE,var.equal=TRUE/FALSE,mu=检验值,alternative=检验方向)示例：两独立样本均值检验的进一步研究两总体方差是否相等（齐性）：可采用通常的F检验，也可采用更为稳健且不依赖总体分布具体形式的levenes方差同质性检验levenes方差同质性检验的原假设是：两总体方差无显著差异两独立样本均值检验的进一步研究levenes方差同质性检验的主要思路是：对来自两个不同总体的两个样本分别计算样本均值计算各观测与本组样本均值差的绝对值，得到两个绝对离差样本利用单因素方差分析方法，依据F统计量的观测值和概率-P值判断两组绝对离差的均值是否存在显著差异，即：

36、判断两组的平均绝对离差是否存在显著差异。若无显著差异表明两总体方差齐性，反之两独立样本均值检验的进一步研究R实现levenes方差同质性检验的函数是car包中的leveneTest函数，基本书写格式为：leveneTest(数值型向量,因子,center=mean)两独立样本均值检验的进一步研究示例：两配对样本的均值检验适用的数据：观测样本是来自两个总体的两个配对样本，表现为两个样本的样本量相等，且两样本的观测具有一一对应关系，可视为观测样本“前后”或多“侧面”的数据检验目标：检验两配对样本的样本均值差是否具有统计显著性。不具统计显著性表明：样本均值差是抽样误差所致，两配对样本来自的两个总体均

37、值没有显著差异，也即两总体的均值差与零无显著差异；具有统计显著性表明：样本均值差并非抽样误差所致，两总体的分布参数（均值）存在显著差异，也即两总体的均值差与零有显著差异两配对样本的均值检验检验的理论依据：样本均值的抽样分布模拟：两配对样本的均值检验原假设为：两总体均值之差为零，差值样本来自的差值总体均值为零，也即两总体均值无显著差异依据样本均值的抽样分布，检验统计量为：R函数为t.test，基本书写格式为：t.test(数值型向量名1,数值向量名2,paired=TRUE，alternative=检验方向)两配对样本的均值检验示例：样本均值检验的功效分析在假设检验中，可能犯两种类型的错误：一类

38、为原假设为真但却错误地拒绝了，这类错称为弃真错，犯错的概率定义为显著性水平。由此可知，若原假设为真并且接受了，做出这一正确决策的概率为1另一类为原假设为假但却错误地接受了，这类错称为取伪错，犯类错的概率定义为。由此可知，若原假设为假并且拒绝了，做出这一正确决策的概率为1，且称1为统计功效样本均值检验的功效分析显著性水平、样本量、效应量、统计功效这四者之间存在必然联系，给其中的三个项值，一定可计算出剩余的一项值R采用Cohen提出的效应量定义两独立样本均值检验的效应量定义为：配对样本均值检验中的效应量定义为：样本均值检验的功效分析R实现功效分析的函数在pwr包中当两样本有相同的样本量时，功效分析

39、的R函数为pwr.t.test，基本书写格式为：pwr.t.test(d=效应量,n=样本量,sig.level=显著性水平,power=统计功效,type=检验类型,alternative=检验方向)当两样本的样本量不同时，功效分析的R函数为pwr.t2n.test，基本书写格式为：pwr.t2n.test(d=效应量,n1=样本量1,n2=样本量2,sig.level=显著性水平,power=统计功效,type=two.sample,alternative=检验类型)样本均值检验的功效分析示例：两总体分布差异的非参数检验两独立样本分布差异的非参数检验是利用两个独立样本，对样本来自的两个总体

40、的分布是否存在显著差异进行检验。应用最广的方法是：Wilcoxon秩和检验柯尔莫哥和斯米诺夫（Kolmogorov-Smirnov）检验Wilcoxon秩和检验Wilcoxon秩和检验，也称曼-惠特尼U(Mann-Whitney U)检验，用于两总体分布差异的显著性检验，评估两个独立样本是否来自相同分布的总体。其原假设是：两独立样本来自的两个总体分布无显著差异Wilcoxon秩和检验的R函数为wilcox.test，基本书写格式为：wilcox.test(数值型域名因子,data=数据框名)Wilcoxon秩和检验示例：柯尔莫哥和斯米诺夫柯尔莫哥和斯米诺夫检验，简称K-S检验，可通过两个独立样

41、本检验两个连续型随机变量总体分布的差异是否显著。其原假设是：两个独立样本来自的两总体的分布无显著差异。K-S检验的核心对象仍然是秩K-S检验的R函数为ks.test，基本书写格式为：ks.test(数值型向量1,数值型向量2)柯尔莫哥和斯米诺夫示例：两配对样本分布差异的非参数检验两配对样本分布差异的非参数检验是利用两个配对样本，对样本来自的两个总体的分布是否存在显著差异进行检验。应用最广的方法是Wilcoxon符号秩检验Wilcoxon符号秩检验Wilcoxon符号秩检验的原假设是：两配对样本来自的两总体的分布无显著差异两配对样本Wilcoxon符号秩检验的R函数为wilcox.test，基本

42、书写格式为：wilcox.test(数值型向量1,数值型向量2,paired=TRUE)Wilcoxon符号秩检验示例:两样本均值差的置换检验置换检验（Permutaion Test）是基于Fisher的“随机化原则”的一种统计检验方法。相对于传统的统计检验方法有明显的优点。它无需分布的前提假设，完全基于观测样本所包含的信息进行检验两样本均值差的置换检验需要解决的核心问题是：如何得到检验统计量在原假设成立条件下的概率分布的估计两样本均值差的置换检验两样本均值差的置换检验R函数是coin包中的oneway_test函数，基本书写格式为：oneway_test(数值型域名因子,data=数据框名,

43、distribution=分布形式)示例：两样本均值差的自举法检验自举检验是基于自举样本的首先，在两个总体中分别进行有放回的随机抽样，得到样本量分别为n1和n2的两个独立的自举样本X1和X2然后，计算两自举样本的均值差。上述过程重复M次，可得到M个样本均值差，记为Di两样本均值差的自举法检验自举检验是基于自举样本的最后，将M个Di按升序排序，找到位于2.5%和97.5%处的次序统计量取值（分位值），组成的区间即为置信度为95%的样本均值差的置信区间。如果零未落入该区间内，则应以5%的显著性水平拒绝原假设，认为两总体的均值存在显著差异，否则不能拒绝原假设。两样本均值差的自举法检验利用用户自定义函

44、数实现示例：两样本均值差的自举法检验调用boot函数实现自举法R函数是boot，基本书写格式为：boot(data=数据集,statistics=用户自定义函数名,R=自举重复次数M)示例：两样本均值差的自举法检验自举法的计算结果存放在一个指定的自举对象中，自举对象为列表。其中较为重要的两个成分名为t0和t还需调用boot.ci函数，获得指定置信度的置信区间，基本书写格式：boot.ci(自举对象名,conf=置信度,type=置信区间类型)第7章 R的方差分析基于R的统计分析与数据挖掘方差分析方差分析用于分析一个数值型变量和一个或多个分类型变量是否相关数值型变量称为观测变量，分类型变量称为控

45、制变量（或因素），分类型变量的类别值称为控制变量的水平方差分析的研究对象是来自控制变量不同水平下各观测变量总体的两组或多组独立的随机样本方差分析方差分析有两个重要的前提假设：第一，控制变量不同水平下观测变量的总体分布为正态分布第二，控制变量不同水平下观测变量的总体具有相同的方差基于这个假设，方差分析最终的研究即为分析控制变量不同水平下观测变量的总体均值是否存在显著差异，可用于多个独立样本的均值检验方差分析只有一个控制变量时的方差分析称为单因素方差分析有多个控制变量时的方差分析称为多因素方差分析单因素方差分析单因素方差分析用来研究一个控制变量的不同水平是否对观测变量产生了显著影响。这里，由于仅研

46、究单个因素对观测变量的影响，因此称为单因素方差分析单因素方差分析的原假设为：单因素方差分析单因素方差分析认为：观测变量值的变动受到控制变量和随机变量两方面的影响.可将观测变量总的离差平方和分解为组间离差平方和（Between Groups）与组内离差平方和两部分:SST=SSA+SSESST（Sum Square of Total）为观测变量的离差平方和；SSA（Sum Square of factor A）为组间差离差平方和，是控制变量的不同水平造成的变差；SSE（Sum Square of Error）为组内离差平方和，是抽样误差引起的变差单因素方差分析单因素方差的检验统计量是F统计量R函

47、数的基本书写格式为：aov(观测变量域名控制变量域名,data=数据框名)anova(方差分析结果对象名)示例：各总体均值的可视化直观展示控制变量不同水平下观测变量总体均值的取值状况，可绘制各总体均值变化的折线图以及各总体均值的置信区间图gplots包中plotmeans函数，的基本书写形式为：plotmeans(观测变量域名控制变量域名,data=数据框名,p=置信水平,use.t=TRUE,maxbar=上限最大值,minbar=下限最小值)各总体均值的可视化示例：检验单因素方差分析的前提假设单因素方差分析有两个前提假设：第一，控制变量不同水平下观测变量总体服从正态分布第二，控制变量不同水

48、平下观测变量总体方差齐性需对是否满足前提假设进行检验总体正态性检验可通过以下两种方式判断控制变量不同水平下观测变量总体是否服从正态分布第一，绘制Q-Q图R绘制关于正态分布的Q-Q图的函数为qqnorm，基本书写格式为：qqnorm(数值型向量名)进一步，若希望在Q-Q图上添加基准线，需调用qqline函数，基本书写格式为：qqline(数值型向量名,distribution=qnorm)总体正态性检验绘制Q-Q图示例：总体正态性检验可通过以下两种方式判断控制变量不同水平下观测变量总体是否服从正态分布第二，柯尔莫哥和斯米诺夫（Kolmogorov-Smirnov）检验简称K-S检验，可通过样本数

49、据推断样本来自的总体是否服从某一理论分布K-S检验是一种拟合优度的检验方法，也适用于探索单个连续型随机变量的分布（单样本K-S检验），属于非参数统计的范畴总体正态性检验单个样本来自的总体是否服从正态分布的K-S检验的R函数是ks.test，基本书写格式为：ks.test(数值型向量名,pnorm)示例：各总体方差齐性检验各总体方差齐性检验：仍采用两独立样本t检验中的levenes方差同质性检验方法，对各总体方差是否齐性进行检验示例：多重比较检验单因素方差分析的基本分析只能判断控制变量是否对观测变量产生了显著影响。如果控制变量确实对观测变量产生了显著影响，进一步还应确定：控制变量的不同水平对观测

50、变量的影响程度如何，其中哪个水平的作用明显区别于其他水平，哪个水平的作用不显著，等等。对此可通过多重比较检验多重比较检验的LSD检验LSD（Least Significant Difference）检验，称为最小显著性差异法检验，特点：水平间观测变量的均值存在较小程度的差异就可能被检验出来原假设为：第i个总体和第j个总体的均值无显著差异检验统计量为t统计量。第i个总体和第j个总体均值对比检验的t统计量定义为：LSD（Least Significant Difference）检验的R函数：aovaov函数仅给出了控制变量第二个水平及后续水平下的观测变量均值，与控制变量第一个水平下的观测变量均值的