简单回归分析-沈晓丽-精品文档资料整理.ppt

第十章 简单回归分析线性相关分析 linear correlation analysis 回归回归（regression）和）和相关相关（correlation）分析分析 ：研究两个或多个变量间相互关系的统计方法。：研究两个或多个变量间相互关系的统计方法。简单线性回归分析 simple linear regression analysis：研究两个变量间的数量依存关系的统计方法。：研究两个变量间的数量依存关系的统计方法。：研究两个或多个变量之间关联性或关联程度的一研究两个或多个变量之间关联性或关联程度的一种统计分析方法。种统计分析方法。 1.是否有线性联系？是否有线性联系？ 2. 正向的还是负向的？正向的还是负向的？ 3. 联系的程度？联系的程度？矮个子的父代：矮个子的父代：64英寸英寸而它子代：而它子代：67英寸英寸1.父代的总均数父代的总均数=68英寸英寸 子代的总均数子代的总均数=69英寸英寸2.高个子的父代：高个子的父代：72英寸英寸 而它子代：而它子代：71英寸英寸调查了调查了1087对父子对父子：1.1 线性回归的概念线性回归的概念高个子父子高个子父子矮个子父子矮个子父子简单回归分析简单回归分析1.1 1.1 线性回归的概念线性回归的概念1.2 1.2 线性回归模型的适用线性回归模型的适用条件条件1.31.3 回归参数的估计回归参数的估计1.4 1.4 总体回归系数总体回归系数的统计推断的统计推断1.5 1.5 线性回归的应用线性回归的应用线性回归线性回归（linear regression ）又称）又称简单回归简单回归（simple regression ） ：讨论讨论两个变量间的数量依存关两个变量间的数量依存关系的统计方法，即研究一个变量如何随另一个变量变化系的统计方法，即研究一个变量如何随另一个变量变化的常用方法。的常用方法。因变量因变量dependent variable 反应变量反应变量 response variable：非独立的、受其它变量影响的变量，非独立的、受其它变量影响的变量，常用常用“Y”表表示。示。自变量自变量 independent variable或或预测因子预测因子 predictor 或或 解释变量解释变量explanatory variable ：能独立自由变化的变量能独立自由变化的变量，常用，常用“X”表示。表示。两个变量：两个变量：例例10-1：对：对14名名40-60岁健康妇女的基础代谢（岁健康妇女的基础代谢（Y）与体重（与体重（X）的相关系数）的相关系数r =0.964，现问基础代谢，现问基础代谢（Y）是如何依存体重（）是如何依存体重（X）变化而变化的？）变化而变化的？编号编号基础代谢基础代谢（kj/d） 体重体重（kg）编号编号基础代谢基础代谢（kj/d） 体重体重（kg）14175.650.7 83970.648.624435.053.7 93983.244.633460.237.1105050.158.644020.851.7115355.571.053987.447.8124560.659.764970.662.8134874.462.175359.767.3145029.261.5表表10-1 14名健康中年妇女的基础代谢与体重的测量值名健康中年妇女的基础代谢与体重的测量值图图10-1 14名健康中年妇女的基础代谢与体重的散点图名健康中年妇女的基础代谢与体重的散点图由散点图看基础代谢与体重可能是直线关系由散点图看基础代谢与体重可能是直线关系 Y X= +X上述直线方程称为上述直线方程称为线性回归模型线性回归模型 linear regression model 可以假定固定基础代谢的总体均数可以假定固定基础代谢的总体均数 Y X与体重与体重X 的关系可能是直线关系，即有：的关系可能是直线关系，即有：回归直线的截距参数（回归直线的截距参数（intercept），即），即X取取0时，时，根据方程估算出的根据方程估算出的Y的平均水平。的平均水平。回归直线的斜率参数（回归直线的斜率参数（slope），又称回归系数），又称回归系数（regression coefficient），即），即X每增加一个单位，每增加一个单位，Y平均改变平均改变个单位。个单位。 通常情况下，研究者只能获得一定数量的样本数通常情况下，研究者只能获得一定数量的样本数据，用样本数据建立的有关据，用样本数据建立的有关Y Y依从依从X X变化的线性表达变化的线性表达式称为回归方程（式称为回归方程（regression equation），记为：），记为：Ya bx 称称 为为Y 的预测值；其意义为固定的预测值；其意义为固定 x时，时，Y 的总体均数的总体均数 Y X 的估计值。的估计值。 a与与b分别为回归模型参数分别为回归模型参数和和的估计值。的估计值。 利用回归方程，只要给定一个利用回归方程，只要给定一个40-60岁的健康妇女的体重值，岁的健康妇女的体重值，就可估计出该体重个体的基础代谢值的平均值。就可估计出该体重个体的基础代谢值的平均值。 以样本数据，可算出以样本数据，可算出和和的估计值的估计值a 和和 b。后在。后在直角坐标系以直角坐标系以X为横坐标，为横坐标，Y 为纵坐标作图，图为纵坐标作图，图形是一条直线，斜率为形是一条直线，斜率为b，截距为，截距为a。Ya bx 线性回归关系的特点：线性回归关系的特点：u一个变量的取值不能由另一个变量唯一确定。一个变量的取值不能由另一个变量唯一确定。u当变量当变量 X 取某个值时，变量取某个值时，变量Y取值可能有几个。取值可能有几个。u各观测点分布在直线周围各观测点分布在直线周围 线性回归线性回归的分类：的分类：I 型回归型回归 ：因变量因变量（Y）是随机变化的，但自变量）是随机变化的，但自变量（X）可以不随机）可以不随机 ，当，当它是能够精确测量和严密控制它是能够精确测量和严密控制的量时，叫的量时，叫Y 关于关于X 的的I型型回归回归。II型回归型回归 ：因变量（因变量（Y）和自变量（）和自变量（X）都是随机）都是随机变化的，叫变化的，叫Y 关于关于X 的的II型回归型回归。表表12-1 不同不同IgG浓度下的沉淀环数据浓度下的沉淀环数据IgG浓度（浓度（IU/ml）X12345沉淀环直径（沉淀环直径（mm）Y4.05.56.27.78.5小结：小结：回归分析回归分析（Regression analysis）1. 从一组样本数据出发，确定变量之间的数学关从一组样本数据出发，确定变量之间的数学关系式；系式；2. 对这些关系式的可信程度进行各种统计检验，对这些关系式的可信程度进行各种统计检验，并从影响某一特定变量的诸多变量中找出具有并从影响某一特定变量的诸多变量中找出具有统计学意义的变量；统计学意义的变量；3. 利用所求的关系式，根据一个或几个变量的取利用所求的关系式，根据一个或几个变量的取值来预测或控制另一个特定变量的取值，并给值来预测或控制另一个特定变量的取值，并给出这种预测或控制的精确程度。出这种预测或控制的精确程度。1.2 线性回归模型的适用条件线性回归模型的适用条件l i n enormal正态性正态性equal variance等方差性等方差性因变量因变量Y 的总的总体平均值与体平均值与自变量自变量X呈线呈线性关系性关系在一定范围内任在一定范围内任意给定值，则意给定值，则对应的随机变量对应的随机变量服从正态分布服从正态分布在一定范围内，在一定范围内，不同不同X值所对应值所对应的随机变量的随机变量Y的的方差相同方差相同linear线性线性independent独立性独立性指任意两指任意两个观察值个观察值互相独立互相独立误差误差 与与残差残差|Y XYxY 称为随机误差（总体）称为随机误差（总体） 称为残差称为残差(residual)（样本）（样本） 根据上述，直线回归分析要求资料满足根据上述，直线回归分析要求资料满足固定固定X，则则Y 服从正态分布服从正态分布等价于等价于残差服从正态分布残差服从正态分布。YYYabx直线回归原理示意图：直线回归原理示意图：所以如果固定所以如果固定X，Y 服从正态分布，其服从正态分布，其散点图呈直线带状分布散点图呈直线带状分布回归分析的主要步骤回归分析的主要步骤绘制散点图绘制散点图回归参数的估计：求回归系数回归参数的估计：求回归系数和常数项和常数项回归系数回归系数和常数项和常数项的假设检验的假设检验列出回归方程，并进行假设检验列出回归方程，并进行假设检验回归方程的解释回归方程的解释（一）（一）绘制散点图：绘制散点图： 从散点图可见：基础代从散点图可见：基础代谢（谢（）和体重（）和体重（）有线性关系，可以考虑有线性关系，可以考虑做线性回归分析。做线性回归分析。图图11-1 14名健康中年妇女的基础代谢与体名健康中年妇女的基础代谢与体重的散点图重的散点图1.3 回归参数的估计回归参数的估计（二）（二）回归参数的估计：回归参数的估计：iiiYY让所有点的让所有点的 的平方和最小的平方和最小iiYYv用最小二乘法拟合直线，选择用最小二乘法拟合直线，选择a和和b使其残差（样本点到使其残差（样本点到直线的竖直距离直线的竖直距离)平方和达到最小。平方和达到最小。最小二乘法原则的文字描述：最小二乘法原则的文字描述：回归参数的估计方法：回归参数的估计方法：),.,2 , 1( ,)()(21niLLXXYYXXbxxxyiniii（）按照最小二乘法原则，可得到：按照最小二乘法原则，可得到：XbYa（）Yabx回归方程：回归方程：例例10-1：对：对14名名40-60岁健康妇女的基础代谢（岁健康妇女的基础代谢（Y）与体重（与体重（X）的相关系数）的相关系数r =0.964，现问基础代谢，现问基础代谢（Y）是如何依存体重（）是如何依存体重（X）变化而变化的？）变化而变化的？编号编号基础代谢基础代谢（kg/d） 体重体重（kg）编号编号基础代谢基础代谢（kg/d） 体重体重（kg）14175.650.7 83970.648.624435.053.7 93983.244.633460.237.1105050.158.644020.851.7115355.571.053987.447.8124560.659.764970.662.8134874.462.175359.767.3145029.261.5表表10-1 14名健康中年妇女的基础代谢与体重的测量值名健康中年妇女的基础代谢与体重的测量值解：解：回归方程的两个参数分别为回归方程的两个参数分别为42.61)()(21（）XXYYXXbiniii79.1061142 .7774229.61149 .23263（）XbYa得回归方程：得回归方程：XY12. 179.1106作回归直线图作回归直线图回归系数回归系数的意义：的意义：1.由总体回归方程可知由总体回归方程可知 Y X= + x，参数参数 的意义：若自变量的意义：若自变量X增加增加1个单位，反应变量个单位，反应变量Y的的 平均值便增加平均值便增加 个单位。个单位。 。2.由于由于 是是 Y X= +X 的估计表达式，的估计表达式，所以（样本）回归系数所以（样本）回归系数b 表示表示 X 增加一个单位，样本观增加一个单位，样本观察值察值Y 平均增加平均增加 b 个单位。个单位。Ya bx 假设检验假设检验回归模型的假设检验回归模型的假设检验（model test）：）：回归系数的假设检验：回归系数的假设检验：目的：检验求得的回归方程在总体中是目的：检验求得的回归方程在总体中是否成立；否成立；方法：单因素方差分析。方法：单因素方差分析。目的：目的：即检验总体回归体系数即检验总体回归体系数是否为是否为0（=0）；）；方法：方法：t 检验。检验。1.4 1.4 总体回归系数总体回归系数的统计推断：的统计推断：1 1） 回归模型的假设检验回归模型的假设检验方差分析方差分析 YYYYYYSS总总SS残残SS回回lyyblxy=lxy2/lxxlyy-lxy2/lxx变异的分解：变异的分解：变异的种类变异的种类 产生原因产生原因解释解释SS总总：Y的离均差平方和的离均差平方和 没有利用没有利用X的信息的信息时，时，Y 观察值的变异观察值的变异 反映因变量反映因变量Y的总变异的总变异SS回归回归： （回归平方和）（回归平方和） 当自变量当自变量X引入引入 模型后所引起的变模型后所引起的变异异反映在反映在Y的总变异中，的总变异中，可可用用Y与与X的线性关系解释的的线性关系解释的那部分变异那部分变异。SS回归回归越大，越大，说明回归效果越好。说明回归效果越好。SS残差残差： （残差平方和）（残差平方和） 总变异中无法用总变异中无法用X和和Y的回归关系解释的回归关系解释的那部分变异的那部分变异反应自变量反应自变量X以外因素对以外因素对Y的变异的影响的变异的影响。表示考虑。表示考虑回归之后，回归之后，Y的随机误差。的随机误差。回归方程假设检验的基本思想：回归方程假设检验的基本思想：如果总体中自变量如果总体中自变量X对因变量对因变量Y没有贡献，则由没有贡献，则由样本所得的回归均方与残差均方应相近；样本所得的回归均方与残差均方应相近；反之，如果总体中自变量反之，如果总体中自变量X对因变量对因变量Y有贡献，有贡献，回归平方和反应的就不仅仅是随机误差，即回回归平方和反应的就不仅仅是随机误差，即回归均方必然要远大于残差均方；归均方必然要远大于残差均方；依此，可计算检验统计量依此，可计算检验统计量F值作出判断。值作出判断。问：所求得的回归方程在总体中是否成立？问：所求得的回归方程在总体中是否成立？查查F界值表界值表（P572），确定单侧临界值），确定单侧临界值F v回归回归, , v残差残差 ，求概率值求概率值 P，下结论，下结论均方：均方：MS=SS/v回归均方：回归均方：MS回归回归=SS回归回归/v回归回归残差均方：残差均方： MS残差残差=SS残差残差/v残差残差2nSSSSSSSSMSMSF残差回归残差残差回归回归残差回归检验统计量：检验统计量：1. 建立假设，确定检验水准建立假设，确定检验水准 H0 ：总体回归方程不成立，总体回归方程不成立， 即总体中自变量即总体中自变量X对因变量对因变量Y没有贡献；没有贡献； H1 ：总体回归方程成立，总体回归方程成立， 即总体中自变量即总体中自变量X对因变量对因变量Y有贡献。有贡献。 =0.05 （单侧）（单侧） 查查F 界值表（界值表（P468）：）：a =0.05，v回归回归=1、 v残差残差=n-2=12得：得：F(k-1, n-k)= F(1，12) =4.753. 确定确定P值，作出推断结论：值，作出推断结论： 由于由于F=158.364.75，则，则P0.05，故拒绝，故拒绝H0，接受，接受H1，可认为体重与基础代谢之间有线性回归关系。可认为体重与基础代谢之间有线性回归关系。2. 计算检验统计量计算检验统计量F值：值：2 2）回归系数的假设检验）回归系数的假设检验 t t 检验检验 =0，说明，说明Y与与X之间并不存在线性关系之间并不存在线性关系 0，说明，说明Y与与X之间存在线性关系之间存在线性关系由总体回归方程由总体回归方程 Y X= + x 当当 =0=0时，时， Y X= 即：对于即：对于X X 的任何值，总体均数的任何值，总体均数 Y X 没有任何改变，没有任何改变，故建立故建立Y Y与与的直线回归方程就没有任何意义了的直线回归方程就没有任何意义了故故 是否为是否为0，涉及到所建立的回归方程是否有意义的问，涉及到所建立的回归方程是否有意义的问题。然而题。然而从从=0的总体抽得样本，计算出的回归系数的总体抽得样本，计算出的回归系数b很很可能不为零可能不为零，需要对，需要对 是否等于是否等于0进行假设检验进行假设检验t检验检验t 检验：检验：22,2XXnSSXXSSXYb残差bbSbt02 n检验过程：检验过程：注意：注意：1.在简单线性回归模型中，在简单线性回归模型中，对回归模型的方对回归模型的方差分析差分析等价于等价于对回归系数的对回归系数的t 检验检验，即有：，即有：2.对于服从双变量正态分布的同样一组资料，对于服从双变量正态分布的同样一组资料，同时作同时作相关分析和回归分析，则相关分析和回归分析，则相关系数的相关系数的 t检验与检验与回归系数的回归系数的t 检验检验等价，即有：等价，即有：Ft brtt 3 3）总体回归系数）总体回归系数的区间估计：的区间估计：已知已知b为回归系数的样本估计值，为回归系数的样本估计值，Sb为样本回为样本回归系数的标准误，归系数的标准误， 则总则总体回归系数体回归系数的双侧的双侧1-1-置信区间为：置信区间为：上例题中上例题中b=61.4229，Sb=4.8810，v=12,查查t 界值界值表得：表得：t0.05/2,12=2.179；则其总体回归系数；则其总体回归系数的双侧的双侧95置置信区间为：信区间为：b t/2,v Sb61.4229 2.179 4.881=(50.787,72.059)22,2XXnSSXXSSXYb残差4 4）回归方程的解释：）回归方程的解释： 体重对基础代谢的影响有多大？体重对基础代谢的影响有多大？决定系数：回归平方和与总平方和之比。决定系数：回归平方和与总平方和之比。u 0R21u反映了自变量反映了自变量X对回归效果的贡献，即对回归效果的贡献，即Y的总变异的总变异中回归关系所能解释的百分比（中回归关系所能解释的百分比（variance account formula,VAF）；）；u反映了回归模型的拟合效果，可作为反应拟合优反映了回归模型的拟合效果，可作为反应拟合优度（度（goodness of fit）的指标）的指标。2R1SSSSSSSS 回归残差总总上例题：上例题：SS总总=4645447.0121， SS回归回归=4318227.7159 R2= SS回归回归/ SS总总=0.964=96.4% 解释：解释： 说明基础代谢总变异的说明基础代谢总变异的96.4%与体重有关。与体重有关。1.5 1.5 回归方程的统计应用：回归方程的统计应用：u定量描述两变量之间的依存关系。定量描述两变量之间的依存关系。u利用回归方程进行统计预测。利用回归方程进行统计预测。u利用回归方程进行统计控制。利用回归方程进行统计控制。1) 统计预测统计预测：将：将X值作预报因子，固定总体中值作预报因子，固定总体中X为为某定值某定值Xi时，时， 估计个体估计个体Y值的容许区间，即值的容许区间，即Y值的值的波动范围。波动范围。YnStY2, 2/2211XXXXnSSiY，XY例例：第一观测点数据（：第一观测点数据（X1=50.7）为例，预测第）为例，预测第一数据点一数据点Y值的值的95%预测区间预测区间答答：XY42.6179.1106已知回归方程已知回归方程故基础代谢的故基础代谢的95%容许区间容许区间为为:737.459683.38445771.11445143.557 .5014119991.49179. 2784.422022211XXXXnSSiY，Y 均数置信区间均数置信区间：当：当X值为某定值，并给定置信度值为某定值，并给定置信度1- ，考察，考察Y的总体均数的分布时，可估计的总体均数的分布时，可估计Y的总的总体均数体均数 Y X的的1-置信区间。置信区间。YnStY2, 2/221XXXXnSSiY，XY答答：已知回归方程已知回归方程XY42.6179.1106故基础代谢的故基础代谢的95%容许区间容许区间为为:73.432984.41115771.11445143.557 .501419991.49179. 2784.42202221XXXXnSSiY，XY例例：第一观测点数据（：第一观测点数据（X1=50.7）为例，预测）为例，预测Y的总体均数值的的总体均数值的95%预测区间。预测区间。2) 统计控制统计控制：例例： 在硝酸钠的溶解试验中，测得在不同温度在硝酸钠的溶解试验中，测得在不同温度X下，下，溶解于溶解于100份水中的硝酸钠份数份水中的硝酸钠份数Y的数据见表。若的数据见表。若要求溶解于要求溶解于100份水中的硝酸钠份数在份水中的硝酸钠份数在80份以上，份以上，温度应如何控制？温度应如何控制？由原始数据得方程由原始数据得方程对应于个体对应于个体Y值的值的95%预测区间单侧下限值为：预测区间单侧下限值为：X=16.56,体重为体重为16.56度以下，度以下，溶解于溶解于100份水中的硝酸钠份数在份水中的硝酸钠份数在80份以上份以上895. 1,871. 0508.677,05. 0tXY,05.0,05.0下限871.0508.67tXStYYPXYPP简单线性回归分析的注意事项：简单线性回归分析的注意事项： 1. 要注意实际意义；要注意实际意义；2. 绘制散点图观察两变量的关系以及绘制散点图观察两变量的关系以及找出异常点；找出异常点；3. 注意自变量和因变量的变化范围。注意自变量和因变量的变化范围。小小 结结简单线性回归是指只包含一个自变量，且呈线性变化简单线性回归是指只包含一个自变量，且呈线性变化趋势的回归模型，用于描述因变量的总体均数与自变趋势的回归模型，用于描述因变量的总体均数与自变量之间的线性关系，即两变量间的依存变化关系。量之间的线性关系，即两变量间的依存变化关系。简单线性回归的基本步骤：简单线性回归的基本步骤： 绘制散点图，绘制散点图， 在最小二乘法原则下建立线性回归方程，即估计回归在最小二乘法原则下建立线性回归方程，即估计回归系数与截距；系数与截距； 对回归方程或回归系数进行假设检验；对回归方程或回归系数进行假设检验； 列出回归方程，绘制回归直线；列出回归方程，绘制回归直线； 统计解释及应用统计解释及应用。线性回归模型的适用条件为：线性、独立、正态和等方线性回归模型的适用条件为：线性、独立、正态和等方差，简称差，简称LINE。决定系数反映了回归平方和在总平方和中所占的比例，决定系数反映了回归平方和在总平方和中所占的比例，常用来反映回归的实际效果。常用来反映回归的实际效果。线性回归常用于统计预测和统计控制。线性回归常用于统计预测和统计控制。当两变量变化趋势为非线性时，可考虑拟合非线性回归当两变量变化趋势为非线性时，可考虑拟合非线性回归议程，常用的曲线类型包括指数曲线，多项式曲线、双议程，常用的曲线类型包括指数曲线，多项式曲线、双典线和典线和logistic曲线等。曲线等。注意线性相关与线性回归的区别与联系。注意线性相关与线性回归的区别与联系。相关分析相关分析是用来描述两变量的相关关系，当两变是用来描述两变量的相关关系，当两变量满足双变量正态分布时，可以计算量满足双变量正态分布时，可以计算Pearson积差相积差相关系数，如果有任何一个变量不满足正态分布或为等关系数，如果有任何一个变量不满足正态分布或为等级资料，需计算级资料，需计算Spearman秩相关系数。秩相关系数。回归分析回归分析是用来刻画两变量的依存关系，它要求是用来刻画两变量的依存关系，它要求资料满足资料满足LINE（线性、独立、正态和等方差），二（线性、独立、正态和等方差），二者之间既有联系又有区别。者之间既有联系又有区别。 THANK YOU!