建模讲座相关与回归分析讲稿.ppt

《建模讲座相关与回归分析讲稿.ppt》由会员分享，可在线阅读，更多相关《建模讲座相关与回归分析讲稿.ppt（82页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、建模讲座相关与回归分析第一页，讲稿共八十二页哦第一节变量间的相关关系第一节变量间的相关关系一、变量相关的概念一、变量相关的概念第二页，讲稿共八十二页哦变量之间的关系变量之间的关系确定性关系确定性关系 函数关系，例如商品销售额函数关系，例如商品销售额与销售量与销售量非确定性关系非确定性关系 相关关系，例如商品需求相关关系，例如商品需求量与价格量与价格第三页，讲稿共八十二页哦变量之间变量之间相关相关关系的示意图关系的示意图相关关系线性相关非线性相关正相关负相关第四页，讲稿共八十二页哦二、相关系数及其计算二、相关系数及其计算变量之间线性相关关系的密切程度的度量两个变量之间线性相关程度的度量，也称简单

2、相关系数根据总体全部数据计算而得的相关系数，称总体相关系数，记为根据样本数据计算而的得相关系数，称为样本相关系数，记为 r第五页，讲稿共八十二页哦样本相关系数样本相关系数(1)其中(2)(3)x 和 y 的样本相关系数为第六页，讲稿共八十二页哦相关系数的取值范围及意义相关系数的取值范围及意义r 的取值范围为1，1 ，称完全相关，既存在线性函数关系r 1，称完全正相关r 1，称完全负相关r 0，称零相关，既不存在相关关系 r 0，称负相关 r 0，称正相关愈大，表示相关关系愈密切第七页，讲稿共八十二页哦 例1 在研究我国人均消费水平的问题中，把人均消费金额记为 y；把人均国民收入记为 x。我们收

3、集到19811993 年 13 年的样本数据 。数据见表1。年份人均国民收入人均消费金额年份人均国民收入人均消费金额1981393.8024919881068.86431982419.1426719891169.26991983460.8628919901250.77131984544.1132919911429.58031985668.2940619921725.99471986737.7345119932099.511481987 859.97513表 1我国人均国民收入与人均消费金额数据第八页，讲稿共八十二页哦解：根据样本数据得得人均消费金额 y 与人均国民收入 x 的样本相关系数为第九

4、页，讲稿共八十二页哦相关系数的显著性检验相关系数的显著性检验检验两个变量之间是否存在线性关系检验步骤在 成立条件下，则对规定的显著性水平 ，若则拒绝 ，接受 。否则接受 。第十页，讲稿共八十二页哦例例 1 的相关系数检验的相关系数检验根据和 ，查表得由于因此，拒绝 ，认为 x 和 y 的相关系数 ，即人均消费金额 y 与人均国民收入 x 之间的相关关系显著。第十一页，讲稿共八十二页哦第二节第二节一元线性回归一元线性回归一元线性回归模型回归参数的最小二乘估计回归方程的显著性检验 预测第十二页，讲稿共八十二页哦回归分析与相关分析的区别回归分析与相关分析的区别相关分析中 x 和 y 都处于相同地位，

5、而回归分析中，y 称因变量，x 称自变量。相关分析中 x 和 y 都是随机变量，而在回归分析中，因变量 y 是随机变量，自变量 x 则可以是随机变量，也可以是非随机变量。相关分析主要是描述变量之间的相关关系，而回归分析主要是确定变量之间的内在联系。第十三页，讲稿共八十二页哦回归模型的类型示意图回归模型的类型示意图回归模型一元回归多元回归线性回归非线性回归线性回归非线性回归第十四页，讲稿共八十二页哦一、一、一元线性回归模型一元线性回归模型称为一元线性回归模型一元线性回归模型只含有一个自变量 x误差项为随机变量描述因变量 y 与自变量 x 和误差项的关系 和 称为模型的参数(10.4)第十五页，讲

6、稿共八十二页哦一元线性回归模型的基本假定一元线性回归模型的基本假定x 为确定性变量 误差项满足.(10.5)区间估计和假设检验时，还进一步假定 服从正态分布 即当 时，而 则是 x 变动一个单位时，的相应变化量第十六页，讲稿共八十二页哦样本回归方程样本回归方程和 是未知参数，可以根据样本数据作估计和 的估计记为 和 ，则称为样本回归方程 是样本回归方程的斜率，表示 x 每变动一个单位时，的相应变化量。而 则是样本回归方程的截距。即x0 时，设已取得样本量为 n 的随机样本 ，则(10.6)(10.11)第十七页，讲稿共八十二页哦二、二、参数参数0，1 的最小二乘估计的最小二乘估计最小二乘法是使

7、因变量的观察值 与估计值 之间的离差平方和达到最小来求 和 的估计 和 的方法，即使达到最小，称 和 为 和 的最小二乘估计。(10.12)第十八页，讲稿共八十二页哦根据微积分中求极值的原理，和 应满足下列方程组得正规方程组解正规方程组得(10.16)(10.17)第十九页，讲稿共八十二页哦例例根据例 10.1 的数据，建立人均消费金额 y 对人均国民收入的回归方程。已求得按(10.17)式，得从而样本回归方程为因此当人均国民收入增长 1 元时，则人均消费金额增长约 0.5 元。第二十页，讲稿共八十二页哦三、回归方程的显著性检验三、回归方程的显著性检验、F 检验检验平方和分解用 SST 表示因

8、变量的总离差平方和，反映 y 全部数据的离散程度，即并可分解成如下形式(10.21)(10.20)第二十一页，讲稿共八十二页哦续续而根据(10.16)式于是(10.22)其中称为残差平方和，是由随机因素和其他未加控制的因素引起的，反映除 x 以外的其他因素对 y 的影响大小。而称为回归平方和，是由 x 和 y 的线性关系引起的 y 的取值变化，反映 x 对 y 的影响大小。第二十二页，讲稿共八十二页哦计算平均平方计算平均平方三个平方和的自由度 SST 的自由度为 n1 SSR 的自由度为 1 SSE 的自由度为 n2关于自由度存在如下的关系式n1=(n2)+1第二十三页，讲稿共八十二页哦则 S

9、SE 的平均平方为 SSE/(n2)且(10.23)而 SSR 的平均平方为 SSR/1 且回归方程的显著性检验是用回归的平均平方与残差的平均平方作比较，判断因变量与自变量是否存在线性关系。续续(10.24)第二十四页，讲稿共八十二页哦方差分析表方差分析表一元线性回归方程的假设检验是当 为真时，则(10.26)前面的这些计算可以列成表格的形式，称为方差分析表。第二十五页，讲稿共八十二页哦方差来源平方和自由度均方F 统计量显著性水平回归SSR1SSR残差SSEn2SSE/(n-2)总和SSTn1方差分析表表表102第二十六页，讲稿共八十二页哦一元线性回归方程的显著性检验步骤一元线性回归方程的显著

10、性检验步骤 提出原假设计算检验统计量对规定的显著性水平，若则拒绝 ，认为，称回归方程显著。否则，接受 ，认为，称回归方程不显著。第二十七页，讲稿共八十二页哦例例对于例 10.1 的方差分析已知由于得SSR0.526381798122.644946495.8从而SSESSTSSR2453.3方差分析表见表 103第二十八页，讲稿共八十二页哦方差来源平方和自由度均方F 值回归946495.81946495.84244.4F0.05(1,11)=4.84残差2453.311223.0总和948949.112方差分析表表103从而拒绝 ，即回归方程显著。第二十九页，讲稿共八十二页哦、样本决定系数、样本

11、决定系数表示回归平方和占总离差平方和的比例(10.27)反映样本回归方程的拟合优度取值范围为 0，1 r2 愈大，说明回归方程拟合得愈好样本决定系数为样本相关系数 r 的平方第三十页，讲稿共八十二页哦例例例 10.1 的样本决定系数即回归平方和占总离差平方和的 99.74%第三十一页，讲稿共八十二页哦相关系数与回归系数之间的数量关系相关系数与回归系数之间的数量关系(10.28)这就是说 与 的正负号必定相同第三十二页，讲稿共八十二页哦四、四、预测及应用预测及应用根据自变量 x 的取值预测 y 的取值预测可分两种类型 点预测 区间预测第三十三页，讲稿共八十二页哦、点预测、点预测对于自变量 x 的

12、一个取值，根据样本回归方程用作为 的估计，称为点预测对于例 10.1，设，则(10.29)第三十四页，讲稿共八十二页哦、区间预测、区间预测对于自变量 x 的一个取值，根据样本回归方程给出 的一个估计区间，称为区间预测。在置信度时的预测区间为(10.30)对于例 10.1，根据方差分析表得其中第三十五页，讲稿共八十二页哦影响影响的因素的因素随的增大而增大随 n 的增大而减少随 的增大而增大第三十六页，讲稿共八十二页哦近似区间预测近似区间预测 当 n 较大，且时，则从而，由于，得则 0.95 的近似预测区间为第三十七页，讲稿共八十二页哦，由于，得则 0.99 的近似预测区间为续第三十八页，讲稿共八

13、十二页哦例例对于例 10.1，试求人均国民收入为 2300 时，人均消费金额的 0.95 预测区间。解：已知所以人均消费金额的 0.95 预测区间为（1223.51，1306.27）查表得从而第三十九页，讲稿共八十二页哦第三节第三节多元线性回归一、多元线性回归模型、多元线性回归模型的一般形式称为多元线性回归模型多元线性回归模型包含一个因变量与两个或两个以上自变量误差项为随机变量描述因变量 y 与自变量和误差项 的关系 为模型的参数，称偏回归系数(10.31)第四十页，讲稿共八十二页哦续续设已取得样本量为 n 的随机样本。则多元线性回归模型可以表示为(10.33)第四十一页，讲稿共八十二页哦多元

14、线性回归模型的矩阵形式多元线性回归模型的矩阵形式(10.33)其中第四十二页，讲稿共八十二页哦、多元线性回归模型的基本假定、多元线性回归模型的基本假定自变量是确定性变量，且误差项满足误差项服从正态分布从而(10.35)即(10.36)(10.37)第四十三页，讲稿共八十二页哦、多元线性回归方程的直观解释、多元线性回归方程的直观解释(10.38)(10.39)表示 保持不变时，每变动一个单位时的相应变化量 表示 保持不变时，每变动一个单位时的相应变化量例：用 y 表示空调机的销售量，表示空调机的平均价格，表示消费者收入，则可建立二元线性回归模型。第四十四页，讲稿共八十二页哦二、回归参数的估计二、

15、回归参数的估计样本回归方程是未知参数，可以根据样本数据作估计的估计记为，则称为样本回归方程第四十五页，讲稿共八十二页哦参数的最小二乘估计参数的最小二乘估计使因变量的观察值 y 与估计值 之间的离差平方和达到最小来求，即使达到最小。称为的最小二乘估计第四十六页，讲稿共八十二页哦根据微积分中求极值的原理应是下列正规方程组的解整理得第四十七页，讲稿共八十二页哦正规方程组的矩阵形式为当 的逆矩阵 存在时，则有 就是 的最小二乘估计，并且(10.43)(10.44)第四十八页，讲稿共八十二页哦三、回归方程的显著性检验三、回归方程的显著性检验、拟合优度检验、拟合优度检验平方和分解由于从而(10.46)第四

16、十九页，讲稿共八十二页哦续续其中称回归平方和，是由自变量和 y 的线性关系引起的 y 的取值变化，反映对 y 的影响大小，而称残差平方和，是由随机因素和其他未加控制的因素引起的，反映了除以外的其他因素对 y 的影响大小。第五十页，讲稿共八十二页哦样本决定系数反映样本回归方程的拟合好坏程度，R 愈大，说明样本回归方程拟合得愈好。显然，。而称 y 关于的样本复相关系数，R 的大小可以反映作为一个整体的与 y 的线性相关的密切程度。拟合优度的检验可看成是回归方程的检验。(10.47)(10.48)第五十一页，讲稿共八十二页哦调整的样本决定系数调整的样本决定系数由于样本决定系数的分母 SST 对给定的

17、样本数据是不变的，而 SSR 与引进回归方程的自变量个数有关。因此，应对 R 作调整，调整的样本决定系数为第五十二页，讲稿共八十二页哦、F 检验检验计算平均平方三个平方和的自由度 SST 的自由度为 n1 SSR 的自由度为 p SSE 的自由度为 n p1关于自由度存在如下的关系式n1=p(np1)第五十三页，讲稿共八十二页哦方差分析表方差分析表多元线性回归方程的显著性检验是检验当 为真时，则(10.49)前面的这些计算结果可以列成表格的形式，称为方差分析表。(10.50)第五十四页，讲稿共八十二页哦方差来源平方和自由度均方F 值回归SSRpSSR/p残差SSEn-p-1SSE/(n-p-1

18、)总和SSTn-1方差分析表表105第五十五页，讲稿共八十二页哦多元线性回归方程的显著性检验步骤多元线性回归方程的显著性检验步骤提出原假设和备择假设对规定的显著性水平，若则拒绝 ，认为 y 对 存在线性关系，称回归方程显著。否则，认为 y 对 之间不存在线性关系，称回归方程不显著。计算检验统计量至少有一个不为0第五十六页，讲稿共八十二页哦四、回归系数的显著性检验四、回归系数的显著性检验当回归方程显著时，仅表示中至少有一个不为 0，即这时并不表示每一个自变量对因变量的影响都是显著的回归系数的显著性则是对每一个自变量都要检验，从而确定每一个自变量对因变量的影响是否显著采用 t 检验对于多元线性回归

19、，回归系数的显著性检验与回归方程的显著性检验是两种不同的检验方法第五十七页，讲稿共八十二页哦提出原假设和备择假设回归系数的显著性检验步骤计算检验统计量其中而 是对角线上第 j 个元素(10.53)第五十八页，讲稿共八十二页哦续续对规定的显著性水平，若则拒绝 ，称 对 y 的影响显著，即认为。否则接受 ，称 对 y 的影响不显著，即认为。第五十九页，讲稿共八十二页哦五、多元线性回归的预测五、多元线性回归的预测、点预测、点预测对自变量 的一组取值根据样本回归方程用作为 的估计，称为点预测(10.54)第六十页，讲稿共八十二页哦、区间预测、区间预测对于自变量的一组取值根据样本回归方程给出 的一个估计

20、区间，称为区间预测。在置信度时的预测区间为其中第六十一页，讲稿共八十二页哦近似区间预测近似区间预测当 n 较大时，且时，则从而，由于，得则 0.95 的近似预测区间为，由于，得则 0.99 的近似预测区间为第六十二页，讲稿共八十二页哦例例 10.2中国民航客运量的回归模型。为了研究我国民航客运量的变化趋势及其成因，我们以民航客运量作为因变量 y，以国民收入、消费额、铁路客运量、民航航线里程、来华旅游入境人数为影响民航客运量的主要因素。y 为民航客运量（万人），x1 为国民收入（亿元），x2 为消费额（亿元），x3 为铁路客运量（万人），x4 为民航航线里程（万公里），x5 为来华旅游入境人数（

21、万人）。根据1994年统计摘要获得19781993年统计数据，见表106。第六十三页，讲稿共八十二页哦表 106年份yx1x2x3x4x51978231301018888149114.89180.921979298335021958638916.00420.391980343368825319220419.53570.251981401394127999530021.82776.711982445425830549992223.27792.4319833914736335810604422.91947.701984554565239051135326.021285.22198574470204

22、87911211027.721783.3019869977859555210857932.432281.95198713109313638611242938.912690.231988144211738803812264537.383169.481989128313176900511380747.192450.14199016601438496639571250.682746.201991217816557109699508155.913335.651992288620223129859969383.663311.5019933383248821594910545896.084152.70我国

23、民航客运量的有关数据第六十四页，讲稿共八十二页哦求回归系数的估计值求回归系数的估计值得样本回归方程第六十五页，讲稿共八十二页哦样本决定系数样本决定系数而样本复相关系数第六十六页，讲稿共八十二页哦方差来源自由度平方和均方F 值回归5137911002758219527.6242残差1052276.25227.62总和1513843370表107民航客运量回归的方差分析表方差分析方差分析方差分析表明回归方程显著第六十七页，讲稿共八十二页哦回归系数的显著性检验回归系数的显著性检验查表得由于所以 x3 对 y 无显著影响，而其余各自变量均有显著影响第六十八页，讲稿共八十二页哦剔除剔除 x3，重新建立样

24、本回归方程重新建立样本回归方程求得，方差分析见表 108，并且回归系数的显著性检验表明，所有的自变量都有显著影响。第六十九页，讲稿共八十二页哦方差来源自由度平方和均方F 值回归4137887203447180693.832残差1154651.544968.32总和1513843370民航客运量回归的方差分析表表 109方差分析表明回归方程显著第七十页，讲稿共八十二页哦预测即预定，由样本回归方程得得 0.95 的近似预测区间为第七十一页，讲稿共八十二页哦第四节可化为线性回归的曲线回归第四节可化为线性回归的曲线回归当因变量 y 对自变量为非线性时，可通过变量代换转化为对自变量的线性形式，例如令得

25、y 关于的线性回归(10.57)(10.59)第七十二页，讲稿共八十二页哦一、指数函数一、指数函数两边取对数，得令引进误差项，则得一元线性回归模型(10.62)(10.63)第七十三页，讲稿共八十二页哦二、幂函数二、幂函数两边取对数，得令引进误差项，则得一元线性回归模型(10.64)(10.65)第七十四页，讲稿共八十二页哦三、双曲函数三、双曲函数令引进误差项，则得一元线性回归模型(10.66)(10.67)第七十五页，讲稿共八十二页哦四、对数函数四、对数函数令引进误差项，则得一元线性回归模型(10.68)(10.69)第七十六页，讲稿共八十二页哦五、五、S 形曲线形曲线令引进误差项，则得一元

26、线性回归模型(10.70)(10.71)第七十七页，讲稿共八十二页哦例例 10.3为了研究生产率与废品率之间的关系，记录数据见表109，试根据以下数据拟合适当的模型。生产率 x（单位周）1000 2000 3000 3500 400045005000废品率 y（）5.26.56.88.110.210.313.0表 109生产率与废品率的关系解：根据散点图，数据大致是线性增长趋势，但也有某种指数增长的趋势。因而采取线性和指数曲线分别拟合。第七十八页，讲稿共八十二页哦线性回归模型线性回归模型建立样本回归方程，根据样本数据求得于是从而样本回归方程第七十九页，讲稿共八十二页哦指数模型指数模型两边取对数得(10.73)根据样本数据求得令得一元线性回归模型第八十页，讲稿共八十二页哦得样本回归方程续续即从而第八十一页，讲稿共八十二页哦两种回归模型的比较两种回归模型的比较由于采用线性回归模型时而采用指数模型时从而认为采用线性回归模型更好第八十二页，讲稿共八十二页哦