2022年多元线性回归方程的建立 .pdf

《2022年多元线性回归方程的建立 .pdf》由会员分享，可在线阅读，更多相关《2022年多元线性回归方程的建立 .pdf（12页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、精品资料欢迎下载多元线性回归方程的建立建立多元线性回归方程， 实际上是对多元线性模型 （2-2-4 ）进行估计，寻求估计式（ 2-2-3 ）的过程。与一元线性回归分析相同，其基本思想是根据最小二乘原理，求解使全部观测值与回归值的残差平方和达到最小值。由于残差平方和（2-2-5 ）是的非负二次式，所以它的最小值一定存在。根据极值原理，当Q取得极值时，应满足由（ 2-2-5 ）式，即满足（2-2-6 ） (2-2-6）式称为 正规方程组 。它可以化为以下形式精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 1 页，共 12 页精品资料欢迎下载（2-2-7

2、）如果用 A表示上述方程组的系数矩阵可以看出A是对称矩阵。则有（2-2-8 ）式中 X是多元线性回归模型中数据的结构矩阵，是结构矩阵 X的转置矩阵。(2-2-7)式右端常数项也可用矩阵D来表示即精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 2 页，共 12 页精品资料欢迎下载因此 (2-2-7)式可写成Ab=D （2-2-10 ）或（2-2-11 ）如果 A满秩（即 A的行列式）那么 A的逆矩阵 A-1存在，则由(2-10) 式和 (2-11) 式得的最小二乘估计为（2-2-12 ）也就是多元线性回归方程的回归系数。为了计算方便往往并不先求，再求

3、 b，而是通过解线性方程组 (2-2-7)来求 b。(2-2-7)是一个有 p+1 个未知量的线性方程组，它的第一个方程可化为（2-2-13 ）式中（2-2-14 ）将（ 2-2-13 ）式代入（ 2-2-7 ）式中的其余各方程，得精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 3 页，共 12 页精品资料欢迎下载（2-2-15 ）其中（2-2-16 ）将方程组（ 2-2-15 ）式用矩阵表示，则有Lb=F （2-2-17 ）其中于是b=L-1F （2-2-18 ）因此求解多元线性回归方程的系数可由（2-2-16 ）式先求出 L，然后将其代回（ 2

4、-2-17 ）式中求解。求 b 时，可用克莱姆法则求解，也可通过高斯变换求解。如果把b 直接代入（ 2-2-18 ）式，由于要先求出L的逆矩阵，因而相对复杂一些。例 2-2-1 表 2-2-1 为某地区土壤内含植物可给态磷(y) 与土壤内所含无机磷浓度 (x1) 、 土壤内溶于 K2CO3溶液并受溴化物水解的有机磷浓度(x2) 以及土壤内溶于 K2CO3溶液但不溶于溴化物的有机磷(x3)的观察数据。求 y 对 x1,x2,x3的线性回归方程。精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 4 页，共 12 页精品资料欢迎下载表 2-2-1 土壤含磷

5、情况观察数据计算如下：由(2-2-16) 式精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 5 页，共 12 页精品资料欢迎下载代入(2-2-15) 式得（2-2-19 ）若用克莱姆法则解上述方程组，则其解为（2-2-20 ）其中精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 6 页，共 12 页精品资料欢迎下载计算得b1=1.7848，b2=-0.0834 ，b3=0.1611 回归方程为应用克莱姆法则求解线性方程组计算量偏大，下面介绍更实用的方法高斯消去法和消去变换。多项式回归标签： c2009-0

6、7-04 14:52 6443人阅读评论 (0) 收藏 举报在上一节所介绍的非线性回归分析，首先要求我们对回归方程的函数模型做出判断。 虽然在一些特定的情况下我们可以比较容易地做到这一点,但是在许多实际问题上常常会令我们不知所措。根据高等数学知识我们知道，任何曲线可以近似地用多项式表示，所以在这种情况下我们可以用多项式进行逼近，即多项式回归分析。一、多项式回归方法假设变量 y 与 x 的关系为 p 次多项式，且在xi处对 y 的随机误差(i=1,2,n) 服从正态分布 N(0,) ，则令xi1=xi, xi2=xi2， xip=xip精选学习资料 - - - - - - - - - 名师归纳总

7、结 - - - - - - -第 7 页，共 12 页精品资料欢迎下载则上述非线性的多项式模型就转化为多元线性模型，即这样我们就可以用前面介绍的多元线性回归分析的方法来解决上述问题了。其系数矩阵、结构矩阵、常数项矩阵分别为(2-4-11) (2-4-12) (2-4-13) 回归方程系数的最小二乘估计为(2-4-14) 需要说明的是， 在多项式回归分析中， 检验 bj是否显著， 实质上就是判断 x 的 j 次项 xj对 y 是否有显著影响。对于多元多项式回归问题， 也可以化为多元线性回归问题来解决。例如，对于精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - -

8、 -第 8 页，共 12 页精品资料欢迎下载(2-4-15) 令 xi1=Zi1, xi2=Zi2, xi3=Zi12, xi4=Zi1Zi2, xi5=Zi22则(2-4-15) 式转化为转化后就可以按照多元线性回归分析的方法解决了。下面我们通过一个实例来进一步说明多项式回归分析方法。一、应用举例例 2-4-2 某种合金中的主要成分为元素A和 B， 试验发现这两种元素之和与合金膨胀系数之间有一定的数量关系，试根据表2-4-3给出的试验数据找出y 与 x 之间的回归关系。表 2-4-3 例 2-4-2 试验数据首先画出散点图（图2-4-3 ）。从散点图可以看出，y 与 x 的关系可以用一个二次

9、多项式来描述：i=1,2,3 ,13 精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 9 页，共 12 页精品资料欢迎下载图 2-4-3 例 2-4-2 的散点图令xi1=xi,xi2=xi2, 则现在我们就可以用本篇第二章介绍的方法求出的最小二乘估计。由表2-4-3 给出的数据，求出由（2-2-16 ）式精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 10 页，共 12 页精品资料欢迎下载由此可列出二元线性方程组将这个方程组写成矩阵形式，并通过初等变换求b1,b2和系数矩阵 L 的逆矩阵 L-1:于是

10、b1=-13.3854 b2=0.16598 b0=2.3323+13.385440-0.165981603.5=271.599 因此下面对回归方程作显著性检验：由（2-2-43 ）式精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 11 页，共 12 页精品资料欢迎下载S回=由（2-2-42 ）式S总=S残=Lyy- S回=0.2572 将上述结果代入表2-2-2 中制成方差分析表如下：表 2-4-4 方差分析表查 F检验表， F0。01（2，10）=7.56, FF0.01(2 ,10)，说明回归方程是高度显著的。下面对回归系数作显著性检验由前面的计算结果可知： b1=-13.3854 b2=0.16598 c11=51.125 c22=7.991610-3由（2-2-54 ）式由（2-2-53 ）式检验结果说明的x 一次及二次项对y 都有显著影响精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 12 页，共 12 页