2023年多元线性回归方程的建立.pdf

《2023年多元线性回归方程的建立.pdf》由会员分享，可在线阅读，更多相关《2023年多元线性回归方程的建立.pdf（12页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、精品资料 欢迎下载 多元线性回归方程的建立 建立多元线性回归方程，实际上是对多元线性模型（2-2-4）进行估计，寻求估计式（2-2-3）的过程。与一元线性回归分析相同，其基本思想是根据最小二乘原理，求解 使全部观测值 与回归值 的残差平方和达到最小值。由于残差平方和 （2-2-5）是 的非负二次式，所以它的最小值一定存在。根据极值原理，当 Q取得极值时，应满足 由（2-2-5）式，即满足 （2-2-6）(2-2-6）式称为正规方程组。它可以化为以下形式 精品资料 欢迎下载 （2-2-7）如果用 A表示上述方程组的系数矩阵可以看出 A是对称矩阵。则有 （2-2-8）式中 X是多元线性回归模型中数

2、据的结构矩阵，是结构矩阵 X的转置矩阵。(2-2-7)式右端常数项也可用矩阵 D来表示 即 值由于残差平方和是的非负二次式所以它的最小值一定存在根据极值原多元线性回归模型中数据的结构矩阵是结构矩阵的转置矩阵式右端常数归系数为了计算方便往往并不先求再求而是通过解线性方程组来求是一精品资料 欢迎下载 因此(2-2-7)式可写成 Ab=D （2-2-10）或 （2-2-11）如果 A满秩（即 A的行列式 ）那么 A的逆矩阵 A-1存在，则由(2-10)式和(2-11)式得 的最小二乘估计为 （2-2-12）也就是多元线性回归方程的回归系数。为了计算方便往往并不先求 ，再求 b，而是通过解线性方程组(

3、2-2-7)来求 b。(2-2-7)是一个有 p+1 个未知量的线性方程组，它的第一个方程可化为 （2-2-13）式中 （2-2-14）将（2-2-13）式代入（2-2-7）式中的其余各方程，得 值由于残差平方和是的非负二次式所以它的最小值一定存在根据极值原多元线性回归模型中数据的结构矩阵是结构矩阵的转置矩阵式右端常数归系数为了计算方便往往并不先求再求而是通过解线性方程组来求是一精品资料 欢迎下载 （2-2-15）其中 （2-2-16）将方程组（2-2-15）式用矩阵表示，则有 Lb=F （2-2-17）其中 于是 b=L-1F （2-2-18）因此求解多元线性回归方程的系数可由（2-2-16

4、）式先求出 L，然后将其代回（2-2-17）式中求解。求 b 时，可用克莱姆法则求解，也可通过高斯变换求解。如果把 b 直接代入（2-2-18）式，由于要先求出 L的逆矩阵，因而相对复杂一些。例 2-2-1 表 2-2-1为某地区土壤内含植物可给态磷(y)与土壤内所含无机磷浓度(x1)、土壤内溶于 K2CO3溶液并受溴化物水解的有机磷浓度(x2)以及土壤内溶于K2CO3溶液但不溶于溴化物的有机磷(x3)的观察数据。求 y 对 x1,x2,x3的线性回归方程 。值由于残差平方和是的非负二次式所以它的最小值一定存在根据极值原多元线性回归模型中数据的结构矩阵是结构矩阵的转置矩阵式右端常数归系数为了计

5、算方便往往并不先求再求而是通过解线性方程组来求是一精品资料 欢迎下载 表 2-2-1 土壤含磷情况观察数据 计算如下：由(2-2-16)式 值由于残差平方和是的非负二次式所以它的最小值一定存在根据极值原多元线性回归模型中数据的结构矩阵是结构矩阵的转置矩阵式右端常数归系数为了计算方便往往并不先求再求而是通过解线性方程组来求是一精品资料 欢迎下载 代入(2-2-15)式得 （2-2-19）若用克莱姆法则解上述方程组，则其解为 （2-2-20）其中 值由于残差平方和是的非负二次式所以它的最小值一定存在根据极值原多元线性回归模型中数据的结构矩阵是结构矩阵的转置矩阵式右端常数归系数为了计算方便往往并不先

6、求再求而是通过解线性方程组来求是一精品资料 欢迎下载 计算得 b1=1.7848，b2=-0.0834，b3=0.1611 回归方程为 应用克莱姆法则求解线性方程组计算量偏大，下面介绍更实用的方法高斯消去法和消去变换。多项式回归 标签：c 2009-07-04 14:52 6443人阅读 评论(0)收藏 举报 在上一节所介绍的非线性回归分析，首先要求我们对回归方程的函数模型做出判断。虽然在一些特定的情况下我们可以比较容易地做到这一点,但是在许多实际问题上常常会令我们不知所措。根据高等数学知识我们知道，任何曲线可以近似地用多项式表示，所以在这种情况下我们可以用多项式进行逼近，即多项式回归分析。一

7、、多项式回归方法 假设变量 y 与 x 的关系为 p 次多项式，且在 xi处对 y 的随机误差 (i=1,2,n)服从正态分布 N(0,)，则 令 xi1=xi,xi2=xi2，xip=xip 值由于残差平方和是的非负二次式所以它的最小值一定存在根据极值原多元线性回归模型中数据的结构矩阵是结构矩阵的转置矩阵式右端常数归系数为了计算方便往往并不先求再求而是通过解线性方程组来求是一精品资料 欢迎下载 则上述非线性的多项式模型就转化为多元线性模型，即 这样我们就可以用前面介绍的多元线性回归分析的方法来解决上述问题了。其系数矩阵、结构矩阵、常数项矩阵分别为 (2-4-11)(2-4-12)(2-4-1

8、3)回归方程系数的最小二乘估计为 (2-4-14)需要说明的是，在多项式回归分析中，检验 bj是否显著，实质上就是判断 x 的 j 次项 xj对 y 是否有显著影响。对于多元多项式回归问题，也可以化为多元线性回归问题来解决。例如，对于 值由于残差平方和是的非负二次式所以它的最小值一定存在根据极值原多元线性回归模型中数据的结构矩阵是结构矩阵的转置矩阵式右端常数归系数为了计算方便往往并不先求再求而是通过解线性方程组来求是一精品资料 欢迎下载 (2-4-15)令 xi1=Zi1,xi2=Zi2,xi3=Zi12,xi4=Zi1Zi2,xi5=Zi22 则(2-4-15)式转化为 转化后就可以按照多元

9、线性回归分析的方法解决了。下面我们通过一个实例来进一步说明多项式回归分析方法。一、应用举例 例 2-4-2 某种合金中的主要成分为元素 A和 B，试验发现这两种元素之和与合金膨胀系数之间有一定的数量关系，试根据表 2-4-3给出的试验数据找出 y 与 x 之间的回归关系。表 2-4-3 例 2-4-2试验数据 首先画出散点图（图 2-4-3）。从散点图可以看出，y 与 x 的关系可以用一个二次多项式来描述：i=1,2,3,13 值由于残差平方和是的非负二次式所以它的最小值一定存在根据极值原多元线性回归模型中数据的结构矩阵是结构矩阵的转置矩阵式右端常数归系数为了计算方便往往并不先求再求而是通过解

10、线性方程组来求是一精品资料 欢迎下载 图 2-4-3 例 2-4-2的散点图 令 xi1=xi,xi2=xi2,则 现在我们就可以用本篇第二章介绍的方法求出 的最小二乘估计。由表 2-4-3给出的数据，求出 由（2-2-16）式 值由于残差平方和是的非负二次式所以它的最小值一定存在根据极值原多元线性回归模型中数据的结构矩阵是结构矩阵的转置矩阵式右端常数归系数为了计算方便往往并不先求再求而是通过解线性方程组来求是一精品资料 欢迎下载 由此可列出二元线性方程组 将这个方程组写成矩阵形式，并通过初等变换求 b1,b2和系数矩阵 L的逆矩阵 L-1:于是 b1=-13.3854 b2=0.16598

11、b0=2.3323+13.3854 40-0.16598 1603.5=271.599 因此 下面对回归方程作显著性检验：由（2-2-43）式 值由于残差平方和是的非负二次式所以它的最小值一定存在根据极值原多元线性回归模型中数据的结构矩阵是结构矩阵的转置矩阵式右端常数归系数为了计算方便往往并不先求再求而是通过解线性方程组来求是一精品资料 欢迎下载 S回=由（2-2-42）式 S总=S残=Lyy-S回=0.2572 将上述结果代入表 2-2-2中制成方差分析表如下：表 2-4-4 方差分析表 查 F检验表，F0。01（2，10）=7.56,FF0.01(2,10)，说明回归方程是高度显著的。下面对回归系数作显著性检验 由前面的计算结果可知：b1=-13.3854 b2=0.16598 c11=51.125 c22=7.9916 10-3 由（2-2-54）式 由（2-2-53）式 检验结果说明的 x 一次及二次项对 y 都有显著影响 值由于残差平方和是的非负二次式所以它的最小值一定存在根据极值原多元线性回归模型中数据的结构矩阵是结构矩阵的转置矩阵式右端常数归系数为了计算方便往往并不先求再求而是通过解线性方程组来求是一