多元线性回归的预测建模方法.doc

《多元线性回归的预测建模方法.doc》由会员分享，可在线阅读，更多相关《多元线性回归的预测建模方法.doc（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、2007 年 4 月 北 京 航 空 航 天 大 学 学 报 Apr il 2007 第 33 卷 第 4 期 Journa l o f Be ijing U nivers ity of A eronautics and A stronautics V o.l 33 N o 4 摘 多元线性回归的预测建模方法 王惠文 孟 洁 (北京航空航天大学 经济管理学院 , 北京 100083 ) 要 : 根据历史的样本数据 , 建立多元线性回归的预测模型 ; 从而在不需要未来样 本数据的情况下 , 预测未来时刻多元线性回归模型中的回归参数 , 以及主要的模型精度评估指 标 . 对多元线性回归模型参数的预

2、测 , 转化为对其变量集合的增广矩阵的叉积阵的预测 . 对叉 积阵进行谱分解 , 利用高 维群点主轴旋转的预测建模方法 , 通过 G ivens 变换得到特征向量矩 阵的转角值 , 对自由取值的转角以及特征值建立预测模型 . 仿真实验例示了该方法的主要计算 步骤 ; 计算结果显示 , 利用本模型得到的拟合值精度较高 , 预测值真实可信 . 最终计算结果和实 验结果吻合较好 , 表明这种方法可以用于分析和预测众多领域中因变量对自变量的回归关系 问题 . 关 键 词 : 回归分析 ; 建模 ; 预测 ; 评估 中图分类号 : O 212. 4 文献标识码 : A 文 章 编 号 : 1001 59

3、65( 2007) 04 0500 05 P red ic tive m ode ling on m u ltivar ia te W ang H u i en M eng Jie linea r reg ress ion ( School of Econom ics and M anagem en t Beijing U n iversity ofAeronau tics and Astronau tics, B eijing 100083, C h ina) Abstract Based on the h istorical data, pred ictive m ethod o f mu

4、 ltivariate linear reg ression m ode lw as dis cussed, where both future m u ltivariate reg ression param eters and the perfo rm ance eva luation statistics w ere es t i ated w ithout future data. P redict ion to the regression param etersw as converted to pred ict cross product m a trix of the vari

5、ab le augm ented m atrix. By app ly ing spectra l decom position, cross product m atrix w as decom posed of e igenvectors and e igenvalues. P redict ive m ethod o f orthonom a l m atrix based on rotat ions of principa l axes w as adopted to predict e igenvector m atr ix, where ro tated ang les from

6、G ivens transform ation w ere ob tained, and regular pred ictive m odels were bu ilt on bo th the ang les and eigenvalues, respectively. T he experi m ental si ulat ion illustrates m ain com putationa l procedures of the predictive m ode. Besides, the resu lts show a high precise o f the fitted va l

7、ues and a stat istical va lidity of the predict ive values. T he agreem ent o f the fina l com putation results w ith the experi ental data ind icates th ism ethod could be used to analyze and forecast re gression relat ionships of dependent variab le to independent variables in m any application fi

8、elds. Key wo rds: regression analysis; m ode l bu ild ings; prediction; eva luation 1 问题的提出 多元线性回归是多元统计分析中的一个重要 何建立多元线性回归的预测模型 , 并分析其估计 标准误差以及调整的复测定系数等评估指标的动 态变化规律 . 设因变量为 y, 自变量集合为 x1, x2, , xp, 方法 , 被广泛 应用于社会、经济、技术以及众多自 然科学领域的研究中 . 在本文中将要讨论的问题 是 , 如果有一系列按时间顺序收集的样本数据 , 如 收稿日期 : 2006 05 30 样本容量为 n.

9、记 n ( p + 1) 维的矩阵 X = ( 1, x 1, x 2, , xp ), 该矩阵的第一列中的元素均等于 1, 基金项目 : 作者简介 : 国家自然科学基金资助项目 ( 70531010; 70371007); 创新研究群体科学基金资助项目 ( 70521001) 王惠文 ( 1957 - ), 女 , 辽宁大连人 , 教授 , w anghw vip. s ina. com. 第 4 期 以及增广矩阵为 Z = 王 惠文等 : 多元线性回归的预测建模方法 (X, y ). 根据多元线性回归 i j 501 方法 , 回归系数以及各种模型评估参数的计算都 取决于增广矩阵 Z =

10、(X, y )的叉积阵 : y!X y !y 由此可见 , 建立多元线性回归预测模型的关键技 术是 , 如何对叉积阵进行预测建模 . 叉积阵 V 是 一个对 称矩 阵 . 根据 代数学 理 论 , 通过谱分解 , 总可以将其分解成特定的特征值 对角矩阵和特征向量矩阵 . 从几何的观点来看 , 如 I 0 0 0 0 0 cos 0 sin 0 t ij t ij 0 0 I 0 0 - 0 sin 0 cos 0 t ij t ij 0 0 0 0 I i j p p ( 2) 果将矩阵 Z = ( X, y ) 描述的数据看成是 ( p + 2) 其中 , 矩阵上侧和右侧的 i, j 分别表

11、示第 t i, j 行和 t 维空间中 n 个样本点的集 合 , 则它们形成一个超 椭球 . 并且其叉积阵 V 的特征向量矩阵依次指出 列 ; - 2 # ij # 2 ( 1# i j # p ), 并且所有的 ij 该椭球最长的主轴、次长的主轴 , , 最短的主 ( 1# i j# t p )自由取值 . 这样 , 对于一个 p 维正交 t 轴 . 而特征值则从大到小排序 , 表示该超椭球在每 矩阵 G 的预测就归结为对矩阵相应转角 ij ( 1# 一个主轴上的轴长 范围 . 由此 可见 , 对叉积阵 V i j# p )的预测 . 下面给出正交 矩阵预测建模的 的预测可以分解成两个部分

12、, 一是超椭球的主轴 会随着时间发生旋转运动 ; 同时 , 该椭球的各个轴 长也会随时间呈现拉伸或缩短的变化规律 . 关 主要步骤 . 1) 记 G t 1 = G t = ( u t 1 u t 2 up ) 于高维空间群点主轴旋转的预测建模技术已经有 1t def( v1 1t 1t v2 1t vp ) t 了一些适用的方法 . 王惠文和刘强 4 曾在分析多 其中 , v 1 = ( v11 , v12, , v1p ) !是矩阵 G 1 的第 1 列 . 元数据的主轴旋转规律的文章中 , 给出一种标准 根据文献 2 的推导 , 可以求出 t 1t 正交的特征向量矩阵的预测建模方法 .

13、而对于特 征值的预测 , 由于不存在特殊的约束 , 因此只需要 应用经典的预测模型分别预测即可 . t 1k = 1p arcsin = a rcsin v1p v1k cos 1p cos t 1, k+ 1 在本文中 , 将把多元线性回归与高维空间群 k = 2, 3, , p - t 1 ( 3) t 点主轴旋转预测建模方法有机的结合起来 , 最终 t 2) t 根 据 式 ( 2 ) , 由 1j 可 以 计 算 出 G 1j = 实现对多元线性回归的预测建模研究 . G 1j t ( 1j ) ( j= 2, t 3, , p ). 于是 , 记 t t 2t 2t 2t G 2 =

14、 (G 1p ) ! (G 12 ) !G 1 = ( v 1 v 2 vp ) 2 高维群点的主轴 旋转预测建模 其中 , v 2t 2 = ( v21 , v22, , v2p ) !是矩阵 G t 2 的第 2 列 . 高维群点主轴旋 转的预测方 法 4 是多 元线 可以求出 t 2p = a rcsin v2p 性回归预测建模的关键技术 .实际上 , 它又可以简 单地看成是对标准正交矩阵的预测方法 , 即根据 已知 1 T 时刻的标准正交矩阵 , 预测 T + l 时刻 t 2k = arcsin cos t 2p v2k cos t 2,k+ 1 的标准正 交矩阵 . k = 3,

15、4, , p - 1 ( 4) 设 t 时刻的标准正交矩阵为 G = ( u1 u2 up ) R 依次类推 , 最后定义 Gp- 1 = (Gp- 2, p ) !(G t p- 2, p-1 ) !G t p- 2 = R 表示 p p 维实空间 . 按照 G ivens 变换 , 它可 1 则最终有 ( v1 t v (p- 1 ) t 2 vp (p- 1) t ) 以通过以下 2 p ( p - 1)步转 动独立唯一 地分 p- 1, p = arcsin vp- 1, p ( 5) 解为 G = (G t 12 G t 13 G t 1p ) (G t 23 G t 24 G t

16、2p ) (G t p- 1, p ) t 3) 根 据 前 两 步 计 算 得 到 的 转 角 数 据 1 X ! X !y V = 1- 2 3 t1 t 1 t 1 t 1t t 2t 2t 2t 2t 2t t t t t p p t t p p ( p- 1) t ( p- 1) t t ( 1) ij , t= 1, 2, , T , 分别 建立 2 p ( p - 1) 个预测 其中 G t ij = G t ij ( t ij ) = 模型 , 例如 t ij = f ij ( t) + !ij 1 # i j # p ( 6) 并预测第 T + l 时刻的转角 t 502 i

17、j = f ij (T + l ) l = 北 京 航 空 航 天 大 学 学 报 1, 2, ( 7) t 2007 年 4) 根据 角度 的预测 值 , 并 利 用 式 ( 1 ) 和 式 ( 2) , 可以 求 得 第 T + l 时 刻 预 测 的正 交 矩 阵 G = ( u1 u2 up ). 3 多元线性回归的预测建模方法 为了讨论多元线性回归的预测建模方法 , 本 节首先简要介绍经典多元线性回归方法 . 设样本点容量为 n, t 时刻的因变量为 y , p 个 自变量为 xj ( j= 1, 2, , p ), 则总体线性回归模型 的形式为 yi = 0 + 1x i1 + +

18、 p xip + !i i = 1, 2, , n ( 8) y1 0 记 y = = yn n 1 p ( p+ 1) 1 1 x11 x12 x1p X = n ( p+ 1) 则增广矩阵 ( X , y ) 的叉积阵 V 为 21 22 回归系数 的最小二乘估计量为 = ( V11 ) V12 ( 10) 还可以证明 , t 时刻的 SSSE和 SSST值分别如式 ( 11) 和式 ( 12) 所示 . SSSE = V22 - V21 ( V11 ) V12 ( 11) n 其中 V12, 1是 V12的第一个分量 . 根据式 ( 11) 和式 ( 12) , t 时刻的拟合优度 (

19、调整的复测定系数 ) 为 SSST / ( n - 1) 同时 , 有 t 时刻的估计标准误差为 n - p - 1 根据前面介绍的关键技术 , 下面给出多元线 性回归的预测建模方法 . 1) 计算 t ( t = 1, 2, , T ) 时刻 增 广 矩 阵 ( X y )的叉积阵 V ; 2) 计算 V 的特征值 #1 #2 #p+ 2 0 和对应的标准正交特征向量 u1, u2, , up+ 2 ( t = 3) 根据 1 T 时刻叉积阵 V 的特征向量阵 , 采用正交矩阵预测方法 , 预测 T + l 时刻的特征向 量矩阵 ( u1 u2 up+ 2 ); 4) 根据 1 T 时刻叉积

20、阵 V 的特征值 , 应用 时序分析 方 法 , 分 别 预测 T + l 时 刻 的特 征 值 ( #1 , #2 , , #p + 2 ); 5) 根据上两步的计算结果 , 计算出 T + l 时刻 的叉积阵 V 为 V = ( u1 u2 up+2 ) % #1 0 0 0 % ( u1 u2 up+ 2 ) ! 0 0 #p+ 2 6) 根据式 ( 10), 可得到 T + l 时刻的回归参 数的估计量 ; 7) 根据式 ( 11) 式 ( 14) , 可计算 T + l 时刻 的 回 归 模 型 的 拟 合 优 度 RT+ l 和 估 计 标 准 误 差 Se . 4 仿真案例 在本

21、仿真案例中 , 取自变量维数为 3, 每个时 刻的样本数为 n = 30, 按照如下方式生成 t = 1 10 个时刻的历史数据表 : 首先 , 生成 - 1, 1 上均 匀分布的独立随机数 x1 x2 x3 30 3; 然后 , 根 据 x1 x2 x3 30 3生成 x 1 x2 x3 ( t= 1, , 10), 其中 x 1 = x1 + 0. 02t x 2 = x2 + 0. 01t x 3 = x3 + 0. 03t 最后 , 按照 y = - 1+ 0. 2t% x1 + 0. 1t% x2 - 0. 3t% x 3 + !t , 生成因变量 y . 其中 , !t N ( 0

22、, 0. 01)为随 机误差项 . 需要说明的是 , 由于本文所研究的是多 元回归的动态建模预测问题 , 因此 , 需要考虑变量 以及模型 (回归系数 ) 随时间 t 的变化特征 ; 为此 , 在构造自变量和因变量的仿真数据时 , 采用了上 述方式生成具有时序变化规律 ( 这里以线性趋势 为例 ) 的历史数据表 . 下面将采用 t= 1 10 时刻的仿真数据 , 按照 第 3 部分的方法进行多元回归预测建模 , 对历史 的自变量与因变量的回归关系进行拟合 , 并根据 拟合模型预测 t = 11 时刻的多元回归模型 , 评价 模型的拟合、预测精度 , 验证模型的拟合、预测结 果的合理可靠性 .

23、T+ l 1, 2, , T ); T + l T + l T+ l T + l t t t t t t t t t t t t y t t t t t t t t 1 x x x t t t 1 x x x t t t t t (X )!X (X ) !y V V V = = ( 9) t t t t ( y ) !X ( y ) !y tt t - 1 t 4 t t t t - 1 tt t t 2 S = V - ( V ) ( 12) t t t S /( n - p - 1) R = 1 - ( 13) t 1 t S = S ( 14) t t tt t t tt t t T +

24、 l T+ l T + l 第 4 期 王 惠文等 : 多元线性回归 的预测建模方法 503 2 具体建模步骤如下 : 断 ,对 t= 11 时刻 的回归模 型的评估 指标 R , Se t 1) 计算 t = 1 10 时刻样 本数据 的叉 积阵 t t t 的预测也是可信的 . V , 及其对应的特征值 ( #1 正交特征向量矩阵 ( u u t #2 u t #5 )和标准 ); 并采用正 7) 计算各时刻多元回归预测模型的回归系 数 . 表 4 为 t= 10 时刻回归系数的计算值和拟合 1 2 t t 5 t 值 , 以及 t= 11 时刻的预测值 . 交矩阵转角分解方法 , 得到

25、( u 应的转角 ij ( 1# i j# 5). 1 u 2 u5 )对 更直观的 , 给出 t = 1 11 时刻多元线性回归 2) 根据 t= 1 10 时刻 #j ( 1# i j# 5)的计 模型系数的时序图 , 如图 3 所示 . 其中 , 实心点表 算值 , 建立每个特征值的时序拟合模型 . 并根据这 些模型计算 t = 11 时刻的预测特征值 . 所得到特 征值 #j ( 1# i j# 5)的拟合 值和预测值如图 1 所 示 . 在图 1 中 , 实心点表示根据已知数据计算得到 的实际特征值 , 虚线表示采用预测模型得到的特 征值的拟合值 . 3) 根据 t= 1 10 时刻

26、转角 ij ( 1# i j# 5) 的计算值 , 分别建立每个转角的时序拟合模型 . 并 根据这些模型计算 t = 11 时刻的预测的转角值 . 所得到转角 ij ( 1# i j# 5)的拟合值和预测值如 图 2 所示 . 在图 2 中 , 实心点表示根据已知数据计 算得到的实际特征值 , 虚线表示采用预测模型得 到的特征值的拟合值 . 4) 根据转角拟合模型 , 计算叉积阵的特征向 量矩阵 ( u1 u2 u5 )的拟合值 . 表 1 列出了 t = 10 时刻叉积阵的特征值和特征向量的计算值、 拟合值 , 以及 t= 11 时刻的预测值 . 5) 根据特征值和特征向量的拟合值 , 可以

27、计 算各时刻的叉积阵 V 的拟合值 . 表 2 为 t = 10 时 刻叉积阵的计算值和拟合值 , 以及 t = 11 时刻的 预测值 . 6) 计算各时刻的调整的复测定系数和估计 标准误差 , 见表 3. 从表 3 可以看出 , t = 1 10 时 刻 , 回归模型的拟 合精度较高 , 调整的复测定系数 ( R )始终高于 0. 8, 且随时间呈明显上升趋势 ; 而 估计标准误差 Se 在 0. 1 附近波动 . 预测 t= 11 时 刻模型的调整的复测定系数 为 0. 999, 回归标准 误为 0. 023. 从表 3 可以看出 , 动态多元线性回归模型的 整体拟合效果较好 , 拟合优度

28、较高 , 采用预测方法 得到的 R 和 Se 与实际值十分接近 . 因此可以判 示实际计算值 , 虚线为拟合值 , 空心点为预测值 . 图 1 t= 1 11 时刻 #j ( 1# j# 5)的 时序拟合预测图 图 2 t= 1 11 时刻 ij ( 1# i j# 5) 的 时序拟合预测图 图 3 t= 1 11 时期 动态多元回归模型的系数趋势图 表 1 t= 10, 11 时刻叉积阵的特征值 , 特征向量的计算值 、 拟合值和预测值 特征解 特征值 ( 237. 13 t= 10 计算值 24. 44 8. 13 4. 56 0. 01) ( 239. 98 t= 10 拟合值 24.

29、71 8. 10 4. 68 0. 01) ( 279. 08 t= 11 预测值 26. 34 8. 11 4. 63 0. 001 ) 特征 向量 0. 23 - 0. 02 - 0. 01 0. 22 - 0. 95 0. 82 0. 50 0. 19 0. 07 0. 20 0. 19 - 0. 58 0. 76 - 0. 20 0. 01 - 0. 43 0. 41 0. 57 0. 57 0. 02 0. 23 - 0. 49 - 0. 24 0. 76 0. 25 0. 23 - 0. 02 - 0. 01 0. 22 - 0. 95 0. 82 0. 50 0. 19 0. 0

30、7 0. 20 0. 20 - 0. 58 0. 77 - 0. 19 0. 01 - 0. 43 0. 41 0. 56 0. 58 0. 02 0. 24 - 0. 50 - 0. 25 0. 76 0. 25 0. 20 - 0. 02 - 0. 01 0. 20 - 0. 96 0. 82 0. 50 0. 19 0. 10 0. 18 0. 19 - 0. 58 0. 78 - 0. 17 0. 01 - 0. 45 0. 42 0. 54 0. 57 0. 01 0. 21 - 0. 50 - 0. 26 0. 77 0. 22 t t t ttt t t tt22 t 504 t

31、= 10 计算值 表 2 北 京 航 空 航 天 大 学 学 报 t= 10, 11 时刻叉积阵的计算值 、 拟合值和预测值 t= 10 拟合值 t= 11 预测值 2007 年 30 7. 12 9. 74 3. 38 - 0. 20 7. 12 12. 09 1. 69 0. 07 13. 77 - 47. 56 7. 23 3. 08 - 49. 84 213. 64 30. 14 7. 25 9. 83 3. 34 - 0. 16 7. 13 11. 98 1. 73 0. 12 13. 69 - 47. 81 7. 27 3. 25 - 49. 87 216. 68 30. 23 7

32、. 91 10. 07 3. 58 - 0. 08 7. 23 12. 18 2. 17 0. 35 13. 56 - 47. 67 7. 44 3. 53 - 53. 87 257. 07 t 表 3 t= 1 11 时刻调整的复测定系数和估计 标准误差 的计算值 、 估 计值 R R e e 度 . 另一方面 , 从该模型中 , 还可以识别解释变量 对因变量影响程度的动态规律以及变化趋势 . 通 过仿真实验 , 验证了模型拟合、预测结果的可行性 1 2 3 4 5 6 7 8 9 10 11 计算值 0. 836 0. 942 0. 983 0. 977 0. 990 0. 995 0.

33、995 0. 998 0. 996 0. 998 估计值 0. 808 0. 960 0. 979 0. 985 0. 989 0. 992 0. 994 0. 996 0. 997 0. 999 0. 999 计算值 0. 087 0. 109 0. 092 0. 132 0. 109 0. 090 0. 101 0. 081 0. 125 0. 094 估计值 0. 094 0. 097 0. 104 0. 111 0. 116 0. 117 0. 116 0. 111 0. 101 0. 078 0. 023 和有效性 . 需要指出的是 , 本文所 提出的方法还有很大 的理论探讨空间 .

34、 例如 , 本文是按照推测模型的调 整的复测定系数和估计标准误差的方法 , 判断未 来回归模型的精度 . 而事实上 , 利用 对叉积阵 V 的预测结果 , 还可以很方便地计算未来的 F 检验 值和 t 检验值 . 然而 , 由 于 F 检 验 值 和 t 检 验 都 必 须 在 G aussM arcov 假设条件下才能 进行 , 而按 照本文 预测方法所得到的预测参数是否依然符合经典回 表 4 t= 10, 11 时刻回归系数的计算值 、 拟合值和预测值 归模型中的基本假设 , 还有待更深入的理论分析 . t= 10 计算值 t= 10 拟合值 t= 11 预测值 这将是本文所提方法需要进一

35、步研究的主要内容 1 2 3 1 2 3 1 2 3 之一 . 1. 971 0. 960 - 3. 046 2. 003 1. 00 - 3. 062 2. 254 1. 156 - 3. 500 参考文献 ( Referen ces) 综上所述 , 从上述计算过程中 , 从所得到的相 应参数的实际值和拟合值可以看出 , 本文所建立 1 Fish er R A. The use of m u ltip le m easurem ents in taxonom ic 的多元线性回归分析的时序动态模型的拟合效果 p rob lem s J. Ann of Eugen ics, 1936, 7:

36、179- 188 较好 , 预测结果合理可靠 . 2 高惠璇 . 统计计算 M . 北京 : 北京大学出版社 , 2005 5 结 束 语 Gao H u ixuan. n ivers ity Press, S tatistical com putationM . 2005 ( in C h inese) Beijing: Beijing U 3 Roger A H, Charles R J. 杨奇译 . 矩阵分析 M . 北京 : 机械 本文讨论了如何利用历史的样本数据 , 建立 多元线性回归的动态分析模型 , 并对回归系数进 工业出版社 , 2005 Roger A H, Charles

37、R J. Trans lated by Yang Q . M atrix Analy sisM . B eijing: M ach inery Indu stry Press, 2005( in Ch inese) 行预测 . 在该模型中 , 主要采用正交矩阵主轴旋转 4 W ang Hu i en, L iu Q iang. Forecast modeling for rotations of 的预测建模方法 , 实现对叉积阵的预测建模 . 运用 p rincipal axes ofm u lti d i ens ion al data set J . C om pu tation al 多元线性回归的预测模型 , 可以在无须对未来系 S tatistics& Data An alysis, 1998, 27( 3 ): 345 - 35 统采样的情况下 , 推测未来的回归系数及模型精 ( 责任编辑 : 彭 徽 ) 2 2 t