多元线性回归分析42决策模型(共17页).doc

《多元线性回归分析42决策模型(共17页).doc》由会员分享，可在线阅读，更多相关《多元线性回归分析42决策模型(共17页).doc（17页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、精选优质文档-倾情为你奉上课 题第四章 概率统计模型 4.1多元线性回归分析4.2决策模型教学内容1. 多元线性回归分析2. 随机决策模型的基本原理与解法，及应用举例。教学目标1.掌握多元线性回归分析的基本原理和建模的基本过程。2.能够运用多元回归分析模型解决实际问题并进行模型分析。3.掌握决策模型的计算方法，能够运用决策模型解决实际问题并进行模型分析教学重点1多元线性回归分析的基本原理，基本过程及其计算方法。2.掌握随机决策模型的基本原理和建模的基本过程。3.掌握决策模型的计算方法。4.实际建模训练教学难点1. 多元线性回归分析的基本原理及其数值计算、运用模型解决实际问题2. 随机决策模型的

2、基本原理及其决策准则的确定双语教学内容、安排Linear regression analysis 线性回归分析Multivariate regression analysis 多元回归分析decision analysis 决策分析Decision rule 决策规则Decision tree 决策树教学手段、措施采用多媒体教学的形式。以电子课件为主，粉笔黑板相结合为辅，使学生能够充分利用课堂有效的时间了解尽可能多的相关知识,并结合启发式教学.作业、后记教学过程及教学设计备注 4.1多元线性回归分析一问题提出水泥凝固时放出热量问题：某种水泥在凝固时放出的热是与水泥中下列4种化学成分有关。的成分

3、（%）的成分（%）的成分（%）的成分（%）现记录了13组数据，列在表41中，根据表中的数据，试研究与四种成份的关系。表41编号172666078.52129155274.531156820104.34113184787.6575263395.961155922109.27371176102.78131224472.59254182293.1102147426115.911140233483.8121166912113.3131068812109.4在现实生活中，变量与变量之间经常存在一定的关系，一般来说，变量之间的关系可以分为两大类，一类是确定性的关系，这种关系通常用函数来表示。例如，已知圆的

4、半径，那么圆的面积与半径的关系就可用函数关系： 来表示，这时如果取定了的值，的值就会完全确定了。另一类是非确定性关系，例如，人的体重与身高之间的关系就是非确定性关系，一般来说，身高越高，体重越大，但是身高相同的人体重往往是不相同的。再如，钢材的强度与钢材中含某种元素的含量，纤维的拉伸倍数与强度，降雨量、气温、施肥量与农作物的产量等均属于这种关系。变量之间的这种非确定性关系通常称为相关关系。二多元线性回归分析模型为了研究方便，我们考虑一个变量受其他变量影响时，把这变量称为因变量，记为，其他变量称为自变量，记为，这时相关关系可记作 （41）其中为当时，因变量的均值，即称为对的回归函数，为与的偏差，

5、它是随机变量，并假定。回归函数可以是一元函数，也可以是多元函数，即 （42）其中 为元回归函数，统称为多元回归函数。若回归函数中，且是线性函数，则称为是一元线性回归函数；且是多元线性函数，则称其为多元线性回归函数；若回归函数是非线性函数，则称其为非线性回归函数。对非线性回归，经常采用线性化的方法来处理。所以，目前研究最多的是线性回归问题，且假定和均服从正态分布。回归分析的任务就是要求出满足式（42）的回归函数,从而对所研究的相关关系做出所需的预测和控制。多元回归模型的应用是相当广泛的，例如，某种商品的销售量可能受收入水平、风俗习惯、产品质量、价格、宣传广告等多种因素的影响；某种产品的质量可能受

6、生产该产品时的温度、湿度、压力、原材料的质量和有害成分的含量等影响；工人的劳动生产率可能受学历、智力水平、情绪的稳定性和才能等因素的影响；某城市的用水量可能与该城市的人口数及工业总产值有关。诸如此类的关系，可以通过多元回归分析模型进行研究。例如，在水泥凝固时放出热量问题中，可建立线性回归模型 （4-3）其中。而和是未知参数，为了估计这些参数，将表41的值代入模型（43），得线性模型 （4-4）一般地，多元线性回归模型可表示为： （4-5）其中，是自变量，为常数，为回归系数， 皆为未知，统称为回归参数，一旦回归参数确定，则多元线性回归模型就完全确定，一般假定随机误差。为了得到回归参数的估计值，就

7、要对变量进行观测，假设对变量的次独立观测数据为：，则这些观测数据应满足式（45），即有 （4-6）其中，若记，则多元线性回归的数学模型式（46）可以写成矩阵形式 （47）其中。1.参数的最小二乘估计为了获得参的估计，我们采用最小二乘法，即选择，使 （48）达到最小。将对求导数并令其为零，得即。记，则 （49）方程（49）称为正规方程，其中为阶矩阵，一般假定，由线性代数理论可知，为满秩矩阵，它的秩，则正规方程（49）有唯一解，记作 （410）我们来证明（410）式中为参数向量的最小二乘法估计量，现用矩阵形式来叙述其证明步骤。从式（48）知，对任意的则有上述证明过程中应用了如下结果：至此，在时，证

8、明了式（410）中的是的最小二乘法估计量。在实际工作中，常称为经验线性回归方程。2.最小二乘法估计量的性质首先我们在假定的条件下，探讨一下由式（4-10）确定的最小二乘法估计最的性质（1）是的线性无偏估计量。证：由于，每一个都是的线性组合，因而是的线性估计量，此时称是的线性估计量。即，。（2）的协方差矩阵为，即其中证：记，则（3）是的最小方差线性元偏估计，即在所有线性元偏估计类中，有且只有使其方差达到最小。3.多元线性回归方程的显性检验从上面的参数估计过程可以看出，对于一批观察数据 不论它们是否具有线性关系，总可以利用最小二乘法建立起多元线性回归方程但是与是否确实存在相关关系呢？回归方程的效果

9、如何呢？这就要进行“整个回归效果是否显著”的检验。当时，与没有关系，回归模型没有意义，于是我们要检验： 是否成立。若成立，则对没有影响;反之，若不成立，则对有影响，此时与的线性关系显著，也称为整个回归效果显著。但要注意，即使整个回归效果是显著的，也可能只与某几个关系密切（相应的显著不为零），而与另几个关系不密切（相应的为零）。这就是说，多元线性回归除了首先要检验“整个回归是否显著”外，还要逐个检验每一个是否为零，以便分辨出哪些对并无显著影响 ，最后，还要对各个作出区间估计。为了进行检验和区间估计，可以证明以下结论成立：（1），则与独立。记 ，则称为总变差或称为的离差平方和。可进行如下分解：这时

10、 称为残差平方和。称为回归平方和。记，称其为剩余标准差或估计的标准差。由于不变，当然希望越小越好，即越大越好，因此，定义复相关系数。当观察值全都与回归值吻合时， ；当时，在一般情况下，的数值在0和1之间。复相关系数的定义，类似于两个变量时的相关系数的定义，但要注意，复相关系数只取下值。在两个变量时，有正相关与负相关之分，在多个变量时，就没有这一说了，所以复相关系数只取值。（2）在的条件下，且与独立，因此（3） 这里为中第个对角线元素。利用上述几条结论，可进行下列检验、估计和预测。（1） 回归显著性检验（检验）该检验是考察整个回归效果是否显著的。若整个回归效果不显著，即全部回归系数为零。因此，设

11、原假设：。若为真，则而且在不成立时，值有变大的趋势，因此应取右侧否定域，故检验法是当时拒绝原假设，认为回归效果显著;否则认为回归效果不显著。（2） 单个回归系数为零的检验（检验）该检验即某个自变量是否对因变量有显著性影响的检验。在多元回归分析中可能出现与所有自变量的总体是有相关关系的，但与某个特定的则可能无关，即对并不起作用或者已被其他的的作用所代替，为此设个原假设若为真，统计量而当不成立时， 有变大的趋势，因而应取双侧拒绝域，故当时，否定，即认为对是有作用的，若某几个是有作用的，而另几个是不起作用的，则应从回归方程中删除那些不起作用的自变量。单个回归系数是否为零，也可以用检验，即若为真，统计

12、量故当时，拒绝原假设，即认为对的影响是显著的;否则认为对的影响是不显著的。（3） 对的区间估计由于，因而的置信区间为其中（4） 的95%预测区间近似为，其中4.多元线性回归分析模型的推广1) 多项式回归分析模型类似于模型（45），由自变量多项式的随机项组成的回归模型称为多项式回归模型，它的一般形式为：初看模型（413）不是线性回归，因自变量中含有幂函数，但由于未知参数都是线性出现的，因此，令则模型（413）就变成为多元线性归模型：从而多项式回归模型可以用多元线性回归模型的计算公式和检验方法。多项式回归还有许多推广的形式，例如：2) 广义线性回归模型广义线性回归模型 的一般形式为：其中：是一个不

13、含未和参数的一元函数，有反函数：是的不含未知参数的多元函数。广义线性回归模型的回归系数的确定主要是从自变量和回变量以及组观察值出发，用最小二乘法求出的估计，使得达到最小。此时也就是令 则，这样就把广义线性回归模型化为多元线性回归模型。5.MATLAB和Mathematica求解1) MATLAB命令命令格式 b,bint,r,rint,stats=regress(Y,X,alpha)，其中输入向量X，Y的排列方式分别为 alpha为显著性水平（缺省时设定为0.05）。输出向量b为回归系数的估计值，即输出向量bint为回归系数估计值的置信区间；输出向量r为残差向量；输出向量rint为残差向量的置

14、信区间；输出向量，它是一个3维向量，用于检验回归模型的统计量，其中第一个分量中的是相关系数，第二个分量是统计量，第三个分量是与统计量对应的概率，当时拒绝原假设，说明回归模型成立。2) Mathematica命令Mathematica中键入命令StatistiLinearre.m，按Shift + Enter键，即可调入线性回归软件包。输入3) 实际问题的求解水泥凝固时放出热量问题在MATLA编辑器中输入以下程序：%水泥放出热量问题ch411% 文件名：ch411.mb,bint,r,rint,stats = regress(y,x,0.05);disp (回归系数估计值)bdisp(回归系数估

15、计值的置信区间)bintdisp(残差平方和)disp( 相关系数的平方)stats(1)disp( F统计量)stats(2)disp( 与统计量F对应的概率p)stats(3)执行后输出回归系数估计值b =62.40541.55110.51020.1019-0.1441回归系数估计值的置信区间bint =-99.1786 223.9893-0.1663 3.2685-1.1589 2.1792-1.6385 1.8423-1.7791 1.4910残差平方和ans =47.8636相关系数的平方ans =0.9824统计量ans =111.4792与统计量对应的概率ans =4.7562e

16、 007从计算结果可知，回归方程查表得：易见统计量进一步可得，所以回归效果是高度显著的。4.2决策模型一问题提出决策是人们在生活和工作中普遍存在的一种活动，是为解决当前或未来可能发生的问题，选择最佳方案的一种过程。比如，某人决定要到某地出差，而天气预报可能有寒流，考虑出差是否要带棉大衣，带上棉大衣无寒流是个累赘，若不带又可能遇上寒流而挨冻，到底带不带？这就要他作出决策;又如生产某种产品的工厂，若对此种产品的市场需求不是很了解，生产的数量太小，影响企业收入，生产的数量达大，又势必造成产品积压，影响资金周转，给企业造成损失，到底生产多少为宜？这就需要有关人员通过市场调查后作出决策。所以，小到个人生

17、活，大至企业经营以及国家的政治经济问题，都需要决策。本节介绍决策的一些基本术语中和常见的两种决策方法。例1 某公司为了扩大市场，要举办一个产品展销会，会址打算选择甲、乙、丙三地;获利情况除了与会址有关系外，还与天气有关，天气分为晴、阴、多雨三种，据气象台预报，估计三种天气情况可能出现的概率分别为0.20，0.50，0.30，其收益情况如表42，现要通过分析，确定会址，使收益最大。表41 自然状态 收益 概率选址方案 天 气 情 况N1 （晴）N2 （阴）N3 （多雨）P1 =0.20P2 =0.50P3 =0.30A1 （甲地）461A2 （乙地）541.5A3 （丙地）621.21.决策的概

18、念和类型在决策问题中，把面临的几种自然情况叫自然状态或客观条件，简称状态或条件，如例1中的就是各种不同的自然状态，这些是不可控因素，但只能有一种出现。把称为行动方案或策略，这些是可控因素，由决策者决定。表42中后三行数字称为益损值，根据这些数字的含义不同，有时也叫效益值或损失值，由它们构成的矩阵叫做决策的益损矩阵或风险矩阵。是各状态出现的概率。一般地，如决策问题的可控因素（即行动方案）用表示，状态用表示，在状态下采用行动方案的风险值用表示，状态出现的概率用表示，则可根据n的大小和的信息情况，将决策问题分为三类：确定型决策、风险型决策和不确定型决策。 当n=1时，决策问题就是确定型的，我们主要计

19、论风险型和不确定型的决策问题。风险决策问题当，且各种自然状态出现的概率可通过某种途径获得时的决策问题就是风阶决策问题。如例1就是风险决策问题，对于这类问题，我们介绍两种决策准则和相应的解决方法。1) 最大可能准则由概率论知识，一个事件的概率就是该事件在一次试验中发生的可能性大小，概率越大，事件发生的可能性就越大。基于这种思想，在风险决策中我们选择一种发生概率最大的自然状态来进行决策，而不顾及其他自然状态的决策方法，这就是最大可能准则。这个准则的实质是将风险型决策问题转化为确定型决策问题的一种决策方法。若对例1按最大可能准则进行决策，则因为自然状态出现的概率最大，因此就在这种自然状态下进行决策，

20、通过比较可知，采取行动方案获利最大。因此，采用方案是最优决策。应该指出，如果各自然状态的概率较接近时，一般不使用这种决策准则。2) 期望值准则（决策树法） 如果把每个行动方案看作随机变量，在每个自然状态下的效益值看作随机变量的取值，其概率为自然状态出现的概率，则期望值准则就是将每个行动方案的数学期望计算出来，视其决策目标的情况选择最优行动方案。若对例1按期望值准则进行决策，则需要计算各行动方案的期望收益，事实上显然，最大，所以采取行动方案最佳，即选择甲地举办展销会效益最大。值得注意的是，为了形象直观地反映决策问题未来发展的可能性和可能结果所作的预测而采用的决策树法就是按期望值准则进行决策的一种

21、方案。以例1来说明其决策步骤。例1的决策树如图41所示，其中： 表示决策点，从它引出的分枝叫方案分枝，其数目就是方案数 表示机会节点，从它引出的分支叫概率分支，每条概率分支代表一种自然状态，并标有相应状态发生的概率。 称为末稍节点，右边数字表示各方案在不同自然状态下的益损值。图 4-1 决策树4.1丙地多雨 P（N3）=0.1 +1.2阴 P（N2）=0.5 +2晴 P（N1）=0.2 +6多雨 P（N3）=0.1 +1.5阴 P（N2）=0.5 +4晴 P（N1）=0.2 +5多雨 P（N3）=0.1 +1阴 P（N2）=0.5 +6晴 P（N1）=0.2 +4乙地甲地3.452.56 4.

22、1决策A1A2A3计算各机会节的期望值，并将结果标在节点止方，再比较各机会节点上标值的大小，进行决策，在淘汰方案分枝上标“”号，余下方案即为最优方案，最优方案的期望值标在决策点的上方。本便上方标值4.1为最大，因此选定方案，其收益数值的期望为4.1。此例只包括一个决策点，称为单级决策问题。在有些实际问题中将包括两个或两个以上的决策点，称为多级决策问题，可利用同样的思路进行决策。例2 某工程采用正常速度施工，若无坏天气的影响，可确保在30天内按期完成工程，但据天气预报，15天后天气肯定变坏，有的可能出现阴雨天气，但这不会影响工程进度，有的可能遇到小风暴，而使工期推迟15天；另有的可能遇到大风暴而

23、使工期推迟20天。对于以上可能出现的情况，考虑两种方案：（1）提前加班，确保工程在15天内完成，实施此方案需增加额外支付18 000元。（2）先维持原定的施工进度，等到15天后根据实际出现的天气状况再作对策：a）若遇阴雨天，则维持正常进度，不必支付额外费用。b）若遇小风暴，则有下述两个供选方案：一是抽空（风暴过后）施工，支付工程延期损失费20 000元，二是采用应急措施，实施此措施可能有三种结果：有的可能减少误工期1天，支付延期损失费和应急费用24 000元;的可能减少误工期2天，支付延期损失费和应急费用18 000元;有的可能减少误工期3天，支付延期损失费和应急费用12 000元。 c）若遇

24、大风暴，则仍然有两个方案可供选择：一是抽空进行施工，支付工程的延期损失费50 000元;二是采取应急措施，实施此措施可能有三种结果：有的可能减少误工期 2天，支付延期损失费及应急费用54 000元;有可能减小误工期3天，支付延期损失费及应急费用46 000元;有的可能减少误工期4天，支付延期损失费及应急费用38 000元。试进行决策，选择最佳行动方案。解 （1）据题意画出决策树，如图42。198005000050800图 4-2 决策树B减少务工1天（0.5） 24000提前加班 18000阴雨（0.4） 0抽空施工 20000正常速度小风暴198000.5ECA应急减少务工2天（0.3） 1

25、8000减少务工3天（0.2） 12000F大风暴应急0.1D抽空施工 50000减少务工3天（0.2） 46000减少务工4天（0.1） 50000减少务工2天（0.7） 5400014900（2）计算第一级机会点E,F的损失费用期望值将19800和50800标在相应的机会点上，然后在第一级决策点C,D外分别进行方案比较：首先考察C点，其应急措施支付额外费用的期望值较少，故它为最佳方案，同时划去抽空施工的方案分枝，再在C上方标明最佳方案期望损失费用19800元;再考虑处的情况，应急措施比抽空施工支付的额外费用的期望值少，故划去应急措施分枝，在D上方标上50000元。（3）计算第二级机会点B的

26、损失费用期望值将其标在B的上方，在第二级决策点A处进行比较，发现正常进度方案为最佳方案，故划去提前加班的方案分枝，并将14900标在A点上方。 因此，合理的决策应是开始以正常施工进度进行施工，15天后再根据具体情况作进一步决策，若出现阴雨天，则维持正常 速度;若出现小风暴可采用应急措施;若出现大风暴，则进行抽空施工。不确定型决策当风险决策问题的自然状态发生的概率既不知道、也无法预先估计或利用历史资料得到时的决策问题就称为不确定型决策问题。仍用，表示决策问题中的自然状态，表示行动方案，表示在自然状态下采种行动方的益损值。若为效益值时取正值;若为损失值时取负值。下面介绍几不确定型 的决策准则。1.

27、 乐观准则乐观准则的思想就是对客观情况总是持乐观态度，事事都合人意，即选最大效益的最大值所对应的行动方案作为决策。2. 悲观准则悲观准则的思想就是对客观情况总是持悲观态度，万事都不会如意，即总是把事情的结果估计的很不利，因此就在最坏的情况下找一个较好的行动方案。也就是在每个状态下的最小效益值中选最大值所对应的行动方案作为决策。3. 等可能准则等可能准则的思想就是既然不能断定哪种自然状态出现的可能性的大小，就认为各自然状态出现的可能性相同，即。然后按风险决策的方法进行决策。例3 某厂有一种新产品，其推销策略有三种可供选择，但各方案所需资金、时间都不同，加上市场情况的差别，因而获利和亏损情况不同，

28、而市场情况有三种：需求量大，需求量一般，需求量低。市场情况的概率并不知道，其效益值见表43。 表4-3NaA市 场 情 况N1N2N3销售策略S15010-5S230250S3101010（1）用乐观法进行决策。（2）用悲观法进行决策。（3）用等可能法进行决策。解 （1）因为每个行动方案在各种状态下的最大效益值为所以最大效益的最大值为其最大值50对应的行动方案为，因此用乐观法的决策结果是执行策略。（2）因为每个行动方案在各种状态下的最小值为所以，最小效益值的最大值为其最大值10对应的行动方案为。因此用悲观法决策的结果是应执行策略。 （3）取计算出各行动方案的期望值为显然都达到最大值，这时究竟选

29、那一个策略可由决策者的偏好决定，若是乐观型的，可选，否则选。回归分析就是数理统计中研究相关关系的一种数学方法，它就是通过大量的试验或观测，发现变量之间关系的统计规律。性质2告诉我们，用最小二乘法求出的诸回归系数之间存在相关性，进一步可以证明。模型的共同特点是未知参数都是以线性形式出现，所以都可以采用恒等变换，像模型（413）化为模型（414）一样化为多元线性回归模型。对不确定型的决策问题，采用不同的决策准则所得到的结果并非无全一致。但难说哪个准则好，哪个准则不好。究竟在实际问题中采用哪个准则，依决策者对各种自然状态的看法而定。因此，为了改进不确定型决策，人们总是设法得到各自然状态发生的概率，然后进行决策。专心-专注-专业