多元回归分析推断问题.ppt

多元回归分析推断问题现在学习的是第1页，共36页关于正态假定关于正态假定 12233OLSBLUE,iiiiYXXu对于回归模型：如研究目的仅是估计模型的参数，则不需要对扰动作独立正态性假定，因为所产生的估计量为，但一般而言，实证研究不仅要要对模型估计，也要进行假设检验和推断，故需对扰动的分布作出假定，由于中心极限定理 对扰动假设为独立正态分布。2现在学习的是第2页，共36页331122123OLSBLUEML()()()2tttttsesese总之，假设检验和在总体扰动项的正态性假定之下，偏回归系数的估计量仍是，且等同于，进一步，偏回归系数也为正态分布，由此，可类似二变量模型构造显著性检验统计量（如 统计量）进行假设检验等，。如对于变量的显著性检验，与前述二元变量模型一样，检验为：推断问题与 元模型完全相同 不同n3,3.在于这里的自由度为其中 为待估参数个数现在学习的是第3页，共36页多元回归中的假设检验：总评o 1 个别偏回归系数的假设检验；o 2 模型的总体显著性检验，即所有偏回归系数的显著性检验；o 3 检验某2或多个系数之间的关系，如是否相等，或其它线性或非线性关系，称为约束条件；o 4 检验所估计的模型在时间或不同的横截面上是否具有稳定性；o 5 检验回归模型的函数形式；4现在学习的是第4页，共36页单个偏回归系数的检验12233202312322.(0,)00000(),3()iiiiiYXXuuii d NHHtt nk ksekt对于模型：在之下，检验：或 ：或 ：约束条件的个数，或待估参数的个数，或解释变量的个数（注单个系数的意截距项变检验：检验量为1）5现在学习的是第5页，共36页检验样本回归的总体显著性检验样本回归的总体显著性 o 1.多变量模型的方差分解和联合假设检验 总体回归的显著性是指所有斜率系数的显著性即模型中的所有解释变量对于应变量具有显著解释能力，即拒绝下述原假设：0:320H由于这一原假设是同时约束为零，故也称为联合原假设，由于联合原假设是对所有斜率系数约束为零，因此这一原假设是对模型的线性设定是否正确的检验，故称其为总体显著性检验。6现在学习的是第6页，共36页2323232/2222/223/0,000(0)1Pr()()1Pritsetset 对应的备选假设可以是任一不为，或同时部分或全体不为零，所以单个的显著性检验不能替代联合的原假设换言之，我们分别检验或，不能取代检验联合假设同时为。理解这一问题的要点在于，对于和，对于所选定的显著性水平，其置信水平为置信区间分别为：2333/2323232/223/232323233()()1(),()(1)(1),(cov(,)0)0(0)setsetsetse 这一陈述对于单个的和是正确的，但不能据此推断和同时落入以下的区间:的概率为因为和是不独立的，这种不独立性意味着检验联合假设，任一单个假设如都受到2(0)其它假设 如所含信息的影响。现在学习的是第7页，共36页222233223,(),2,3ESS2RSSn3,TSSn1.iiiiiijiTSSESyy xy xSRSuxjS如何检验这种联合假设 为此我们首先进行方差分解。上一章已证明：由于对于已抽取的样本，已知，所以仅为和的函数，故自由度为，而的自 由度为则为这样总离 差 就分解为变异来源变异来源 SS df MSS来自回归（ESS）2 ESS/2来自残差（RSS）n-3 总变异（TSS）n-1 表8.2.三变量回归的ANOVA表 iiiixyxy33222iu2iy223/nui现在学习的是第8页，共36页0232233223,:0()/2/(2,3)/(3)/(0)/(1)(1,)/(),iiiiiiuHFy xy xESS dfFFnunRSS dfFESS dfESSkFF knkRSS dfRSSnkkn可证明以下所构造的统计量在 的独立正态假定和在原假设下服从 分布。即：实现总体显著性 即原假设的 检验的统计量为其中 为变量个数或待估参数的个数为样本长00FHH度。显然，当计算的 值大于对应的临界值，拒绝，隐含了模型关于参数的线性设定是适当的，反之则不能拒绝，其意义为模型关于参数的线性设定不合适。由于原假设的参数同时为零，故在拒绝原假设时，并不排除个别参数为零，且联合原假设不能等同于个别参数的显著性检验。现在学习的是第9页，共36页12233021,3:0/(1)/()(1,)(1,)iiikkikYXXXuHHESS dfESSkFRSS dfRSFSn kFF kn kFF kn k检验多元回归模型的总显著性：一般地对于多变量（大于）模型，即 检验原假设：非全部斜率系数同时为零计算：选定显著性水平，若 值，则拒绝原假设。若 值，则不能检验拒绝原假Fpp设。或者直接用检验统计量对应的 值，则拒绝原假设。现在学习的是第10页，共36页2222222222/(1)()/()(1)()/(1)1 1(/)110101ESSdfESSknk ESSRSSdfRSSnkkRSSnkESSnkESSTSSkTSSESSkESSTSSnkRkRRESS TSSRFRFRFRFFRkRRFnk和 的关系式：其中，和 的关系：越大值也越大 =1值变为无2FR检验既是所估回归的总显著性的穷大因一个度量，也是的一个显著此，性检验。现在学习的是第11页，共36页21223022123/(1)1/,3:0(1,)(1,)()iiikkikRYXXXuHFRkFRHFF kn kFFkn kkn检验一个用表示的多元回归模型的总显著性：一般地 对于多变量（大于）模型，即 检验原假设：非全部斜率系数同时为零 计算：选定显著性水平，若 值，则拒绝原假设。若 值，则不能检验拒绝原假设。Fpp或者直接用检验统计量对应的 值，则拒绝原假设。现在学习的是第12页，共36页一个解释变量的“增量”或“边际”贡献o 如果模型逐次增加一个变量,由于增加一个新的变量，ESS相对于RSS的增加，称为这个变量的“增量贡献”或“边际贡献”。即模型增加一个变量，是否相对于RSS而显著地增加了ESS，从而显著增加 。问题：如何度量这种相对增加2R13现在学习的是第13页，共36页323323XYXtFXXESSRXESSESS考察 的增量贡献：先做 对进行回归，并评估系数的显著性(检验)和总体显著性（检验）。然后再把加到这个模型中来，以判断 的加入是否显著地增加了，从而显著地增加拟合优度。若确实有所增加，则这一贡献称为解释变量 的增量或边际贡献。在实际应用中，研究者不愿意在模型中放进那些对贡献很少的变量，也不愿意排除一些能实质上增加的变量。可以通过方差分析来进行考察。现在学习的是第14页，共36页现在学习的是第15页，共36页243233222222/()/(,)/()()/(1)/()/(1)/(QdfFQdfESSESSmF m kRSSk nFXESSRXXRRFRRRmRk n旧新新旧新旧旧新旧新加入的回归元的个数)新模型中的待估参数的个数若显著，则表明模型中新加入的解释变量明显提高了，从而提高了，因此模型中应该加入。否则就不加入。自由度自由度新加入的回归元的个数)新模型中的待估参数的(,)F m k个数现在学习的是第16页，共36页何时增加一个新变量22221RSS1tRRFtR如新增变量的系数的值在绝对值大，就会增加。因此，使用增量贡献的准则为：如果增加一个变量使 变大，即使不显著地减少，这个变量从边际贡献来看，是值得增加的。这一准则又可表示为：仅当一个新增解释变量的（=）值大于 时，它的增加才导致 的增加。17现在学习的是第17页，共36页何时增加一组变量2FR如果一组变量的加入（或删除）给出一个大（小）于1的 值，将会增加（减少），这时可以加入（删除）这组变量。18现在学习的是第18页，共36页1223303434343434343434:0:00()()()var(iiikkiAYXXXuHHtse对 于 下 述 模 型：若 要 检 验：或 或按 检 验 显 著 性 即 检 验的 思 想，在 原 假 设 和 扰 动为 检 验 某 两 个 或 若 干 个 系 数 是 否 相 等正 态 假 设 之 下，有：3434()var()2 cov(,)t nktt若，则 拒 绝 原 假 设，否 则 不 能 拒 绝 原 假 设。现在学习的是第19页，共36页02233023CDlnlnln:1iiiitYXXuH上述是检验系数是否相等，这一原假设看作模型参数之间的约束，可以用上述 统计量来检验这种约束，更为一般的，出于经济学理论或实证研究的目的，需检验系数之间的线性约束。如对于 生产函数的对数型 需检验规模报酬不变的假设：受约束的最小二乘法：检验线性 这是是模型参数之间的一种线性关等系式约束条件，检验这一类假设即为检验线性等式约束。更为一般的，下述方法可用于检验模型的任意个参数之间的线性等式约束。现在学习的是第20页，共36页0223323023232323232323lnlnln:1()()()1()var()var()2cov(,)iiiitttYXXuHtsett 首先实现无约束的回归，得到估计量，也即估计：得出 和，然后由检验的思想，可构造（在原假设和正态独立假定下）的统计量（）：法 若检验：RLS，则拒绝原假设，否则不能拒绝原假设。其它任何参数之间的线性等式之间的约束可按这一方法进行检验。显然，这一检验方法，是在无约束估计之后进行的。而与之对应的是，直接将线性约束或原假设代入模型之中，再进行估计，称为受约束的最小二乘估计（）。现在学习的是第21页，共36页0223303023:1OLSRLSOLSlnlnlnln(1)iiiiiYXFHXuY 由于原假设为线性等式（），故将这种参数的线性关系可直接代入模型中，而代入后的模型关于参数仍是线性的，所以可用，约束代入后的模型体现了参数之间的约束，故称为（相对于无约束的）。将原假设下的约束条件代入：无约束模型（1）得 检验法：受约束的最小二乘出法：233023322033220332lnlnlnlnlnlnlnlnlnln(/)ln(/)iiiiiiiiiiiiiiiiiXXuXXXuYXXXuYXXXu 受约束模型（2）现在学习的是第22页，共36页RU222OLSRLSRSSRSS1OLSRSSRSSF()/(,)/()()/(,)(1)/()RUURURSSRSSmFF m n kRSSn kRRmFF mFn kRn kmk对受约束的模型（2）进行即为，由此产生的记为，而由对无约束的模型（）的所产生的，记为，应用 检验，即有：检验法：或 其中 为约束个数，受约束的最小二乘法（续）为无约束的模型的参数个(,)(,)nFF m n kFF m n kFpp数，为样本长度。选定显著性水平，若 值，则拒绝原假设。若 值，则不能拒绝原假设。或者直接用检验统计量对应的 值，则拒绝原假设。现在学习的是第23页，共36页1223302303450345622:3:0()/(,)/()(iiikkiRUURkYXXXuFHHHRSSRSSmFFF m nkRSSnkRRF检验有关 变量回归模型：中的一个或多个参数的假设，都可以用上述 检验法。例如：或 或 先估计大的无约束模型，然后再顾及受约束的小模型，从而计算 值：或 2)/(,)(1)/()(1,)(1,)UmF m nkRnkFFknkFFknkFpp选定显著性水平，若 值，则拒绝原假设。若 值，则不能拒绝原假设。或者直接用检验统计量对应的 值，则拒绝原假设。现在学习的是第24页，共36页estCHOW T检验回归模型的结构或参数稳定性：邹至庄检验（）o 所谓模型的结构稳定性事指模型在样本期内的不同时期(子样本)，其参数不发生改变。而任何参数样本期的不同时期发生改变，则称模型不具有结构稳定性。一般而言，导致模型发生结构变化的因素是重要的外生事件，或外生冲击，故常设定某一时点或年份，以此将样本分为二个（或多个）子样本，分别估计这二个（或多个）子样本和样本全体，构成F统计量，据此推断模型是否发生结构变化。25现在学习的是第25页，共36页o美国个人收入和储蓄(样本1970-1995).由于美国在1982年失业率达到8.2%，为检验这一高失业率是否导致个人储蓄行为发生变化，将1981年设定为一个可能的结构变化点，将样本分为1970-1981和1982-1995，并设定这两个时期的储蓄函数为：12112212121426tttttttttYXunYXunYXun要进行下列三个回归：时期19701981：时期19821995：时期19701995：现在学习的是第26页，共36页212121122121212111(0,)1,2.()01262121CO4H2W1itttttRtttuNiE u unYXuOLSRSSnnkknnYXunRSSnk：假设，用全体样本估计模型：用估计得出受约束（，）的残差平方和，记为，自由度为，为待估参数的个数。用两个子样本，分别估计模型：（自由度为检验）1222212121212121432 CHOWF,/(,2)/(2)5(,2)tttURRURURYXunRSSnkRSSRSSRSSnnkRSSRSSkFF k nnkRSSnnkFFk nnk（自由度为）计算无约束的残差平方和：（自由度为）4 构造的统计量，在上述假设下 有 若，则拒绝原假设。以此检验原假设：无结构变化，备选假设.：模型具有结构变化现在学习的是第27页，共36页现在学习的是第28页，共36页现在学习的是第29页，共36页1.样本样本1:1970-1981的回归结果的回归结果 7.31All right reserved by Dr.Bill Wan Sing Hung-HKBUY=1+2X+u1Sub-sample n1RSS130现在学习的是第30页，共36页7.32All right reserved by Dr.Bill Wan Sing Hung-HKBUY=0+1X+u2Sub-sample n2RSS22.样本样本2:1982-1995的回归结果的回归结果31现在学习的是第31页，共36页3.全样本回归结果全样本回归结果7.30All right reserved by Dr.Bill Wan Sing Hung-HKBUStructural stability:Ho:Var(u1)=Var(u2)=2Whole sampleRSSR32现在学习的是第32页，共36页计算计算 541241254/(2)RSkFSnnkSSSSSSF=(2 3 2 4 8.3-1 7 8 5.0 3-1 0 0 0 5.2 2)/2)/(1785.03+10005.22)/22)=10.69由由F=10.69F0.01(2,22)，P=0.00057，结论：在结论：在1%的显著性水平上拒绝原假设而认为结构具有变的显著性水平上拒绝原假设而认为结构具有变化，隐含的意义为：高失业率改变了人们的储蓄行为，使边化，隐含的意义为：高失业率改变了人们的储蓄行为，使边际储蓄倾向由际储蓄倾向由0.08降为降为0.015.现在学习的是第33页，共36页o 关于CHOW检验的警告：o 1 必须满足背后的假定o 2 该检验只告诉结构发生变化，但是没有告诉变化发生在截距项还是斜率项，还是二者都有变化，这一问题将在虚拟变量回归中回答。o 3 必须知道结构转折点。现在学习的是第34页，共36页2212221112222222122121CHOWSEE CHOW(/)(,)(/)FF nk nkF进一步，检验假设，即两个子总样的方差相同，在此假定下，可证明（）：在假设下，有：亦可实现结构变化检验，判断规则相同。现在学习的是第35页，共36页若认为对数线性模型是正确设定，即若认为对数线性模型是正确设定，即H0：对数线性即：对数线性即(2)HA:线性即选（线性即选（11）：）：YfZln12并将这一变量扩展到（并将这一变量扩展到（2）之中，）之中，122332lnlnlnlnlniiikkiYXXXZuo对这一扩展的模型进行回归，按步骤4的方法对变量 的显著性进行考察，若显著，拒绝H0.2Z现在学习的是第36页，共36页