(4.2.1)--F3.2材料研究的方案设计-回归分析.pdf

METHODOLOGYMETHODOLOGY ONON MATERIALSMATERIALS RESEARCHRESEARCHSCHEMESSCHEMES DESIGNDESIGN材料研究的方案设计材料研究的方案设计3.2 3.2 回归分析回归分析（上）上）112绪论绪论方案设方案设计基础计基础传统设传统设计方法计方法数据数据处理处理现代优现代优化设计化设计软件软件应用应用一一线性回归线性回归二元二元/一元原理、计算、检验、示例一元原理、计算、检验、示例二二非线性回归非线性回归三三回归分析实例回归分析实例四四多元回归多元回归纲纲 要要2022年3月21变量间的大致关系变量间的大致关系 确定性：可用精确的函数表达；回归确定性：可用精确的函数表达；回归电压电压U=IU=I.R R；自由落体；自由落体s sgtgt2 2/2 2；体积；体积V V d d3 3/6 6 非确定性：存在一定依赖关系非确定性：存在一定依赖关系，不可求出确定性关系：不可求出确定性关系：相关分析相关分析材料抗拉与抗压强度之间的关系材料抗拉与抗压强度之间的关系身高与体重；农作物掺量与降雨身高与体重；农作物掺量与降雨？炼钢时含碳量与冶炼时间炼钢时含碳量与冶炼时间 回归分析：回归分析：利用最小二乘法原理，建立因素与指标之间的经验公式，利用最小二乘法原理，建立因素与指标之间的经验公式，得出回归关系，其涉及的相关计算方法与理论得出回归关系，其涉及的相关计算方法与理论 实例：混凝土中：实例：混凝土中：抗压强度抗压强度ff灰水比灰水比C/WC/W和和fcefce用水量用水量W W与坍落度与坍落度T T、砂子的细度模数砂子的细度模数MxMx等之间：等之间：W W0 0150150.30300 0.5050T T-7 7.5050M Mx x815815.9191/D/D2022年3月3回归分析回归分析1原理：最小二乘法原理：最小二乘法(least square method)，曲线距所有点距离的平方和最小曲线距所有点距离的平方和最小，即即SSSSe e最小最小(科学严谨精神科学严谨精神)某二元自变量某二元自变量x x1 1、x x2 2与因变量与因变量y y线性相关线性相关，无交互作用无交互作用，Y Yb b0 0b b1 1x x1 1b b2 2x x2 2忽略忽略，则二元线性则二元线性b b0 0b b1 1x x1 1b b2 2x x2 2b b0 0常数常数，b b1 1、b b2 2为为y y对对x x1 1、x x2 2偏回归系数偏回归系数，反映反映x x1 1、x x2 2对对y y影响程度影响程度。残差残差SSSSe e：SSSSe e最小最小,对对b b0 0，b b1 1和和b b2 2求偏导求偏导0 0。4线性回归线性回归()0112221SSybb xb xejjjjn2()00011221Sbybbxb xejjjjn 2()010112211Sbybb xb xxejjjjjn 2()020112221Sbybb xb xxejjjjjn()0112211bb xb xyjjjjnjn0111212121111bxbxbx xx yjjjnjjjnjjjnjn0211212221211bxbx xbxx yjjjjnjjnjjjnjnjjinjjnjjnnybnxbnxyb xb xb101112211122y2022年3月代代入入注意前注意前提提1将将b b0 0代入代入b b0 0，b b1 1和和b b2 2代回方程代回方程y yb b0 0b b1 1x x1 1b b2 2x x2 22022年3月51()121212121112111111jjjnjjjnjjnjjnjjjnjjjnjnbxXnbx xxxnx yxyn()()2212xxyySPjjjnyS1,S2=0yybSP SSSP SPSS SSSP SP112221211222112yybSP SSSP SPSS SSSP SP221112111222112 SS11b1SP12b2SP1ySP21b1SS22b2SP2yb10111221nybnxbnxjjinjjnjjn0111212121111bxbxbx xx yjjjnjjjnjjjnjn0211212221211bxbx xbxx yjjjjnjjnjjjnjnSP2y2()112111212222121211jjjjnjjnjjnjjnjjjnjjjnjnbx xxxnbxXnx yxynjjnxxSS()112111jjnjxxxxSPSP()()111221221()222221xxSSjjn()()1111xxyySPjjjnySS22SS11SP1y1总平方和总平方和:第第1 1项项回归平方和回归平方和SSSSR R，因素因素X X变化引起结果变化引起结果y y变化变化代入代入b b1 1、b b2 2：SSSSR RSPSP1y1yb b1 1SPSP2y2yb b2 2第第2 2项残差平方和项残差平方和决定系数决定系数相关系数相关系数R=R=0 0 1 1,1 1最理想；最理想；查临界值查临界值R R(f(fn n-p p-1 1)，自变量个数自变量个数P P2 2。推广多元推广多元，全相关全相关R R2022年3月6相关系数检验相关系数检验()()()2111122221SSyyb xxb xxRjjnjjjn()2()()()1211211211222222211bxxb bxxxxbxxjjnjjjjnjn121122RSSSSSSSSSP bSP bSSRTeTyyySS bSP bbSS b211 1212 1 222 22=1偏相关rSPSS SSiiyiiy确保数确保数据可靠据可靠1残差平方和：残差平方和：SSSSR RSPSP1y1yb b1 1SPSP2y2yb b2 2;SSSSe e=SSSST T-SSSSR R自由度自由度f fT T=n-1；f fR R=2=2；f fe e=n=n-3 3MS=MS=SS/f；在在ExcelExcel中，计算中，计算 用函数用函数FdistFdist，临界值用，临界值用finVfinV2022年3月7F F 检验检验方差来源方差来源平方和平方和SS自由度自由度f方差方差MSFP(Fdist)回归回归RSSR2SSR/fRMSR/MSe*残差残差eSSen-3SSR/fR总和总和TSSTn-1F(2,n-3)FINV2如果仅为一元，如果仅为一元，2022/3/178一元线性回归一元线性回归LINEARLINEAR REGRESSIONREGRESSIONiiiiiibx ynxyxnxSPx ySSx11令12211 1()0111iiniinbnybxyb x10(对求导)0(对 求导)01010111ybb xbybb xxbiiiniiiin ()()1111211yabxax yaxbxbiininiiniiiiniinin1xiin同乘同乘n b0yybSP SSSP SPSS SSSP SP112221211222112SSRSP1yb1SP2yb21F F检验检验R R检验检验:计算计算r r，一元，自变量数一元，自变量数p p1,n1,np p1 1n n2 2，临界值临界值r r(f(fn n-2 2)R R接近接近 1 1，最好，最好rrrr(f(fn n-p p-1 1)，相关。，相关。n n越大，越大，r r 要求越高。要求越高。2022年3月9检验检验方差来源方差来源 平方和平方和 自由度自由度方差方差F显著性显著性回归回归RSSRfR=1SSR/fRMSR/MSe*残差残差eSSefe=n-2SSR/fR总和总和TSSTF(1,n-2)R=12非线形关系非线形关系，曲线曲线，转化为线性转化为线性。首先确定曲线回归方程的类型首先确定曲线回归方程的类型抛物线抛物线、双曲线双曲线、对数对数、指数指数、幂函数幂函数、s s形形？方法方法1 1：理论推断：理论推断方法方法2 2：大量的实践经验数据：大量的实践经验数据,散点图散点图通过数学变换通过数学变换，转化为线性方程转化为线性方程本质求线形回归本质求线形回归。双曲线方程双曲线方程令令y y=1 1/y/y，x x1 1/x/x，则则y ya abxbx对数方程：对数方程：y ya ablgxblgx令令x=x=lgxlgx，则，则y ya abxbx 2022年3月10非线性回归非线性回归1yabx2指数方程：指数方程：y=y=aeaebxbx取对数取对数 lnylnylnalnabxbx正态分布曲线正态分布曲线?:幂函数：幂函数：y yaxaxb b同时取对数同时取对数 lgylgylgalgablgxblgxS S型型、logisticlogistic生长生长：=+/=，=/令令/=，/=，/=，则则yya abxbx2022年3月11非线性非线性(练习练习)()=1212u2=1+，METHODOLOGYMETHODOLOGY ONON MATERIALSMATERIALS RESEARCHRESEARCHSCHEMESSCHEMES DESIGNDESIGN材料研究的方案设计材料研究的方案设计3.2 3.2 回归分析回归分析（下）（下）12113绪论绪论方案设方案设计基础计基础传统设传统设计方法计方法数据数据处理处理现代优现代优化设计化设计软件软件应用应用一一线性回归线性回归原理、计算、检验、示例原理、计算、检验、示例二二非线性回归非线性回归三三回归分析实例回归分析实例四四多元回归多元回归纲纲 要要2022年3月133采用氨水抑制大麦发芽采用氨水抑制大麦发芽，用赤酶素促进酶制造啤酒用赤酶素促进酶制造啤酒，发现大麦的吸氨量与大麦发现大麦的吸氨量与大麦中原含水量及吸氨时间有关中原含水量及吸氨时间有关，yb b0 0b b1 1x x1 1b b2 2x x2 2试求吸氨量与含水量试求吸氨量与含水量、吸氨时间之间的关系吸氨时间之间的关系简化简化:同减同减,残差平方和不变残差平方和不变:含水量含水量-3838.5 5；吸氨时间吸氨时间-2152152022年3月14实例实例序号序号1 12 23 34 45 56 67 78 89 910101111含水量含水量x x1i1i36.536.536.536.536.536.538.538.538.538.538.538.540.540.540.540.540.540.538.538.538.538.5吸氨时间吸氨时间x x2i2i215215250250180180250250180180215215180180215215250250215215215215吸氨量吸氨量y yi i6.26.27.57.54.84.85.15.14.64.64.64.62.82.83.13.14.34.34.94.94.14.1x x1i1i-38.538.5-2 2-2 2-2 20 00 00 02 22 22 20 00 00 0 x x2i2i-2152150 03535-35353535-35350 0-35350 035350 00 00 0求求b0，b1，b2 SS11b1SP12b2SP1ySP21b1SS22b2SP2y3序号序号1 12 23 34 45 56 67 78 89 910101111x x1i1i-38.538.5-2 2-2 2-2 20 00 00 02 22 22 20 00 0 x x2i2i-2152150 03535-35353535-35350 0-35350 035350 00 0吸氨量吸氨量y yi i6.26.27.57.54.84.85.15.14.64.64.64.62.82.83.13.14.34.34.94.94.14.12022年3月15求求B B0 0，B B1 1，B B2 2X X1j1j*X*X2j2j0 0-707070700 00 00 0-70700 070700 00 00 0X X1j1j*Y Yj j-12.412.4-15.015.0-9.69.60 00 00 05.65.66.26.28.68.60 00 0-16.616.6X X2j2j*Y Yj j0 0262.5262.5-168168179179-1611610 0-98980 01511510 00 0164.5164.5 SS11b1SP12b2SP1ySP21b1SS22b2SP2y1=122 2121122 2112SSxnxjjnjjn111211121()24.0024SSxnxjjnjjn222212121()735007350SPSPx xnxxjjjnjjnjjn 122112111211()()0 00SPx ynxyyjjjnjjnjjn 1111111()()16.6016.616.6 7350 164.5 024.0 7350 0 0=0.692=211 1211122 2112=164.5 24.0+16.6 024.0 7350 0 0=0.0220=11 22=5211+0.69 38.5 0.022 215=26.56=120 024240 07350735052.052.0262.82262.82SPx ynxyyjjjnjjnjjn2212111()()164.50164.5y26.560.69x10.022x23R R检验检验f fn np p1 11111-2 2-1 18 8；置信度置信度9595，R R0 0.0505(8 8)=)=0 0.632632，rRrR0 0.0505(8 8）。有意义有意义。F F检验：检验：f fT Tn n1 11010；回归回归-1616.6 6(-0 0.6969)164164.5 50 0.0220221515.073073f fg gP P2 2；SSeSSeSSSST TSSSSR R1717.0 0-1515.073073=1 1.927927f fe en n-P P-1 18 8。=/2/82022年3月16R R检验和检验和F F检验检验SSSSynyTyjjnjjn211221()262.82521117.0RyySSSP bSP b1122R=11+22=16.6 (0.69)+164.5 0.02217=0.942来源来源平方和平方和 自由度自由度 方差方差Fx111.454111.454x23.61913.619回归回归R15.07327.54 31.42*残差残差e1.92780.24总和总和T17.010F0.01(2,8)8.654最小二乘法最小二乘法,y yi ib b0 0b bj jx xij ij i i确定确定b b0 0、b bj jy y1 1b b0 0b b1 1x x1111b b2 2x x1212b bmmx x1m1my y2 2b b0 0b b1 1x x2121b b2 2x x2222b bmmx x2m2my y3 3b b0 0b b1 1x x3131b b2 2x x3232b bmmx x3m3my yn nb b0 0b b1 1x xn1n1b b2 2x xn2n2b bmmx xnmnmSSSSe e对对b b0 0和和 b bj j求偏导数求偏导数=0=02022年3月17多元线性回归多元线性回归(b)0112221SSyb xb xb xeiiimimin2()00011221SSbybb xb xb xeiiimimin(b)0112211b xb xb xyiimimiinin10111122111122bnybnxbnxbnxyb xb xb xiiniiniinmiminmmSS11b1SP12b2SP1mbmSP1ySP21b1SS22b2SP2mbmSP2ySPn1b1SPn2b2SPnmbmSPny SS11b1SP12b2SP1ySP21b1SS22b2SP2ySPxxxxx xnxxikijijnkjkijkjjnijjnkjjn1111()()1()()SPxxyyx ynxyiyijijnjijjjnijjnjjn1111()()1()()SynyyjjnjjnS1()2112SSxxxnxiiiininiin()1()i11212111124系数矩阵系数矩阵2022年3月18b0=11+1=112+2=112+=11=11b0=12+1=112+2=122+=12=12b0=1+1=11+2=12+=1=1b0=1+1=11+2=12+=12=1对称12121212222201212,nxxxxx xx xxx xxxbbbbyx yx yxyiiimiiiiimiiimijimmiiiiii mi(b)0112211b xb xb xyiimimiinin111111111121311122232212311121212223132312 AXXxxxxxxxxxxxxxxxxxxxxxxxxnnmmmnmmmmnnnm 1111121211213111222322123123iiiiiimiiyyiynnmmmnmnByx yx yx yySPSPSPxxxxxxxxxxxxyyyyX Y4正规方程组正规方程组AbAbB,B,通过克莱姆法则、矩阵求逆法、消元法，求解通过克莱姆法则、矩阵求逆法、消元法，求解b bA A-1 1B B。要求计算：要求计算：B B、A A、A A1 1。求出参数。求出参数b b0 0，b b1 1，b b2 2，b bm m后，即可确定回归方程后，即可确定回归方程R R检验检验方程中自变量越多，方程中自变量越多，SSSSR R就越大就越大SSSSe e就越小，回归精度越高就越小，回归精度越高整体有意义，但整体有意义，但未必最优，且增大未必最优，且增大工作量工作量方差分析：总变差与回归变量数量无关，但方差分析：总变差与回归变量数量无关，但自变量越多自变量越多，残余自由度减少，残余自由度减少，残残余余方差增大方差增大，F F降低，降低，回归精度回归精度反而低反而低2022/3/1719检验检验1RSSSSSP bSSRTjyjjmyy4关注：关注：因素主次因素主次，b bj j/F Fj j越大，影响越大越大，影响越大偏回归系数的标准化偏回归系数的标准化：偏回归系数的偏回归系数的F F检验检验：f=1f=1偏回归系数的偏回归系数的t t检验检验SPSPij ij=0=0，tj=bjMSe/Sp单侧单侧t t分布表，确定临界值分布表，确定临界值t/2(n m 1)，当当 tj t/2(n m 1)，显著，显著2022/3/1720因素主次的判断因素主次的判断=SSSP bjjyjjjejeFSSMSSSSSnm/(1)tj=SSIMSe=Fj4某化合物的合成试验中，为了提高产品得率某化合物的合成试验中，为了提高产品得率y，选取某反应温度，选取某反应温度(x1)、反应时间、反应时间(x2)和催化剂含量和催化剂含量(x3)三个因素，设三个因素，设y与因素与因素x1、x2和和x3呈线性关系，试求三元线呈线性关系，试求三元线性回归方程，并判断因素的主次性回归方程，并判断因素的主次(=0.05)简化，简化，将将x x1 1、x x2 2，x x3 3各自减去平均值各自减去平均值，列表，列表2022/3/1721例例(练习，注意简化计算练习，注意简化计算)NO.反应温反应温度度x1反应时反应时间间x2催化剂催化剂含量含量x3产量产量y1701017.627010310.33703018.947030311.25901018.469010311.17903019.889030312.66401601679.9NO.x1x2x3yy21-10-10-17.657.762-10-10110.3 106.093-1010-18.979.214-1010111.2 125.44510-10-18.470.56610-10111.1 123.2171010-19.896.0481010112.6 158.7600079.9 817.074计算计算SSSSii ii、SPSPiyiy、SPSPikik?2022年3月22列表计算（练习）列表计算（练习）序号序号 x1x2x3y1-10-10-17.62-10-10110.33-10 10-18.94-10 10111.2510-10-18.4610-10111.1710 10-19.8810 10112.6x12x22x32y2x1x2x2x3x3x1x1yx2yx3y100100157.76100 10 10 23.9 23.9 2.4 1001001 106.09 100-10-10-3.1-3.1 0.3 100100179.21-100 10-10 10.9-10.9 1.1 1001001 125.44-100-10 10-12.1 12.1 1.2 100100170.56-100-10 10-15.9 15.9 1.6 1001001 123.21-100 10-10 11.1-11.1 1.1 100100196.04100-10-10-1.9-1.9 0.2 1001001 158.76 100 10 10 26.1 26.1 2.6 8008008 817.070 0 0 39.0 51.0 10.5 00079.9平均平均 80 2029.9911=1121(=11)2=11(=1)(=1)=01=111(=11)(=1)=0=0列表，分别计算xi2,xixk、xixy计算各项总计算各项总和和,x=0，xixk=0.SPik=0，仅需，仅需SSii、SPiy、简化4 y2.18752.18750.04875x0.04875x1 1+0.06375x+0.06375x2 21.3125x1.3125x3 3偏回归偏回归F Fj j、b bj j、t t检验检验，因素主次顺序为因素主次顺序为x x3 3xx2 2xx1 1，23yyySS bSP bSP bSPSP bSS bSP bSPSP bSP bSS bSPbyb xb xb xbbbbbb11 112 213 3121 122 223 3231 132 233 33011223312301280039.080051.0810.59.9980202来源来源平方和平方和 自由度自由度 方差方差F显著性显著性x11.90111.90155.91*x23.25113.25195.62*x313.781113.781405.32*回归回归R 18.93336.311185.62*残差残差e0.13640.034总和总和T19.0697F0.01(1,4)21.20F0.01(3,4)16.69bbSSSSjjy110.0487580019.0690.316tj=bjMSe/=Fjt1=0.04875 0.034 800=7.48=55.91来源来源偏回归偏回归系数系数bj偏回归系偏回归系数数t检验检验x10.3167.48x20.4139.78x30.85020.13VVVV=121(=1)2=817.07 79.928=19.0691=11=390.04875=1.901