数据分析建模方法下.ppt
1第七章 数据分析建模方法(下)*在建立数学模型的过程中在建立数学模型的过程中,经常需要建立经常需要建立变量之间的关系变量之间的关系.*由于对研究对象的内部机理不甚了解由于对研究对象的内部机理不甚了解,不不能通过合理的假设能通过合理的假设,或根据物理定律、原理或根据物理定律、原理,经过机理分析法而得到经过机理分析法而得到.问题问题解决思路解决思路2*选择适当的数学式对变量间的关系进行拟合选择适当的数学式对变量间的关系进行拟合.*通过对数据充分观察和分析通过对数据充分观察和分析,获得数据所含获得数据所含 信息信息;*揭示变量间的内在联系揭示变量间的内在联系;xoy*借助于由实验或测量得到的一批离散数据借助于由实验或测量得到的一批离散数据.3两两类类变变量量关关系系 确定性关系确定性关系 确定的函数关系确定的函数关系相关关系相关关系 存在相依关系存在相依关系,但未达到相但未达到相互确定的程度互确定的程度.两两类类数数据据已知规律已知规律(函数函数)的测试数据的测试数据(在特定在特定时间点或距离上的数据时间点或距离上的数据)呈现随机性的数据呈现随机性的数据,可看成具有某种可看成具有某种概率分布的随机样本值概率分布的随机样本值.4 针对两种不同类型的数据针对两种不同类型的数据,有不同的建立模有不同的建立模型方法型方法:1.数据拟合法数据拟合法(适用于第一类数据适用于第一类数据)基本思想基本思想 已知函数已知函数 y=f(x)的一组测试数据的一组测试数据 (xi,yi)，(i=1，2，n)，寻求一个函数寻求一个函数(x)，使，使(x)对上述测试数据对上述测试数据的误差较小，即的误差较小，即(xi)yi，于是可以用，于是可以用(x)来近似替代来近似替代f(x).常用的数据拟合方法常用的数据拟合方法：一般插值法、最小二一般插值法、最小二乘法、样条函数光顺法等乘法、样条函数光顺法等.5 插值法的基本思想插值法的基本思想 寻找寻找 f(x)的近似替代函数的近似替代函数(x),在插值节点在插值节点xi 上满足上满足 (xi)=yi，(i=1,2,，n)，其余点用其余点用(x)近似替代近似替代f(x),称称(x)为为f(x)的的插值函数插值函数.6 最小二乘法基本思想最小二乘法基本思想 寻找寻找 f(x)的近似替代的近似替代函数函数(x),使使2.随机分析方法随机分析方法 对于随机数据进行拟合对于随机数据进行拟合,可用统计学中的可用统计学中的回归分析方法或时间序列分析方法回归分析方法或时间序列分析方法.二经验模型的建立二经验模型的建立 以上两种建模方法都是建立在对数据进行充以上两种建模方法都是建立在对数据进行充分分析的基础上分分析的基础上.7 寻找或选择适当的函数拟合变量之间的关系寻找或选择适当的函数拟合变量之间的关系(函数关系或回归关系函数关系或回归关系)是重要的环节是重要的环节.一一般般步步骤骤 1）绘制数据散布图；）绘制数据散布图；2）分析数据散布图；）分析数据散布图；3）选择函数关系形式）选择函数关系形式.1)通过分析数据散布图可以获得对变量通过分析数据散布图可以获得对变量间关系的感性认识间关系的感性认识,形成初步的看法形成初步的看法,以便以便于对问题做进一步的分析于对问题做进一步的分析.见见p1568氮施肥量氮施肥量N 土豆产量数据散布图土豆产量数据散布图9磷施肥量磷施肥量 土豆产量数据散布图土豆产量数据散布图102）分析数据散布图；）分析数据散布图；对数据散布图进行分析对数据散布图进行分析,可以分析出变量的可以分析出变量的关系是：关系是：1）线性的还是非线性的？）线性的还是非线性的？2）有无周期性？）有无周期性？3）呈现何种变化趋势？变化率如何？）呈现何种变化趋势？变化率如何？，等等有用的初步结论等等有用的初步结论.11 例例1 建立一个简洁的函数关系式来描述建立一个简洁的函数关系式来描述某个地区人的身高和体重的对应关系某个地区人的身高和体重的对应关系,数据数据见表见表7.4(p156).曲线特征是体重曲线特征是体重W 随身高随身高H 的增长的增长而单调增长，但可而单调增长，但可以观察到是非线性以观察到是非线性增长增长.身高身高体重数据散布图体重数据散布图12练习练习试分析以下问题试分析以下问题 1.氮施肥量氮施肥量N、磷施肥量磷施肥量 P 关于土豆产量关于土豆产量的数据散布图的数据散布图(P153例例).2.海浪潮高度海浪潮高度x 随时间随时间t 的数据散布图的数据散布图.133）选择函数关系形式）选择函数关系形式 1.形式尽可能简洁形式尽可能简洁,尽可能线性化；尽可能线性化；原原则则2.依据实际问题的精度要求依据实际问题的精度要求,合乎实际规律合乎实际规律.续例续例7.2.1 选择幂函数选择幂函数 W=,描述身描述身高体重关系高体重关系.优点优点 此函数可以线性化此函数可以线性化.两边取对数两边取对数,有有14 变换为线性函数变换为线性函数 例例 可选二次函数可选二次函数 注：注：其中其中 b0=y(0)=15.18.描述氮肥施肥量与土豆产量间的变量关系描述氮肥施肥量与土豆产量间的变量关系.关于磷肥施肥量和土豆产量的变量关系可关于磷肥施肥量和土豆产量的变量关系可选择威布尔模型：选择威布尔模型：15合理性合理性?3.y 是单调升函数是单调升函数.也可以选择也可以选择S 函数函数：16S函数也满足：函数也满足：3.y 是单调升函数；是单调升函数；哪个模哪个模型更好型更好？分析分析 S 模型所含参数更少模型所含参数更少,另外若令另外若令可得线性模型可得线性模型17 重要定理重要定理(维尔斯脱拉斯维尔斯脱拉斯)若函数若函数f(x)在有在有限闭区间上连续限闭区间上连续,则存在一个多项式序列则存在一个多项式序列Pn(x)在有限闭区间在有限闭区间a,b上一致收敛于上一致收敛于f(x).称称 f(x)在在 a,b 上可上可由多项式函数逼近由多项式函数逼近.例例6.2.3 估计供水塔的水流量估计供水塔的水流量 试用以下数据估计任意时刻试用以下数据估计任意时刻(包括水泵正在包括水泵正在输水的时间内输水的时间内)从水塔流出的流量从水塔流出的流量f(t),并估计并估计一天的总用水量一天的总用水量.18时间时间(秒秒)水位水位(0.01英尺英尺)时间时间(秒秒)水位水位(英尺英尺)0 3175 46636 3350 3316 3110 49953 3260 6635 3054 53936 3167 10619 2994 57254 3087 13937 2947 60574 3012 17921 2892 64554 2927 21240 2850 68535 2842 25223 2795 71854 2767 28543 2752 75021 2697 32284 2697 79254 水泵开动水泵开动 35932 水泵开动水泵开动 82649 水泵开动水泵开动 39332 水泵开动水泵开动 85968 3475 39435 3550 89953 3397 43318 3445 92370 334019某小镇某天水塔水位散布图某小镇某天水塔水位散布图 20思考思考 为什么考虑用多项式函数？有什么优点？为什么考虑用多项式函数？有什么优点？假设假设 水位高度（或水塔的水容量）是连续水位高度（或水塔的水容量）是连续变化的变化的.可以选择可以选择n 次多项式次多项式Pn(x)来近似描述水位随时间的变化规律来近似描述水位随时间的变化规律.问题归结为选择足够大的问题归结为选择足够大的n 及估计各个系数值及估计各个系数值.21参见电子科技大学概率统计参见电子科技大学概率统计p228“非线性交调的频率设计非线性交调的频率设计”问题问题.
