统计分析建模与决策精品文稿.ppt

统计分析建模与决策1第1页，本讲稿共26页一、背景背景：以资讯为基础的决策过程背景：以资讯为基础的决策过程l个人电脑的兴起（个人电脑的兴起（1980198019901990）l资讯科技与企业改造（资讯科技与企业改造（1988198819951995）l网络资讯与信息科技（网络资讯与信息科技（19951995现在）现在）l贸易壁垒的逐渐降低（贸易壁垒的逐渐降低（19971997现在）现在）l制造业与消费族群的全球化（制造业与消费族群的全球化（19901990现在）现在）2第2页，本讲稿共26页一、背景成功决策的重要因素成功决策的重要因素l创新创新l有效、迅速地适应市场变迁有效、迅速地适应市场变迁3第3页，本讲稿共26页一、背景 统计分析与建模统计分析与建模对错综复杂的讯息进行：对错综复杂的讯息进行：l描述描述l了解了解l预测预测4第4页，本讲稿共26页分析与建模的标准过程分析与建模的标准过程1.厘清分析目的厘清分析目的2.选取数据来源选取数据来源3.清理数据清理数据4.描述性分析，并对数据做适当的转换描述性分析，并对数据做适当的转换5.建立可能的模型族建立可能的模型族6.鉴定、分析、比较、改进现有的模型鉴定、分析、比较、改进现有的模型7.得到最适合的模型为预测或决策的基准得到最适合的模型为预测或决策的基准二、分析与建模的标准过程5第5页，本讲稿共26页l分析目的分析目的1.比较比较2.关连性关连性3.预测预测4.解释解释5.规律性规律性二、分析与建模的标准过程6第6页，本讲稿共26页l数据收集与数据清理数据收集与数据清理以单位为主体：以单位为主体：1.内部资料内部资料2.外界资料外界资料3.国内资料、国际资料国内资料、国际资料4.官方资料、民间资料官方资料、民间资料5.公开资料、私人资料公开资料、私人资料二、分析与建模的标准过程7第7页，本讲稿共26页l数据收集与数据清理数据收集与数据清理推论的广度与资料范围的关系及收集方法推论的广度与资料范围的关系及收集方法二、分析与建模的标准过程8第8页，本讲稿共26页l资料清理资料清理1.数据品质的核定数据品质的核定2.遗失值（漏填值）的填补遗失值（漏填值）的填补3.资料与问题的相关性资料与问题的相关性4.资料格式与分析方法的一致性资料格式与分析方法的一致性二、分析与建模的标准过程9第9页，本讲稿共26页l描述性分析1.个别变量的主要特征，特别的是有关于所要分析的问题2.讨论、分析目标与统计特征的关联性二、分析与建模的标准过程10第10页，本讲稿共26页l描述性分析方法描述性分析方法1.图象法：视觉表达图象法：视觉表达2.表格法：简化讯息表格法：简化讯息3.变数转换或组合变数转换或组合二、分析与建模的标准过程11第11页，本讲稿共26页l模型的生成模型的生成1.什么是模型什么是模型2.为什么需要模型为什么需要模型二、分析与建模的标准过程12第12页，本讲稿共26页二、分析与建模的标准过程l计量经济模型计量经济模型 以经济理论为出发点。以经济理论为出发点。l统计模型统计模型 以数据规律性为出发点。以数据规律性为出发点。13第13页，本讲稿共26页l统计分析的一般架构统计分析的一般架构观念（消费者行为有某种程度的惯性）观念（消费者行为有某种程度的惯性）方法：过去的数据或许可能帮助预测未来。方法：过去的数据或许可能帮助预测未来。如：指数平滑法如：指数平滑法理论：理论：在此模型下，指数平滑法为最佳。在此模型下，指数平滑法为最佳。三、统计分析的一般架构14第14页，本讲稿共26页l模型为一简化现象的架构模型为一简化现象的架构1.1.定性模型：价格上升，需求下降定性模型：价格上升，需求下降2.2.定量模型：定量模型：需求需求=0 01 1价格误差价格误差三、统计分析的一般架构15第15页，本讲稿共26页n统计模型的一般观念统计模型的一般观念输出变量预期量不可预期量输出变量预期量不可预期量预期量为一平稳常数预期量为一平稳常数三、统计分析的一般架构16第16页，本讲稿共26页n预期量由有限示本身过去的观测值决定预期量由有限示本身过去的观测值决定预期量由其他输入变量决定。预期量由其他输入变量决定。三、统计分析的一般架构自回归自回归回归模型回归模型17第17页，本讲稿共26页预期量由固定趋势决定预期量由固定趋势决定预期量由过去所有资讯决定。预期量由过去所有资讯决定。三、统计分析的一般架构18第18页，本讲稿共26页n突发事件、偶发事件对观测值的影响突发事件、偶发事件对观测值的影响定义：定义：Nt为经常发生的可预期部分。为经常发生的可预期部分。三、统计分析的一般架构19第19页，本讲稿共26页模型假设：模型假设：e et t为独立且具有相同分布为独立且具有相同分布GEPGEP，BOXBOX“所有模型都是错的，但是某些模型会比其他模所有模型都是错的，但是某些模型会比其他模型有用。型有用。”“All models are wrong,some are useful.All models are wrong,some are useful.”三、统计分析的一般架构20第20页，本讲稿共26页 任何一模型若其残差项满足模型假设，则此模型可任何一模型若其残差项满足模型假设，则此模型可视为一适当的模型。视为一适当的模型。适当的模型在统计上是一个可接受的决策依据。适当的模型在统计上是一个可接受的决策依据。有用的模型则是能够为分析目标直接提供解有用的模型则是能够为分析目标直接提供解答的模型。答的模型。三、统计分析的一般架构21第21页，本讲稿共26页l建模与模型拟合（建模与模型拟合（Model Building and Model Model Building and Model fittingfitting）1.1.建模（建模（Model Building Model Building）首先观察数据的描述性特征。首先观察数据的描述性特征。当模型的理论特征与数据的描述性特征有一当模型的理论特征与数据的描述性特征有一定的一致性时，此模型才能成为模型后选者，定的一致性时，此模型才能成为模型后选者，对有资格的模型后选者做估计与鉴定，以决定对有资格的模型后选者做估计与鉴定，以决定最佳模型。最佳模型。四、建模与模型拟合22第22页，本讲稿共26页模型拟合（模型拟合（Model fitting Model fitting）选择一目标函数，对每一个模型后选者计选择一目标函数，对每一个模型后选者计算此目标函数（误差的函数），模型给予最小算此目标函数（误差的函数），模型给予最小的目标函数者为最佳模型。的目标函数者为最佳模型。四、建模与模型拟合23第23页，本讲稿共26页模型比较模型比较 一般原则：一般原则：“样本外样本外”预测误差愈小愈佳。预测误差愈小愈佳。模型解释模型解释 是否因模型的产生而增加了对现象的认识？是否因模型的产生而增加了对现象的认识？四、建模与模型拟合24第24页，本讲稿共26页报告模式：报告模式：1.1.摘要（摘要（1 1页）页）2.2.报告主题及最终模型（报告主题及最终模型（1 1页）页）3.3.背景介绍与问题陈述背景介绍与问题陈述4.4.资料来源及描述性分析资料来源及描述性分析5.5.建模过程与分析建模过程与分析6.6.模型应用及结论模型应用及结论7.7.附录附录8.8.参考文献参考文献四、建模与模型拟合25第25页，本讲稿共26页谢谢，再见！Thank you and goodbye!26第26页，本讲稿共26页