数据分析与处理.ppt

《数据分析与处理.ppt》由会员分享，可在线阅读，更多相关《数据分析与处理.ppt（23页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数据分析与处理主讲主讲:数理与信息工程学院数理与信息工程学院 何国龙何国龙 20112011年年8 8月月8 8日日数学建模基础选讲数据导入与导出1.从外部文本文件导入数据到MatLab的工作区;1)File/Import data 2)利用内置函数高级IO函数低级IO函数loadfopenImportdatafclosedlmreadfgetstextreadfgetlstrreadtextscanMatLab程序区数据外部数据文本外部Excel文件数据交换示意图2.将MatLab的工作区数据写出到外部磁盘文件;1)save(e.g.save 123.txt test-ascii save

2、123 test -123.mat)use load to retrieve 2)dlmwrite ref pdf help file 3)fprintf ref out_data.m3.从Excel文件导入数据到MatLab工作区 1)import data,工作区变量 data,textdata 2)用xlsread调入数据4.从MatLab写出数据到Excel文件 xlswrite函数 e.g.s,t=xlswrite(filename,var)5.从MatLab操作Excel文件 Excel=actxserver(Excel.Application);Excel.Visible=1;将

3、Excel作为ACtiveX服务器打开,与MatLab交互,ref VBA e.g.test_Excel.m数据预处理1.数据的平滑处理 smooth函数的使用 smooth_1.m ref:smooth.pdf 对于多元数据,当各变量的量纲和数量级不一致时,往往需要对数据进行预处理,以消除量纲和数量级的限制,便于分析.2.数据的标准化变换 3.数据的极差归一化变换 数据的标准化变换极差归一化变换经过极差变换,每个元素位于0,1,列的最大最小元分别变换为1与0数据拟合0.观察数据的散点图,辅助判别数据拟合应采纳的模型 plot_1.m 数据文件:cliamate_data.xls plot_2

4、.m 数据文件:data2009.xls一元线性回归分析函数regress regress函数可用于多重线性或广义线性回归分析,特别地也适合作一元线性回归分析Ref:edit regress.mp-重广义线性回归模型Y的n次独立观察数据模型设计矩阵X需要拟合估计的系数向量误差向量p-重线性回归模型最简单的情形:一元线性多重回归分析序号yx1x2x3x4x5144.64489.56.862178245.34075.1662185354.34485.85.245156459.64268.24.940166549.938895.555178644.84777.5758176745.740767.27

5、0176849.14381.26.564162939.44481.47.9631741060.13881.95.2481701150.544736.1451681237.44587.78.4561861344.84566.56.751176假设的关联数据dchg.xls一次项多重回归一次项交叉项二次项多重回归研究样本或指标之间存在程度不同的相似性（亲疏关系以样本间距离衡量）。根据一批样本的多个观测指标，具体找出一些能够度量样品或指标之间相似程度的统计量，以这些统计量为划分类型的依据。把一些相似程度较大的样本（或指标）聚合为一类，把另外一些彼此之间相似程度较大的样本（或指标）又聚合为另一类，直到

6、把所有的样本（或指标）聚合完毕，这就是分类的基本思想。在聚类分析中，根据分类对象的不同分为Q型聚类分析和R型聚类分析两大类。聚类分析常用的样品对距离Ref:pdist常用聚类方法最短距离法(single linkage method)最长距离法(complete linkage method)中间距离法(median method)重心法(centroid hierarchical method)类平均法(average linkage method)离差平方和法(Ward method)与系统聚类法相关的MatLab函数包括:pdist;squareform;linkage;dendrogr

7、am;cophenet;inconsistent;cluster;clusterdatag1 g2 g3 g4 g5g1 0g2 10g3 540g4 7620g5 10 9530g6g3g4G5G60G340G4620G59530g6g7G5G60G740G5930G6=g1,g2g8g5g80g540G7=g3,g4G8=g5,g7G9=g5,g8聚类分析示意图 主成分分析是一种通过降维技术把多个变量化为少数几个主成分(即综合变量)的多元统计方法,这些主成分能够反映原始变量的大部分信息,通常表现为原始变量的线性组合,为使得主成分所包含的信息互不重叠,要求各主成分之间线性无关.MatLab的主成分分析函数 pcacov;根据相关系数矩阵进行主成分分析 princomp;根据样本观察值矩阵进行主成分分析 pcares;根据主成分重建原始数据主成分分析Ref:zcffx.mpcares函数重建数据为了分析丢掉后面的主成分所造成的信息损失,设原始样本数据矩阵为 ,由前m个主成分重建的样本数据矩阵为Ref:pca.m分析主成分效果的统计量基于Excel的数据处理与分析一般的数据计算VBA程序设计加载数据分析工具库计算趋势线的公式线性多项式对数指数乘幂R平方值