数据处理方法与依据.ppt

数据处理的方法与工具吕士钦 太原理工大学太原理工大学LOGO1 概述 近几年，数学建模竞赛的规模越来越大,水平越来越高；赛题难度也越来越大，对学生数据处理能力要求也越来越高，最困难的有两个方面：（1）无数据建模问题；（2）海量数据问题。LOGO无数据建模问题无数据建模问题例如：（1）2010B：2010年上海世博会影响力的定量评估；（2）2008B：高等教育学费标准探讨；往往为综合评价类模型，赛题来自于实际问题，开放程度比较高，需要据相关多因素信息及收集到数据对实际对象进行客观、公正、合理的全面评价。LOGO无数据建模问题无数据建模问题数据收集手段与方法：（1）权威机构或相关部门发布；（2）通过搜索引擎在Internet搜索；（3）通过问卷、实验等自主采集；例如：公交车门的高度是按照成年男子与车门顶部碰头的机率不超过1%设计的，山西省欲采购一批公交车，请问应将车门高度设计成多高比较合适？LOGO无数据建模问题无数据建模问题 问题的关键在于获取山西省成年男子的身高情况，我们优先考虑的方法是（1）（2），在无法通过前两种方法获取的情况下，可以通过（3）获得。显然取样，进而可以获得山西成年男子身高X的样本均值和样本方差，剩下的就是求解一个简单的概率问题而已：P(X=99%LOGO海量数据建模问题海量数据建模问题202000A：DNADNA序列分类；序列分类；202000B：钢管订购和运输；：钢管订购和运输；202001A：血管的三维重建；：血管的三维重建；202001B：公交车调度；：公交车调度；202002B：彩票中的数学；：彩票中的数学；202003A：SARSSARS的传播；的传播；202004A：奥运会临时超市网点设计；：奥运会临时超市网点设计；LOGO海量数据建模问题海量数据建模问题202004B：电力市场的输电阻塞管理；：电力市场的输电阻塞管理；202005A：长江水质的评价和预测；：长江水质的评价和预测；202005B：DVDDVD在线租赁；在线租赁；202006A：出版社的资源配置；：出版社的资源配置；202006B：艾滋病疗法的评价及疗效的预测：艾滋病疗法的评价及疗效的预测尤其是：尤其是：20112011年夏令营：年夏令营：测井曲线自动分层问题（测井曲线自动分层问题（10M）LOGO海量数据建模问题海量数据建模问题 显然大批量数据是很难手工处理的，需要我们显然大批量数据是很难手工处理的，需要我们借助于计算机以及一些数据处理软件来完成，需借助于计算机以及一些数据处理软件来完成，需要掌握基本的计算机使用与编程能力。要掌握基本的计算机使用与编程能力。实在无法完成大批量数据处理的情况下，实在无法完成大批量数据处理的情况下，随随机截取机截取典型性数据也不失为一种合理的解决办法。典型性数据也不失为一种合理的解决办法。LOGO海量数据建模问题海量数据建模问题数学建模中常用软件：数学建模中常用软件：World MATLAB Mathematica Lindo Execl SPSS C&C+LingoLOGO海量数据建模问题海量数据建模问题软件学习的关键：软件学习的关键：（1 1）数据的读入；）数据的读入；（2 2）异常数据处理；）异常数据处理；（3 3）数据规范化与归一化；）数据规范化与归一化；（4 4）常见问题与软件功能的对应。）常见问题与软件功能的对应。（5 5）绘图与可视化输出。）绘图与可视化输出。LOGO（1 1）数据的读入）数据的读入数据的读入：数据的读入：a)a)复制、粘贴；复制、粘贴；b)b)功能函数。功能函数。MatlabMatlab中中textreadtextread（）（）:a=textread(data.txt,%*s%*s%f%*s,headerlia=textread(data.txt,%*s%*s%f%*s,headerlines,3,delimiter,)nes,3,delimiter,)headerlinesheaderlines是文件头有多少行是文件头有多少行delimiterdelimiter就就是词跟词之间的分隔符。是词跟词之间的分隔符。%s%s是字符串的意思，是字符串的意思，%f%f是浮点数的意思而在它们中间加上是浮点数的意思而在它们中间加上*，表示跳过这，表示跳过这个词。个词。%*s%*s%*s%*s的意思就是跳过前两个词。的意思就是跳过前两个词。LOGO（1 1）数据的读入）数据的读入MatlabMatlab中中imreadimread（）（）:该函数用于读取图片文件中的数据。该函数用于读取图片文件中的数据。filename=e.bmp;filename=e.bmp;imgRgb=imread(filename);%imgRgb=imread(filename);%读入一幅彩读入一幅彩色图像色图像 imshow(imgRgb);%imshow(imgRgb);%显示彩色图像显示彩色图像MatlabMatlab中中xlsreadxlsread（）（）:该函数用于读取该函数用于读取ExeclExecl文件中的数据。文件中的数据。LOGO（1 1）数据的读入）数据的读入LingoLingo中中filefile（）（）:该函数用于文本文件的读入。该函数用于文本文件的读入。LingoLingo中中TEXT（）：（）：该该函数输出数据（文本文件）函数输出数据（文本文件）。LingoLingo中中OLE（）（）该该函数与电子表格软件（如函数与电子表格软件（如EXCEL）连接）连接；LingoLingo中中ODBC（）（）该该函数与数据库连接函数与数据库连接。LOGO（1 1）数据的读入）数据的读入FILEFILE和和TEXTTEXT：文本文件输入输出：文本文件输入输出MODEL:SETS:MYSET/FILE(myfile.txt)/:FILE(myfile.txt);ENDSETSMIN=SUM(MYSET(I):SHIP(I)*COST(I);FOR(MYSET(I):CON1 SHIP(I)NEED(I);CON2 SHIP(I)SUPPLY(I);DATA:COST=FILE(myfile.txt);NEED=FILE(myfile.txt);SUPPLY=FILE(myfile.txt);TEXT(result.txt)=STATUS(),SHIP,DUAL(SHIP),RANGED(SHIP)DUAL(CON1),RANGEU(CON2);ENDDATAENDmyfile.txt文件的内容、格式：Seattle,Detroit,Chicago,DenverCOST,NEED,SUPPLY,SHIP12,28,15,201600,1800,1200,10001700,1900,1300,1100LOGO（1 1）数据的读入）数据的读入c)c)计算机语言编程计算机语言编程文本文档中写着：文本文档中写着：1Intel_Pentium_E_214049501Intel_Pentium_E_214049502AMD_Athlon64_X2_3600+46502AMD_Athlon64_X2_3600+46503Intel_Celeron_42048003Intel_Celeron_4204800.要求将这些读入要求将这些读入C C程序中程序中(编号，名称，价格，已售出量组成编号，名称，价格，已售出量组成)#includestdio.hstructHardware_databaseintnumber;charname40;intprice;intsales;CPU50;int main(int argc,char*argv)int i;FILE*CPU_record;PU_record=fopen(c:CPU_Data.txt,r);for(i=1;feof(CPU_record)=0;i+)fscanf(CPU_record,%d%s%d%dn,&CPUi.number,CPUi.name,&CPUi.price,&CPUi.sales);printf(%d,%s,%dn,CPUi.number,CPUi.name,CPUi.price);printf(Press AnyKey to Back);getchar();fclose(CPU_record);return 0;LOGO（2 2）异常数据处理）异常数据处理LOGO（2 2）异常数据处理）异常数据处理a)a)散点图。散点图。MatlabMatlab中可由中可由plot()plot()实现，在实现，在SPSSSPSS中可通中可通过点选菜单的方式实现。画散点图还可以帮助我们找出数过点选菜单的方式实现。画散点图还可以帮助我们找出数据的规律。据的规律。LOGO（2 2）异常数据处理）异常数据处理bb）3 3检测法检测法LOGO（2 2）异常数据处理）异常数据处理LOGO（2 2）异常数据处理）异常数据处理C)C)聚类分析法聚类分析法LOGO（2 2）异常数据处理）异常数据处理异常数据处理：异常数据处理：剔除剔除均值替代均值替代回归替代回归替代异常数据的处理由异常数据的处理由SPSSSPSS、SASSAS、mintabmintab实现比实现比其他软件更方便。其他软件更方便。LOGO（3 3）数据规范化）数据规范化 如果不对这些指标作相应的无量纲处理，则在综合评如果不对这些指标作相应的无量纲处理，则在综合评价过程中就会出价过程中就会出“大数吃小数大数吃小数”的错误结果，从而导致最的错误结果，从而导致最后得到错误的评价结论。后得到错误的评价结论。无量纲化处理又称为指标数据的无量纲化处理又称为指标数据的标准化标准化,或或规范化规范化处处理。理。常用方法常用方法:标准差法、极值差法和功效系数法等。标准差法、极值差法和功效系数法等。LOGO（3 3）数据规范化）数据规范化LOGO（3 3）数据规范化）数据规范化LOGO（3 3）数据规范化）数据规范化极大型指标极大型指标:总是期望指标的取值越大越好；总是期望指标的取值越大越好；极小型指标极小型指标:总是期望指标的取值越小越好；总是期望指标的取值越小越好；中间型指标中间型指标:总是期望指标的取值既不要太大，也不要总是期望指标的取值既不要太大，也不要太小为好，即取适当的中间值为最好太小为好，即取适当的中间值为最好;区间型指标区间型指标:总是期望指标的取值最好是落在某一个确总是期望指标的取值最好是落在某一个确定的区间内为最好。定的区间内为最好。在将数据无量纲化之前，在有些问题下，特别是综合评在将数据无量纲化之前，在有些问题下，特别是综合评价模型中，还需要将数据根据处理目标一致化。一般说来，价模型中，还需要将数据根据处理目标一致化。一般说来，数据指标一般说来，在评价指标中可能包含有数据指标一般说来，在评价指标中可能包含有:LOGO（3 3）数据规范化）数据规范化LOGOLOGO（3 3）数据规范化）数据规范化例：例：例：例：长江水质的综合评价模型长江水质的综合评价模型长江水质的综合评价模型长江水质的综合评价模型LOGOLOGO谢谢 谢谢 ！太原理工大学数学学院太原理工大学数学学院