数据处理方法与依据幻灯片.ppt

《数据处理方法与依据幻灯片.ppt》由会员分享，可在线阅读，更多相关《数据处理方法与依据幻灯片.ppt（31页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第1页，共31页，编辑于2022年，星期六1 概述 近几年，数学建模竞赛的规模越来越大,水平越来越高；赛题难度也越来越大，对学生数据处理能力要求也越来越高，最困难的有两个方面：（1）无数据建模问题；（2）海量数据问题。第2页，共31页，编辑于2022年，星期六无数据建模问题无数据建模问题例如：（1）2010B：2010年上海世博会影响力的定量评估；（2）2008B：高等教育学费标准探讨；往往为综合评价类模型，赛题来自于实际问题，开放程度比较高，需要据相关多因素信息及收集到数据对实际对象进行客观、公正、合理的全面评价。第3页，共31页，编辑于2022年，星期六无数据建模问题无数据建模问题数据收集

2、手段与方法：（1）权威机构或相关部门发布；（2）通过搜索引擎在Internet搜索；（3）通过问卷、实验等自主采集；例如：公交车门的高度是按照成年男子与车门顶部碰头的机率不超过1%设计的，山西省欲采购一批公交车，请问应将车门高度设计成多高比较合适？第4页，共31页，编辑于2022年，星期六无数据建模问题无数据建模问题 问题的关键在于获取山西省成年男子的身高情况，我们优先考虑的方法是（1）（2），在无法通过前两种方法获取的情况下，可以通过（3）获得。显然取样，进而可以获得山西成年男子身高X的样本均值和样本方差，剩下的就是求解一个简单的概率问题而已：P(X=99%第5页，共31页，编辑于2022年

3、，星期六海量数据建模问题海量数据建模问题2000A2000A：DNADNA序列分类；序列分类；2000B2000B：钢管订购和运输；：钢管订购和运输；2001A2001A：血管的三维重建；：血管的三维重建；2001B2001B：公交车调度；：公交车调度；2002B2002B：彩票中的数学；：彩票中的数学；2003A2003A：SARSSARS的传播；的传播；2004A2004A：奥运会临时超市网点设计；：奥运会临时超市网点设计；第6页，共31页，编辑于2022年，星期六海量数据建模问题海量数据建模问题2004B2004B：电力市场的输电阻塞管理；：电力市场的输电阻塞管理；2005A2005A：

4、长江水质的评价和预测；：长江水质的评价和预测；2005B2005B：DVDDVD在线租赁；在线租赁；2006A2006A：出版社的资源配置；：出版社的资源配置；2006B2006B：艾滋病疗法的评价及疗效的预测：艾滋病疗法的评价及疗效的预测尤其是：尤其是：2011 2011年夏令营：年夏令营：测井曲线自动分层问题（测井曲线自动分层问题（10M）第7页，共31页，编辑于2022年，星期六海量数据建模问题海量数据建模问题 显然大批量数据是很难手工处理的，需要我们借助显然大批量数据是很难手工处理的，需要我们借助于计算机以及一些数据处理软件来完成，需要掌握基于计算机以及一些数据处理软件来完成，需要掌握

5、基本的计算机使用与编程能力。本的计算机使用与编程能力。实在无法完成大批量数据处理的情况下，实在无法完成大批量数据处理的情况下，随机随机截取截取典型性数据也不失为一种合理的解决办法。典型性数据也不失为一种合理的解决办法。第8页，共31页，编辑于2022年，星期六海量数据建模问题海量数据建模问题数学建模中常用软件：数学建模中常用软件：World MATLAB Mathematica Lindo Execl SPSS C&C+Lingo第9页，共31页，编辑于2022年，星期六海量数据建模问题海量数据建模问题软件学习的关键：软件学习的关键：（1 1）数据的读入；）数据的读入；（2 2）异常数据处理；

6、）异常数据处理；（3 3）数据规范化与归一化；）数据规范化与归一化；（4 4）常见问题与软件功能的对应。）常见问题与软件功能的对应。（5 5）绘图与可视化输出。）绘图与可视化输出。第10页，共31页，编辑于2022年，星期六（1 1）数据的读入）数据的读入数据的读入：数据的读入：a)a)复制、粘贴；复制、粘贴；b)b)功能函数。功能函数。MatlabMatlab中中textreadtextread（）（）:a=textread(data.txt,%*s%*s%f%*s,headerlines,3,a=textread(data.txt,%*s%*s%f%*s,headerlines,3,del

7、imiter,)delimiter,)headerlines headerlines是文件头有多少行是文件头有多少行delimiterdelimiter就是就是词跟词之间的分隔符。词跟词之间的分隔符。%s%s是字符串的意思，是字符串的意思，%f%f是浮是浮点数的意思而在它们中间加上点数的意思而在它们中间加上*，表示跳过这个词。，表示跳过这个词。%*s%*s%*s%*s的意思就是跳过前两个词。的意思就是跳过前两个词。第11页，共31页，编辑于2022年，星期六（1 1）数据的读入）数据的读入MatlabMatlab中中imreadimread（）（）:该函数用于读取图片文件中的数据。该函数用于读

8、取图片文件中的数据。filename=e.bmp;filename=e.bmp;imgRgb=imread(filename);%imgRgb=imread(filename);%读入一幅彩色读入一幅彩色图像图像 imshow(imgRgb);%imshow(imgRgb);%显示彩色图像显示彩色图像MatlabMatlab中中xlsreadxlsread（）（）:该函数用于读取该函数用于读取ExeclExecl文件中的数据。文件中的数据。第12页，共31页，编辑于2022年，星期六（1 1）数据的读入）数据的读入LingoLingo中中filefile（）（）:该函数用于文本文件的读入。该函

9、数用于文本文件的读入。LingoLingo中中TEXTTEXT（）：（）：该函数输出数据（文本文件）。该函数输出数据（文本文件）。LingoLingo中中OLEOLE（）（）该函数与电子表格软件（如该函数与电子表格软件（如EXCELEXCEL）连接；）连接；LingoLingo中中ODBCODBC（）（）该函数与数据库连接。该函数与数据库连接。第13页，共31页，编辑于2022年，星期六（1 1）数据的读入）数据的读入FILEFILE和和TEXTTEXT：文本文件输入输出：文本文件输入输出MODEL:SETS:MYSET/FILE(myfile.txt)/:FILE(myfile.txt);E

10、NDSETSMIN=SUM(MYSET(I):SHIP(I)*COST(I);FOR(MYSET(I):CON1 SHIP(I)NEED(I);CON2 SHIP(I)SUPPLY(I);DATA:COST=FILE(myfile.txt);NEED=FILE(myfile.txt);SUPPLY=FILE(myfile.txt);TEXT(result.txt)=STATUS(),SHIP,DUAL(SHIP),RANGED(SHIP)DUAL(CON1),RANGEU(CON2);ENDDATAENDmyfile.txt文件的内容、格式：Seattle,Detroit,Chicago,De

11、nverCOST,NEED,SUPPLY,SHIP12,28,15,201600,1800,1200,10001700,1900,1300,1100第14页，共31页，编辑于2022年，星期六（1 1）数据的读入）数据的读入 c)c)计算机语言编程计算机语言编程文本文档中写着：文本文档中写着：1 Intel_Pentium_E_2140 495 01 Intel_Pentium_E_2140 495 02 AMD_Athlon64_X2_3600+465 02 AMD_Athlon64_X2_3600+465 03 Intel_Celeron_420 480 03 Intel_Celeron_

12、420 480 0.要求将这些读入要求将这些读入C C程序中程序中(编号，名称，价格，已售出量组成编号，名称，价格，已售出量组成)#include stdio.hstruct Hardware_database int number;char name40;int price;int sales;CPU50;int main(int argc,char*argv)int i;FILE*CPU_record;PU_record=fopen(c:CPU_Data.txt,r);for(i=1;feof(CPU_record)=0;i+)fscanf(CPU_record,%d%s%d%dn,&CP

13、Ui.number,CPUi.name,&CPUi.price,&CPUi.sales);printf(%d,%s,%dn,CPUi.number,CPUi.name,CPUi.price);printf(Press AnyKey to Back);getchar();fclose(CPU_record);return 0;第15页，共31页，编辑于2022年，星期六（2 2）异常数据处理）异常数据处理第16页，共31页，编辑于2022年，星期六（2 2）异常数据处理）异常数据处理 a)a)散点图。散点图。MatlabMatlab中可由中可由plot()plot()实现，在实现，在SPSSSP

14、SS中可通过点选中可通过点选菜单的方式实现。画散点图还可以帮助我们找出数据的规律。菜单的方式实现。画散点图还可以帮助我们找出数据的规律。第17页，共31页，编辑于2022年，星期六（2 2）异常数据处理）异常数据处理 b b）3 3检测法检测法第18页，共31页，编辑于2022年，星期六（2 2）异常数据处理）异常数据处理第19页，共31页，编辑于2022年，星期六（2 2）异常数据处理）异常数据处理 C)C)聚类分析法聚类分析法第20页，共31页，编辑于2022年，星期六（2 2）异常数据处理）异常数据处理异常数据处理：异常数据处理：剔除剔除 均值替代均值替代 回归替代回归替代 异常数据的处

15、理由异常数据的处理由SPSSSPSS、SASSAS、mintabmintab实现比其实现比其他软件更方便。他软件更方便。第21页，共31页，编辑于2022年，星期六（3 3）数据规范化）数据规范化 如果不对这些指标作相应的无量纲处理，则在综合评价过如果不对这些指标作相应的无量纲处理，则在综合评价过程中就会出程中就会出“大数吃小数大数吃小数”的错误结果，从而导致最后得到的错误结果，从而导致最后得到错误的评价结论。错误的评价结论。无量纲化处理又称为指标数据的无量纲化处理又称为指标数据的标准化标准化,或或规范化规范化处理。处理。常用方法常用方法:标准差法、极值差法和功效系数法等。标准差法、极值差法和

16、功效系数法等。第22页，共31页，编辑于2022年，星期六（3 3）数据规范化）数据规范化第23页，共31页，编辑于2022年，星期六（3 3）数据规范化）数据规范化第24页，共31页，编辑于2022年，星期六（3 3）数据规范化）数据规范化 极大型指标极大型指标:总是期望指标的取值越大越好；总是期望指标的取值越大越好；极小型指标极小型指标:总是期望指标的取值越小越好；总是期望指标的取值越小越好；中间型指标中间型指标:总是期望指标的取值既不要太大，也不要太小总是期望指标的取值既不要太大，也不要太小为好，即取适当的中间值为最好为好，即取适当的中间值为最好;区间型指标区间型指标:总是期望指标的取值

17、最好是落在某一个确定的总是期望指标的取值最好是落在某一个确定的区间内为最好。区间内为最好。在将数据无量纲化之前，在有些问题下，特别是综合评价模型中，在将数据无量纲化之前，在有些问题下，特别是综合评价模型中，还需要将数据根据处理目标一致化。一般说来，数据指标一般说来，还需要将数据根据处理目标一致化。一般说来，数据指标一般说来，在评价指标中可能包含有在评价指标中可能包含有:第25页，共31页，编辑于2022年，星期六（3 3）数据规范化）数据规范化第26页，共31页，编辑于2022年，星期六第27页，共31页，编辑于2022年，星期六（3 3）数据规范化）数据规范化例：长江水质的综合评价模型例：长江水质的综合评价模型第28页，共31页，编辑于2022年，星期六第29页，共31页，编辑于2022年，星期六第30页，共31页，编辑于2022年，星期六谢谢 谢谢 ！QQ:33248688太原理工大学数学学院太原理工大学数学学院第31页，共31页，编辑于2022年，星期六