欢迎来到淘文阁 - 分享文档赚钱的网站! | 帮助中心 好文档才是您的得力助手!
淘文阁 - 分享文档赚钱的网站
全部分类
  • 研究报告>
  • 管理文献>
  • 标准材料>
  • 技术资料>
  • 教育专区>
  • 应用文书>
  • 生活休闲>
  • 考试试题>
  • pptx模板>
  • 工商注册>
  • 期刊短文>
  • 图片设计>
  • ImageVerifierCode 换一换

    数据处理方法与依据幻灯片.ppt

    • 资源ID:47510081       资源大小:1.81MB        全文页数:31页
    • 资源格式: PPT        下载积分:18金币
    快捷下载 游客一键下载
    会员登录下载
    微信登录下载
    三方登录下载: 微信开放平台登录   QQ登录  
    二维码
    微信扫一扫登录
    下载资源需要18金币
    邮箱/手机:
    温馨提示:
    快捷下载时,用户名和密码都是您填写的邮箱或者手机号,方便查询和重复下载(系统自动生成)。
    如填写123,账号就是123,密码也是123。
    支付方式: 支付宝    微信支付   
    验证码:   换一换

     
    账号:
    密码:
    验证码:   换一换
      忘记密码?
        
    友情提示
    2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。
    3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。
    4、本站资源下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。
    5、试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓。

    数据处理方法与依据幻灯片.ppt

    第1页,共31页,编辑于2022年,星期六1 概述 近几年,数学建模竞赛的规模越来越大,水平越来越高;赛题难度也越来越大,对学生数据处理能力要求也越来越高,最困难的有两个方面:(1)无数据建模问题;(2)海量数据问题。第2页,共31页,编辑于2022年,星期六无数据建模问题无数据建模问题例如:(1)2010B:2010年上海世博会影响力的定量评估;(2)2008B:高等教育学费标准探讨;往往为综合评价类模型,赛题来自于实际问题,开放程度比较高,需要据相关多因素信息及收集到数据对实际对象进行客观、公正、合理的全面评价。第3页,共31页,编辑于2022年,星期六无数据建模问题无数据建模问题数据收集手段与方法:(1)权威机构或相关部门发布;(2)通过搜索引擎在Internet搜索;(3)通过问卷、实验等自主采集;例如:公交车门的高度是按照成年男子与车门顶部碰头的机率不超过1%设计的,山西省欲采购一批公交车,请问应将车门高度设计成多高比较合适?第4页,共31页,编辑于2022年,星期六无数据建模问题无数据建模问题 问题的关键在于获取山西省成年男子的身高情况,我们优先考虑的方法是(1)(2),在无法通过前两种方法获取的情况下,可以通过(3)获得。显然取样,进而可以获得山西成年男子身高X的样本均值和样本方差,剩下的就是求解一个简单的概率问题而已:P(X=99%第5页,共31页,编辑于2022年,星期六海量数据建模问题海量数据建模问题2000A2000A:DNADNA序列分类;序列分类;2000B2000B:钢管订购和运输;:钢管订购和运输;2001A2001A:血管的三维重建;:血管的三维重建;2001B2001B:公交车调度;:公交车调度;2002B2002B:彩票中的数学;:彩票中的数学;2003A2003A:SARSSARS的传播;的传播;2004A2004A:奥运会临时超市网点设计;:奥运会临时超市网点设计;第6页,共31页,编辑于2022年,星期六海量数据建模问题海量数据建模问题2004B2004B:电力市场的输电阻塞管理;:电力市场的输电阻塞管理;2005A2005A:长江水质的评价和预测;:长江水质的评价和预测;2005B2005B:DVDDVD在线租赁;在线租赁;2006A2006A:出版社的资源配置;:出版社的资源配置;2006B2006B:艾滋病疗法的评价及疗效的预测:艾滋病疗法的评价及疗效的预测尤其是:尤其是:2011 2011年夏令营:年夏令营:测井曲线自动分层问题(测井曲线自动分层问题(10M)第7页,共31页,编辑于2022年,星期六海量数据建模问题海量数据建模问题 显然大批量数据是很难手工处理的,需要我们借助显然大批量数据是很难手工处理的,需要我们借助于计算机以及一些数据处理软件来完成,需要掌握基于计算机以及一些数据处理软件来完成,需要掌握基本的计算机使用与编程能力。本的计算机使用与编程能力。实在无法完成大批量数据处理的情况下,实在无法完成大批量数据处理的情况下,随机随机截取截取典型性数据也不失为一种合理的解决办法。典型性数据也不失为一种合理的解决办法。第8页,共31页,编辑于2022年,星期六海量数据建模问题海量数据建模问题数学建模中常用软件:数学建模中常用软件:World MATLAB Mathematica Lindo Execl SPSS C&C+Lingo第9页,共31页,编辑于2022年,星期六海量数据建模问题海量数据建模问题软件学习的关键:软件学习的关键:(1 1)数据的读入;)数据的读入;(2 2)异常数据处理;)异常数据处理;(3 3)数据规范化与归一化;)数据规范化与归一化;(4 4)常见问题与软件功能的对应。)常见问题与软件功能的对应。(5 5)绘图与可视化输出。)绘图与可视化输出。第10页,共31页,编辑于2022年,星期六(1 1)数据的读入)数据的读入数据的读入:数据的读入:a)a)复制、粘贴;复制、粘贴;b)b)功能函数。功能函数。MatlabMatlab中中textreadtextread()():a=textread(data.txt,%*s%*s%f%*s,headerlines,3,a=textread(data.txt,%*s%*s%f%*s,headerlines,3,delimiter,)delimiter,)headerlines headerlines是文件头有多少行是文件头有多少行delimiterdelimiter就是就是词跟词之间的分隔符。词跟词之间的分隔符。%s%s是字符串的意思,是字符串的意思,%f%f是浮是浮点数的意思而在它们中间加上点数的意思而在它们中间加上*,表示跳过这个词。,表示跳过这个词。%*s%*s%*s%*s的意思就是跳过前两个词。的意思就是跳过前两个词。第11页,共31页,编辑于2022年,星期六(1 1)数据的读入)数据的读入MatlabMatlab中中imreadimread()():该函数用于读取图片文件中的数据。该函数用于读取图片文件中的数据。filename=e.bmp;filename=e.bmp;imgRgb=imread(filename);%imgRgb=imread(filename);%读入一幅彩色读入一幅彩色图像图像 imshow(imgRgb);%imshow(imgRgb);%显示彩色图像显示彩色图像MatlabMatlab中中xlsreadxlsread()():该函数用于读取该函数用于读取ExeclExecl文件中的数据。文件中的数据。第12页,共31页,编辑于2022年,星期六(1 1)数据的读入)数据的读入LingoLingo中中filefile()():该函数用于文本文件的读入。该函数用于文本文件的读入。LingoLingo中中TEXTTEXT():():该函数输出数据(文本文件)。该函数输出数据(文本文件)。LingoLingo中中OLEOLE()()该函数与电子表格软件(如该函数与电子表格软件(如EXCELEXCEL)连接;)连接;LingoLingo中中ODBCODBC()()该函数与数据库连接。该函数与数据库连接。第13页,共31页,编辑于2022年,星期六(1 1)数据的读入)数据的读入FILEFILE和和TEXTTEXT:文本文件输入输出:文本文件输入输出MODEL:SETS:MYSET/FILE(myfile.txt)/:FILE(myfile.txt);ENDSETSMIN=SUM(MYSET(I):SHIP(I)*COST(I);FOR(MYSET(I):CON1 SHIP(I)NEED(I);CON2 SHIP(I)SUPPLY(I);DATA:COST=FILE(myfile.txt);NEED=FILE(myfile.txt);SUPPLY=FILE(myfile.txt);TEXT(result.txt)=STATUS(),SHIP,DUAL(SHIP),RANGED(SHIP)DUAL(CON1),RANGEU(CON2);ENDDATAENDmyfile.txt文件的内容、格式:Seattle,Detroit,Chicago,DenverCOST,NEED,SUPPLY,SHIP12,28,15,201600,1800,1200,10001700,1900,1300,1100第14页,共31页,编辑于2022年,星期六(1 1)数据的读入)数据的读入 c)c)计算机语言编程计算机语言编程文本文档中写着:文本文档中写着:1 Intel_Pentium_E_2140 495 01 Intel_Pentium_E_2140 495 02 AMD_Athlon64_X2_3600+465 02 AMD_Athlon64_X2_3600+465 03 Intel_Celeron_420 480 03 Intel_Celeron_420 480 0.要求将这些读入要求将这些读入C C程序中程序中(编号,名称,价格,已售出量组成编号,名称,价格,已售出量组成)#include stdio.hstruct Hardware_database int number;char name40;int price;int sales;CPU50;int main(int argc,char*argv)int i;FILE*CPU_record;PU_record=fopen(c:CPU_Data.txt,r);for(i=1;feof(CPU_record)=0;i+)fscanf(CPU_record,%d%s%d%dn,&CPUi.number,CPUi.name,&CPUi.price,&CPUi.sales);printf(%d,%s,%dn,CPUi.number,CPUi.name,CPUi.price);printf(Press AnyKey to Back);getchar();fclose(CPU_record);return 0;第15页,共31页,编辑于2022年,星期六(2 2)异常数据处理)异常数据处理第16页,共31页,编辑于2022年,星期六(2 2)异常数据处理)异常数据处理 a)a)散点图。散点图。MatlabMatlab中可由中可由plot()plot()实现,在实现,在SPSSSPSS中可通过点选中可通过点选菜单的方式实现。画散点图还可以帮助我们找出数据的规律。菜单的方式实现。画散点图还可以帮助我们找出数据的规律。第17页,共31页,编辑于2022年,星期六(2 2)异常数据处理)异常数据处理 b b)3 3检测法检测法第18页,共31页,编辑于2022年,星期六(2 2)异常数据处理)异常数据处理第19页,共31页,编辑于2022年,星期六(2 2)异常数据处理)异常数据处理 C)C)聚类分析法聚类分析法第20页,共31页,编辑于2022年,星期六(2 2)异常数据处理)异常数据处理异常数据处理:异常数据处理:剔除剔除 均值替代均值替代 回归替代回归替代 异常数据的处理由异常数据的处理由SPSSSPSS、SASSAS、mintabmintab实现比其实现比其他软件更方便。他软件更方便。第21页,共31页,编辑于2022年,星期六(3 3)数据规范化)数据规范化 如果不对这些指标作相应的无量纲处理,则在综合评价过如果不对这些指标作相应的无量纲处理,则在综合评价过程中就会出程中就会出“大数吃小数大数吃小数”的错误结果,从而导致最后得到的错误结果,从而导致最后得到错误的评价结论。错误的评价结论。无量纲化处理又称为指标数据的无量纲化处理又称为指标数据的标准化标准化,或或规范化规范化处理。处理。常用方法常用方法:标准差法、极值差法和功效系数法等。标准差法、极值差法和功效系数法等。第22页,共31页,编辑于2022年,星期六(3 3)数据规范化)数据规范化第23页,共31页,编辑于2022年,星期六(3 3)数据规范化)数据规范化第24页,共31页,编辑于2022年,星期六(3 3)数据规范化)数据规范化 极大型指标极大型指标:总是期望指标的取值越大越好;总是期望指标的取值越大越好;极小型指标极小型指标:总是期望指标的取值越小越好;总是期望指标的取值越小越好;中间型指标中间型指标:总是期望指标的取值既不要太大,也不要太小总是期望指标的取值既不要太大,也不要太小为好,即取适当的中间值为最好为好,即取适当的中间值为最好;区间型指标区间型指标:总是期望指标的取值最好是落在某一个确定的总是期望指标的取值最好是落在某一个确定的区间内为最好。区间内为最好。在将数据无量纲化之前,在有些问题下,特别是综合评价模型中,在将数据无量纲化之前,在有些问题下,特别是综合评价模型中,还需要将数据根据处理目标一致化。一般说来,数据指标一般说来,还需要将数据根据处理目标一致化。一般说来,数据指标一般说来,在评价指标中可能包含有在评价指标中可能包含有:第25页,共31页,编辑于2022年,星期六(3 3)数据规范化)数据规范化第26页,共31页,编辑于2022年,星期六第27页,共31页,编辑于2022年,星期六(3 3)数据规范化)数据规范化例:长江水质的综合评价模型例:长江水质的综合评价模型第28页,共31页,编辑于2022年,星期六第29页,共31页,编辑于2022年,星期六第30页,共31页,编辑于2022年,星期六谢谢 谢谢 !QQ:33248688太原理工大学数学学院太原理工大学数学学院第31页,共31页,编辑于2022年,星期六

    注意事项

    本文(数据处理方法与依据幻灯片.ppt)为本站会员(石***)主动上传,淘文阁 - 分享文档赚钱的网站仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知淘文阁 - 分享文档赚钱的网站(点击联系客服),我们立即给予删除!

    温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载不扣分。




    关于淘文阁 - 版权申诉 - 用户使用规则 - 积分规则 - 联系我们

    本站为文档C TO C交易模式,本站只提供存储空间、用户上传的文档直接被用户下载,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有。本站仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私,请立即通知淘文阁网,我们立即给予删除!客服QQ:136780468 微信:18945177775 电话:18904686070

    工信部备案号:黑ICP备15003705号 © 2020-2023 www.taowenge.com 淘文阁 

    收起
    展开