大数据的基本概念与应用前景13620.pptx

《大数据的基本概念与应用前景13620.pptx》由会员分享，可在线阅读，更多相关《大数据的基本概念与应用前景13620.pptx（39页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据的基本概念与应用前景 内 容一、大数据的重要性二、大数据的基本特点三、大数据的相关技术与概念四、大数据的医学应用五、大数据的机遇与挑战不同国家的大数据战略国家/地区 时间 内容美国 2012年3月 启动由联邦政府六个部门组织的大数据研究计划，投资两亿美元。将“大数据战略”上升为国家战略，认为大数据为“未来的新石油”日本 2012年7月 面向2020年的ICT综合战略将“通过大数据应用促进社会发展经济增长”作为五大重点之一，并提出活力数据战略，提升日本竞争力欧盟 2012年9月 联合欧洲整体力量，制定大数据战略，作为欧盟Horizon 2020战略一部分，加速追赶英国 2013年1月 英国

2、把大数据作为八大关键技术领域之一，计划两年内向大数据关键技术投入1.89亿英镑，抢占先机澳大利亚 2013年3月 发布大数据战略报告，宣布将于2013年7月前完成政府大数据制定，促进大数据在政府中的应用中国 2014年3月5日，“大数据”首次进入我国政府工作报告，11月15日李克强总理提出在疾病防治、灾害预防、社会保障、电子政务等领域开展大数据应用示范。Source:Nigel Holmes 2012/Smolan&Erwitt:The Human Face of Big Data 内 容一、大数据的重要性二、大数据的基本特点三、大数据的相关技术与概念四、大数据的医学应用五、大数据的机遇与挑战

3、facebook 社交网络淘宝、ebuy电子商务微博、Apps移动互联网 21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。“大数据”的诞生：半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念

4、。如今，这个概念几乎应用到了所有人类智力与发展的领域中。大数据时代的演变大数据大数据的4V 特性YB:2 的80 次方，ZB 的1000 倍ZB:2 的70 次方，EB 的1000 倍EB:2 的60 次方，PB 的1000 倍PB:2 的50 次方，TB 的1000 倍TB:2 的40 次方，GB 的1000 倍KB:2 的10 次方，1024=1KBMB:2 的20 次方，KB 的1000 倍GB:2 的30 次方，MB 的1000 倍一个英文字母=1 字节（byte）绝大部分应用在这两个数量级http:/的110 次方，NB 的1000 倍NB:2 的100 次方，BB 的1000 倍B

5、B:2 的90 次方，YB 的1000 倍全球数据量（ZB）1980 以来，每40 个月翻一番数据量增速，是GDP 增速的4 倍数据处理能力，是GDP 增速的9 倍 2000 年人类信息75%是模拟数据，2007 年是6%，现在1%？Value 价值 挖掘大数据的价值类似沙里淘金,从海量数据中挖掘稀疏但珍贵的信息.价值密度低，是大数据的一个典型特征.内 容一、大数据的重要性二、大数据的基本特点三、大数据的相关技术与概念四、大数据的医学应用五、大数据的机遇与挑战 大数据技术将被设计用于在成本可承受的条件下，通过非常快速（velocity）的采集、发现和分析，从大量化（volumes）、多类别（v

6、ariety）的数据中提取价值（value）数据、信息、知识与智能DataInformationKnowledgeWisdom3939 C39=FeverTake TylenolAcquisition StorageProcessingIntegrationRetrievalDisplay Descriptive:What happened?u Disease categoriesu Adverse eventsPredictive:What might happen?u High-risk patientsu Genetic risksPrescriptive:What should we

7、do?u Minimize readmissionsu Personalized therapeuticsBiomedical Discovery Healthcare Delivery Health Prevention数据采集数据储存与管理统计分析、预测与挖掘计算结果展示大数据的相关技术 ETL工具（Extraction-Transformation-Loading，数据提取、转换和加载）数据众包（CrowdSouring）结构化、非结构化和半结构化数据 分布式文件系统 关系数据库 非关系数据库（NoSQL）数据仓库 Hadoop 云计算和云存储 实时流处理 标签云（Tag Cloud）聚

8、类图（Clustergram）空间信息流（Spatial information flow）热图（Heatmap）A/B Testing 关联规则分析 分类 聚类 遗传算法 神经网络 预测模型 模式识别 时间序列分析 回归分析 系统仿真 机器学习 优化 空间分析 社会网络分析 自然语言分析 MapReduce R语言白云下面数据跑蓝蓝的天上白云飘 如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器。没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀。大数据与云计算（1）云计算的模式是业务模式，本质是数据处理技术。数据是资产，云为数据资产提

9、供存储、访问和计算。当前云计算更偏重海量存储和计算，以及提供的云服务，运行云应用，但是缺乏盘活数据资产的能力，挖掘价值性信息和预测性分析，为政府、医院等机构、个人提供决策和服务，是大数据核心议题，也是云计算的最终方向。大数据与云计算（2）Hadoop与Map Reduce的概念 Hadoop是一个能够对大量数据进行分布式处理的软件框架。以一种可靠、高效、可伸缩的方式进行处理。Map Reduce则是一种可以用来并行处理大数据的编程模型。同一程序在Hadoop的框架下可以用各种不同的语言（Java,Ruby,Python等）按MapReduce的编程模型进行编写和运行。R语言R语言是一种自由软件

10、编程语言与操作环境，主要用于统计分析、绘图、数据挖掘。R语言擅长在Hadoop分布式文件系统中存储的非结构化数据上进行分析。R现在还可以运行在HBase这种非关系型的数据库以及面向列的分布式数据存储之上。聚类图聚类图（Clustergram）是指用图形方式展示聚类分析结果的技术，可以有助于判断簇数量不同时的聚类效果。空间信息流空间信息流（Spatial information flow）是展示信息空间状态的一种可视化技术。热图热图（Heatmap）是一项数据展示技术，将变量值用不同的颜色或高亮形式描绘出来。可以非常直观的呈现一些原本不易理解或表达的数据，比如密度、频率、温度等。内 容一、大数据

11、的重要性二、大数据的基本特点三、大数据的相关技术与概念四、大数据的医学应用五、大数据的机遇与挑战大数据应用公共卫生：分析疾病模式和追踪疾病暴发及传播方式途径，提高公共卫生监测和反应速度。临床操作：相对更有效的医学研究，发展出临床相关性更强和成本效益更高的方法用来诊断和治疗病人。科学研究与发展：在药品和医疗器械方面，建立更低磨损度，更精简，更快速，更有针对性的研发产品线。提高临床试验设计和患者的招募，使得治疗方法可以更好地匹配个体患者的病症，从而降低临床试验失败的可能和加快新的治疗方法推向市场。面临挑战数 据源结 构 化、半 结 构 化（病 历），非 结构 化（PACS 影像)数 据格式 标 准

12、 难 制定,或不 断 变 化数 据量中型城市（1000 万人口）存放50年 会达 到10PB 医疗信息区域内准实时共享，医生可快速调阅病人信息信息共享提升效率基于病史的自动医疗、饮食等建议；针对病史和病症的OTC药物参考等个性化医疗疾病自动分类和诊断计算机辅助诊断趋势分析：例如，流行病扩展情况分析、癌症的历年趋势、药物效果分析决策辅助系统区域医疗健康档案系统解 决 问题 居民 电 子病 历 存 储、查询解 决 方案HBase 分布式 数 据 库存放健康 档 案和PACS 影像 数 据特点 优势高速 数 据 导 入；实时 数 据 查询；关 键 字搜索；分布式 统计智慧医疗与大数据智慧医疗与大数据

13、 Science杂志于2014年底和2015年初分别刊登了“公共卫生遇上了大数据”和“将大数据纳入公共卫生系统”，指出：“强大的流行病学基础、稳健的知识整合、循证医学原则以及拓展的转化医学研究议程”可以推动大数据在公共卫生方面的应用。五、大数据的机遇与挑战 五、大数据的机遇与挑战内 容一、大数据的重要性二、大数据的基本特点三、大数据的相关技术与概念四、大数据的医学应用五、大数据的机遇与挑战我国卫生信息化发展计划35212 35212 工程 工程机遇u大数据赋予我们洞察未来的能力 人类从依靠自身判断做决定到依靠数据做决定的转变，也是大数据作出的最大贡献之一。大数据时代挑战1：大数据时代赋予统计人

14、员重大责任 数据的管理分析并不仅仅是提取，检索，汇总，总结。统计专业人员的参与也是必不可少的。数据本身的复杂性，使得分析的过程中充满了种种陷阱，误区。1.数据异质性（heterogeneity）。因素越多，建立普遍有效的统计模型的难度就越大。2.偏倚叠加(Biasaccumulation)3.虚假相关（spuriouscorrelation）4.无意义显著性(meaninglesssignificance)5.羊群效应（herdingeffect）没有一定统计方面的理论知识结构，就会出现分析上的偏差，或者数据利用低效率。挑战2：大数据时代的个人能力要求u 计算机科学/数据开发的专业技能：扎实的计算机科学基础及运用能力，明了大数据的基础框架设施u 分析和建模能力：在了解数据的基础上迅速分析并建立有效的统计模型。这不仅需要扎实的统计学，还需要有敏锐的思考和洞察力。u 好奇心和创意的思考能力：这需要对数据有着一种渴望激情，善于全面敏锐的思考并挖掘问题。一些机构寻找人才就是看谁能在讨论数据时能够灵光一现。u 突出的交流能力：能清晰用非专业语言帮助客户理解分析结果，并做出决定。挑战3：安全与隐私 最重要的是每个人的信息都被互联网所记录和保留了下来，并且进行加工和利用，为人所用，而这正是我们所担忧的信息安全隐患！