大数据时代的机遇与挑战.pptx

走进大数据时代大数据时代的机遇大数据时代的挑战一二三 最早最早提出提出“大数据时代大数据时代”是全球著名咨询是全球著名咨询公司麦肯锡公司麦肯锡。麦麦肯锡称：肯锡称：“数据，已经渗透到当今每一个行业和业务职能数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。用，预示着新一波生产率增长和消费者盈余浪潮的到来。”纽约时报纽约时报20122012年年2 2月的一篇专栏中月的一篇专栏中所称所称 ，“大大数据时代数据时代”已经已经降临，在商降临，在商业、经济及其他领域中，决策将日益基业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验于数据和分析而作出，而并非基于经验和直觉。和直觉。20132013年被公认为大数据元年：年被公认为大数据元年：1 1、舍恩伯格认为：当前，人类、舍恩伯格认为：当前，人类已已进人大进人大数据时代数据时代。国际数据公司的。国际数据公司的研究结果研究结果表明：表明：20112011年年全球产生全球产生的的数据量高数据量高达达1.82 1.82 ZBZB（1ZB=1024EB=10242PB=10241ZB=1024EB=10242PB=10243TB=230TB3TB=230TB）.Mayer-Schonberger V.，Cukier KBig Data：a revolution that will transform how we live，work，and thinkMBoston：Houghton Miflin Harcourt，2013 2 2、20122012年年3 3月，奥巴马政府发布了月，奥巴马政府发布了“大数据研究和发展倡议大数据研究和发展倡议”，拟投，拟投资资2 2亿美元，启动亿美元，启动“大数据发展计大数据发展计划划”，以期在科学研究、环境、生，以期在科学研究、环境、生物医学等领域利用大数据技术进行物医学等领域利用大数据技术进行突破。突破。3 3、20122012年年5 5月，联合国发表月，联合国发表大数大数据促发展：挑战与机遇据促发展：挑战与机遇政务白皮政务白皮书中，指出大数据对于世界各国是书中，指出大数据对于世界各国是一个历史机遇，探讨如何利用包括一个历史机遇，探讨如何利用包括社交网络在内的大数据资源造福人社交网络在内的大数据资源造福人类。类。大数据时代：生活、工作大数据时代：生活、工作与思维的大变革与思维的大变革一书的作者维一书的作者维克托克托迈尔迈尔舍恩伯格，如是说，舍恩伯格，如是说，“如果个体的人，拒绝大数据时如果个体的人，拒绝大数据时代，代，可能会失去可能会失去生命；如果生命；如果是一是一个个国家，国家，拒绝大数据拒绝大数据时代，可能时代，可能意味着失去意味着失去这个国家的未来，失这个国家的未来，失去一代人的未来。去一代人的未来。”1、什么是大数据？2、大数据有何特点3、大数据时代有何特征？目前，对目前，对大数据大数据尚未形成公认的尚未形成公认的定义，定义，不同的定义基本上是从特征出发，试图不同的定义基本上是从特征出发，试图给给大数据一个确切的阐释。大数据一个确切的阐释。维克托维克托舍恩伯格认为：舍恩伯格认为：大数据是互联网的延续，具大数据是互联网的延续，具有很多丰富的内涵。大数据的主要功能是用于预测，并且数有很多丰富的内涵。大数据的主要功能是用于预测，并且数据越大，预测越准确。相对于小数据时代，大数据时代数据据越大，预测越准确。相对于小数据时代，大数据时代数据的价值体现在反复使用，反复分析与运算之中。的价值体现在反复使用，反复分析与运算之中。Jee K，Kim GHPotentiality of big data in the medical sector：focus on how to reshape the healthcare system Jl Healthc.Inform.Res.，2013，19(2)：7985 大大数据数据(big data)(big data)是指由于容量太大和过于复杂，无法在一定是指由于容量太大和过于复杂，无法在一定时间内用常规软件对其内容进行抓取、管理、存储、检索、共时间内用常规软件对其内容进行抓取、管理、存储、检索、共享、传输和分析的数据集。大数据具有享、传输和分析的数据集。大数据具有“4V”4V”特征特征：(1)(1)Volume;Volume;数据容量一般在数据容量一般在1PB1PB以上；以上；(2)(2)Variety;Variety;数据类型繁多，包括结构化、半结构化和非结构化；数据类型繁多，包括结构化、半结构化和非结构化；(3)(3)Velocity;Velocity;产生与更新速度快，时效性高；产生与更新速度快，时效性高；(4)(4)Value;Value;蕴含蕴含着新知识，以及极其重要的预测价值。着新知识，以及极其重要的预测价值。大数据的特点：大数据的特点：大大我们现在能够捕捉到的数据量越来越大。其实，并非数我们现在能够捕捉到的数据量越来越大。其实，并非数据量越大越好，而是我们能够捕获多少有用信息。据量越大越好，而是我们能够捕获多少有用信息。乱乱我们总希望能够找准方向进行预测，但是在目前的大数我们总希望能够找准方向进行预测，但是在目前的大数据环境下，我们越来越摸不清方向。据环境下，我们越来越摸不清方向。关关联联大大数据之间必然存在着某种联系，这种关联，必将有助数据之间必然存在着某种联系，这种关联，必将有助于我们去更好地进行预测。因此，在大数据面前，我们于我们去更好地进行预测。因此，在大数据面前，我们应尽量做到谦卑。应尽量做到谦卑。大数据时代大数据时代的标志：的标志：1 1、智能终端的、智能终端的普及普及2 2、网络带宽的、网络带宽的提升提升3 3、电子商务的狂热电子商务的狂热4 4、社交网络流行、社交网络流行5 5、热点地区预测、热点地区预测6 6、云云计算的兴起计算的兴起7 7、物物联网时代的到来联网时代的到来全球流量累计达到全球流量累计达到1EB1EB（即即10242TB10242TB）的时间：）的时间：一年（一年（20012001）一个月（一个月（20042004）一周（一周（20072007）一天（一天（20132013）一天产生的信息量可刻满一天产生的信息量可刻满1.881.88亿张亿张DVDDVD光盘光盘大数据时代，数据量究竟有多大大数据时代，数据量究竟有多大？磁盘发明到现在磁盘发明到现在已近已近6060年，年，原来的数据存储和现在的原来的数据存储和现在的数据存储有哪些不同？数据存储有哪些不同？19871987年，东芝发布了世界上第一个年，东芝发布了世界上第一个 NAND NAND 闪存闪存。从。从20052005年到年到20142014年间，年间，MicroSD MicroSD 的容量提升了的容量提升了10001000倍。倍。1010年年10001000倍。倍。19561956年，第一块硬盘容量只有年，第一块硬盘容量只有5MB5MB，体积比，体积比2 2个冰箱还大。个冰箱还大。20132013年主力硬盘容量是年主力硬盘容量是4TB4TB，大小只有，大小只有3.53.5。希捷预计，。希捷预计，20202020年，年，采用新技术的机械硬盘的容量将达采用新技术的机械硬盘的容量将达60TB60TB。19741974年的机械硬盘容量只有年的机械硬盘容量只有200MB200MB，重达，重达1010磅。而磅。而20132013年一个年一个东芝东芝512GB512GB的的 PCIe NAND PCIe NAND 闪存磁盘，只有一条内存闪存磁盘，只有一条内存大小。大小。左边左边是是19811981年年DECDEC的机械硬盘的机械硬盘，用当时流行的，用当时流行的14”14”的盘片制成。的盘片制成。而右边是希捷的微硬盘，尺寸比而右边是希捷的微硬盘，尺寸比1.81.8还小，但还小，但容量大容量大得得多。多。我国网民数量居世界之首，每天产生的数据量也位于世界前列。我国网民数量居世界之首，每天产生的数据量也位于世界前列。序号序号类别类别数据大小数据大小1 1淘宝淘宝日数据产量日数据产量55万万GBGB数据存储量数据存储量约约4 4万万TBTB2 2百度百度日搜索量日搜索量约约6060亿次亿次存储网页存储网页约约1 1万亿页万亿页目前数据总量目前数据总量1 1万万PBPB3 3道路电子道路电子眼眼（8Mbps8Mbps）一小时数据产量一小时数据产量约约3.6GB3.6GB中型城市每月数据产量中型城市每月数据产量约约2.62.6万万TBTB 2013 2013年年，世界世界范围范围内大数据总产值保守估内大数据总产值保守估计为计为186186亿美元，但广义的大数据应用几乎覆亿美元，但广义的大数据应用几乎覆盖所有产业。据麦肯锡公司预测，开放数据盖所有产业。据麦肯锡公司预测，开放数据仅在教育、保健等仅在教育、保健等7 7个行业个行业便释放便释放3.23.25.45.4万亿万亿美元的经济价值。美元的经济价值。天文学天文学生物医学生物医学电子政务电子政务气候学气候学企业管理企业管理教育学教育学金融领域金融领域市场营销市场营销公共服务公共服务商业智能商业智能传媒业传媒业生活娱乐生活娱乐政治政治领域领域情报学情报学社会学社会学机械工程机械工程地理地理图书馆学图书馆学金融领域金融领域教育领域教育领域互联网领域互联网领域政治领域政治领域医疗卫生领域医疗卫生领域一二三16 华尔街华尔街“德温特资本市德温特资本市场场”公司公司CEOCEO保保罗罗霍廷每霍廷每天的工作天的工作之一就是分析之一就是分析全球全球3.43.4亿微博账户的亿微博账户的留言，根据留言，根据结果再结果再决定如何处理决定如何处理手中的手中的股票股票。他的。他的判断原则很简单判断原则很简单：所有人所有人似乎都似乎都高兴就高兴就买入；买入；如果大家的焦虑情绪上升，如果大家的焦虑情绪上升，那就抛售那就抛售。金融领域金融领域 截止截止20132013年底年底阿里巴巴阿里巴巴数据数据平台平台服务器服务器上，上，已积攒已积攒超过超过100PB100PB已已处理的处理的数据，相当于数据，相当于104857600104857600个个GBGB，包，包括交易、金融、括交易、金融、SNSSNS、地图、生活服务、地图、生活服务等多种等多种数据类型，数据类型，这这相当于相当于4 4万个西雅万个西雅图中央图书馆，图中央图书馆，580580亿本藏书。亿本藏书。金融领域金融领域 目前目前大大数据在金融领域的数据在金融领域的研究与研究与应用还应用还处于初级阶段，处于初级阶段，但价值但价值已经已经显现。显现。未来，未来，大数据可能成为最大的金融交易大数据可能成为最大的金融交易产品，成产品，成为金融领域的重要基础为金融领域的重要基础设施。设施。金融领域金融领域5学习成绩学习成绩1入学率入学率2辍学率辍学率3识字的准确率识字的准确率5升学率升学率4作业的正确率作业的正确率6考试时考试时答题的顺序答题的顺序11师生互动的师生互动的时长与频率时长与频率回答问题的回答问题的时长、正确率时长、正确率课堂课堂举手次数举手次数回答回答问题的次数问题的次数平均每道题花费的时间平均每道题花费的时间1278910学校教育中的学校教育中的“大数据大数据”教育领域教育领域教育领域教育领域 美国联邦政府教育部美国联邦政府教育部20122012年参与了一项耗资年参与了一项耗资2 2亿美元的公共亿美元的公共教育中的大数据计划，旨在通过运用大数据分析来改善教育。联教育中的大数据计划，旨在通过运用大数据分析来改善教育。联邦教育部从财政预算中支出邦教育部从财政预算中支出25002500万美元，用于理解学生在个性化万美元，用于理解学生在个性化层面是怎样学习层面是怎样学习的。的。加拿大教育科技公司加拿大教育科技公司Desire Desire 2 2 LearnLearn已经已经面向高等教育领域的面向高等教育领域的学生推出了：基于过学生推出了：基于过去学习去学习成绩成绩数据的预测，并得出如何改善数据的预测，并得出如何改善未来学习成绩的大数据服务项目。通过监未来学习成绩的大数据服务项目。通过监控学生阅读电子化的课程材料、提交电子控学生阅读电子化的课程材料、提交电子版的作业、通过在线与同学交流、完成考版的作业、通过在线与同学交流、完成考试与测验，就能让计算程序持续、系统地试与测验，就能让计算程序持续、系统地分析每个学生的教育数据。老师得到的不分析每个学生的教育数据。老师得到的不再再是只是只展示学生分数与作业的结果，展示学生分数与作业的结果，而是而是更为更为详细的重要信息详细的重要信息。通过大通过大数据分析可以得到解答以下问题：数据分析可以得到解答以下问题：p 一个学生成绩差是因为周围环境造成的吗？一个学生成绩差是因为周围环境造成的吗？p 师生每节课互动的时长与频率各为多少，有助于学生吸收师生每节课互动的时长与频率各为多少，有助于学生吸收知识？知识？p期末期末考试不及格是否说明学生未掌握学习内容，还是因为考试不及格是否说明学生未掌握学习内容，还是因为他请了很多病假的缘故他请了很多病假的缘故？p 入学入学成绩对升学率成绩对升学率/辍学率有多大影响？辍学率有多大影响？p 教育领域教育领域互联网领域互联网领域 截止截止20142014年年1 1月，国内月，国内有有2 2亿手机用户使用百度亿手机用户使用百度地图。地图。用户用户每次位置变化，百度都能得到数据每次位置变化，百度都能得到数据。基于基于LBSLBS(基于地基于地理位置理位置的服务的服务)平台把定位平台把定位信息汇总成大数据进行分析信息汇总成大数据进行分析，即，即勾勒勾勒出人们的迁徙轨迹出人们的迁徙轨迹。数据。数据每每8 8小时更新一次，囊括了全小时更新一次，囊括了全国铁路、公路和航空在内的线路。国铁路、公路和航空在内的线路。互联网领域互联网领域爸爸去哪儿爸爸去哪儿大数据解读大数据解读 20132013年年1111月月，新华社新，新华社新媒体中心媒体中心联合数托邦创意分联合数托邦创意分析工作室抓取了新浪微析工作室抓取了新浪微 博上博上提及提及“爸爸去哪儿爸爸去哪儿”45.545.5万条万条原创微博，并对原创微博，并对36.736.7万独立原万独立原发作者用户（去除疑似水军发作者用户（去除疑似水军账户）、账户）、13001300余万条用户微余万条用户微博及近博及近1 1亿的关系进行数据分亿的关系进行数据分析。结果发现：析。结果发现：爸爸去哪爸爸去哪儿儿不仅成为名副其实的不仅成为名副其实的“口碑王口碑王”，还使娱乐节目发，还使娱乐节目发生了很多微妙变化。生了很多微妙变化。互联网领域互联网领域赞助赞助商商潜在潜在利益利益群体群体明星明星竞争竞争者者节目节目组组观众观众互联网领域互联网领域纸牌屋纸牌屋大数据时代成功的典范大数据时代成功的典范纸牌屋纸牌屋是是从从30003000万万付费用户的数据中总结付费用户的数据中总结收视收视习惯、选择，习惯、选择，仔细仔细分析分析400400万条评论、万条评论、300300万次主题搜索，并对万次主题搜索，并对用用户户喜好精喜好精准准分析的基础分析的基础上进行创作的。从上进行创作的。从受众受众洞察、受众定位、受众洞察、受众定位、受众接触到受众转化，每一接触到受众转化，每一步都由精准细致高效经步都由精准细致高效经济的数据引导，从而实济的数据引导，从而实现大众创造的现大众创造的C2BC2B，即，即由用户需求决定生产由用户需求决定生产。20122012年年 奥巴马奥巴马的竞选团的竞选团队队对数以千万计的选民邮件对数以千万计的选民邮件进行数据进行数据挖掘，精确预测挖掘，精确预测出出更拥护更拥护奥巴马的选民类型，奥巴马的选民类型，并进行了有针对性的宣传，并进行了有针对性的宣传，从而帮助奥巴马成为了美国从而帮助奥巴马成为了美国历史上唯一一位在竞选经费历史上唯一一位在竞选经费处于劣势下实现连任的总统。处于劣势下实现连任的总统。政治领域政治领域政治领域政治领域国双数据中心发布的国双数据中心发布的中国政府网站发展中国政府网站发展数据报告数据报告20122012中显中显示：政府网站用户的示：政府网站用户的总体跳出率为总体跳出率为63.33%63.33%，即有，即有2/32/3左右的用户左右的用户来到政府网站之后，来到政府网站之后，仅访问一个页面就离仅访问一个页面就离开了开了网站。网站。政治领域政治领域 20132013年年1010月，济南电子政务数据交换平台正式启用。该月，济南电子政务数据交换平台正式启用。该平台基于云计算理念，成功将工商、国税、质检、公安、平台基于云计算理念，成功将工商、国税、质检、公安、社保等社保等2020多个部门数据共享。国税局与地税局通过数据比多个部门数据共享。国税局与地税局通过数据比对，发现了对，发现了2500025000条数据差异，落实纳税企业条数据差异，落实纳税企业50005000多户，补多户，补缴税款缴税款27002700多万元。多万元。政治领域政治领域 随着随着GBGBT2818-T2818-20112011安全安全防范视频防范视频监控监控联网系统信息传输、交换联网系统信息传输、交换、控制技术控制技术要求要求于于20122012年年6 6月月1 1日日正式正式生效生效，基于大数，基于大数据的城市大据的城市大联网平台建设联网平台建设已经成为已经成为未来几年未来几年智慧智慧城城市市建设的首要任务。建设的首要任务。“智慧城市智慧城市”基于物联基于物联网、云计算、大数据处理网、云计算、大数据处理等技术，旨在构建一个可等技术，旨在构建一个可感知、可预测判断、可数感知、可预测判断、可数据安全共享、可自动度量、据安全共享、可自动度量、调配的富有生命力的现代调配的富有生命力的现代城市安全、卫生关系数据城市安全、卫生关系数据系统。系统。“智慧城市智慧城市”所具备的所具备的基本特征简称基本特征简称“4 I4 I”，表，表述如下：述如下：（1 1）InformationInformation（2 2）IntelligenceIntelligence（3 3）InnovationInnovation（4 4）InteractionInteraction业务业务应用层应用层支撑支撑平台平台层层移动移动监控监控交通交通管控管控治安治安管理管理刑事刑事侦查侦查CSS2000云存储平台云存储平台IEC3.0计算资源虚拟化平台计算资源虚拟化平台流媒体流媒体服务器服务器智能分析智能分析服务器服务器管理管理服务器服务器海量视海量视频分析频分析服务器服务器卡口管理卡口管理服务器服务器统一统一网管网管交互交互感知感知层层传感传感装置装置高清摄高清摄像机像机半球摄半球摄像机像机无线摄无线摄像机像机一体机与一体机与编码器编码器网络网络传输传输层层金盾网金盾网监控专网监控专网广域网广域网政治领域政治领域 2013 2013年两会期间年两会期间，有，有代表提议将代表提议将发展发展“大数据大数据”上升上升为国家战为国家战略略。大数据的发展，将极大地改变政府的管理模式，有利于节约政大数据的发展，将极大地改变政府的管理模式，有利于节约政府投资、加强市场监管能力、提高政府决策能力、提升公共服务能府投资、加强市场监管能力、提高政府决策能力、提升公共服务能力，实现区域化管理力，实现区域化管理。大数据背景下，我国电子政务创新模式的转变大数据背景下，我国电子政务创新模式的转变：1 1、关注焦点、关注焦点从信息向原始数据转变；从信息向原始数据转变；2 2、数据增值、数据增值从信息公布到数据开放转变；从信息公布到数据开放转变；3 3、协同方式、协同方式从部门信息独立到部门间数据共享。从部门信息独立到部门间数据共享。大数据时代，政治领域的终极目标是：开放数据大数据时代，政治领域的终极目标是：开放数据智慧政府。智慧政府。医疗卫生领域医疗卫生领域20082008年，谷歌利用从各国卫生组织获取的数据，制作出一款年，谷歌利用从各国卫生组织获取的数据，制作出一款“全全球流感地图球流感地图”，用于预测世界各地爆发流感疫情的可能性，指，用于预测世界各地爆发流感疫情的可能性，指导游客安全出行。导游客安全出行。两年后，两年后，H1N1H1N1病毒肆虐全球，谷歌的病毒肆虐全球，谷歌的“全球流感地图全球流感地图”成功派上用场，准确预测出患病高发地区，有效地指导成功派上用场，准确预测出患病高发地区，有效地指导人们进行预防。人们进行预防。医疗卫生领域医疗卫生领域Simon I.Simon I.Hay,Hay,Dylan B.Dylan B.George,Catherine L.Moyes,George,Catherine L.Moyes,John S.Brownstein.John S.Brownstein.Big Big Data Opportunities for Data Opportunities for Global Infectious DiseaseGlobal Infectious DiseaseSurveillance.Surveillance.Plos One.Plos One.2013.Vol.10(4):e1001413-2013.Vol.10(4):e1001413-16.16.医疗卫生领域医疗卫生领域 随着随着大数据时代的大数据时代的到来，医疗卫生数据领域智能化管理到来，医疗卫生数据领域智能化管理成为时代需要。所谓智能化管理，即为感知、互联、大数据成为时代需要。所谓智能化管理，即为感知、互联、大数据诊断与分析、优质医疗卫生资源共享。诊断与分析、优质医疗卫生资源共享。这种管理主要基于多种数据结构集成与交互，通过大数这种管理主要基于多种数据结构集成与交互，通过大数据存储、云计算、远程通信等手段，对医院内部数据进行整据存储、云计算、远程通信等手段，对医院内部数据进行整合，并与国家医疗数据平台进行数据交换，最大程度达到数合，并与国家医疗数据平台进行数据交换，最大程度达到数据共享。这将极大地推动医学与公共卫生事业的发展。据共享。这将极大地推动医学与公共卫生事业的发展。医院信息平台医院信息平台临床文档存储临床文档存储电子病历电子病历外科学外科学HMIS医院管医院管理系统理系统医院管医院管理系统理系统医院管医院管理系统理系统医院管医院管理系统理系统核医学核医学标准外标准外部接口部接口RIS/PACS检验检验LIS病理病理麻醉麻醉手术科手术科内科学内科学医校智医校智能化能化专家专家系统系统ICU/CCU国家医疗国家医疗信息数据平台信息数据平台医疗卫生领域医疗卫生领域 大数据对传统医疗卫生领域的影响如下：大数据对传统医疗卫生领域的影响如下：（1 1）大数据提高了全球疾病监控的效率；）大数据提高了全球疾病监控的效率；（2 2）大数据分析加快医学数据从概念走向价值，成为智慧健）大数据分析加快医学数据从概念走向价值，成为智慧健康的基础；康的基础；（3 3）大大数据推进个体化医疗的发展；数据推进个体化医疗的发展；（4 4）大数据）大数据 对对临床临床病理产生重大影响；病理产生重大影响；（5 5）大数据呼唤多学科融合的创新性大数据呼唤多学科融合的创新性ITIT人才。人才。Chawla NV，Davis DABring big data to personalized healthcare：a patient-centered framework JJ Gen Intern Med，2013，28 Suppl 3：s660-665.李静，顾江：个体化李静，顾江：个体化医疗和大数据时代的机遇和医疗和大数据时代的机遇和挑战挑战J.医学医学与与哲学哲学,2014,Vol.35(1A):5-11.因此，大数据时代的机遇因此，大数据时代的机遇概括概括如下：如下：大大数据时代，数据的汇聚、分析与利用推动国家数据时代，数据的汇聚、分析与利用推动国家和和社社会向智能化方向快速发展会向智能化方向快速发展;大大数据的快速、高效分析成为数据的快速、高效分析成为企业竞争的新焦点企业竞争的新焦点;大数据时代大数据时代呼唤更多创新型、综合型优秀呼唤更多创新型、综合型优秀ITIT人才。人才。OpportunitiesOpportunitiesChallenges?Challenges?Yes!Yes!Breaking News 1Breaking News 1Prism PlanTheBeginningBush Government2007TheExecutantNSA&FBITheNatureSecretly Electronic Monitoring TheTargetsAll the people in the countries and districts far away from the mainland of the United StatesTheRevealBy Snowden2013 通过智能手机与互联网后门，通过智能手机与互联网后门，监听用户私人信息。监听用户私人信息。Breaking News 2（1 1）大数据中有用信息的）大数据中有用信息的准确提取；准确提取；（2 2）大数据时代，信息安）大数据时代，信息安全是一个亟待解决的问题。全是一个亟待解决的问题。舍恩伯格提出了两大挑战：舍恩伯格提出了两大挑战：数据收集数据收集（1）为）为数据附上数据附上时空标志，去伪时空标志，去伪存真，尽可能收存真，尽可能收集异源甚至是异集异源甚至是异构的构的数据；数据；（2）与）与历史数据对历史数据对照，多角度验证照，多角度验证数据的全面性和数据的全面性和可信性。可信性。数据存储数据存储（1）用冗余）用冗余配置、配置、分布化和云分布化和云计算技计算技术对数据进行预处术对数据进行预处理；理；（2）存储存储时对数据时对数据进行分类，通过过进行分类，通过过滤和去重，减少存滤和去重，减少存储量，并加入便于储量，并加入便于检索的标签。检索的标签。数据处理数据处理 大数据的复杂性大数据的复杂性使得难以用传统使得难以用传统的方法描述与度的方法描述与度量，需要将高维量，需要将高维图像等多媒体数图像等多媒体数据降维后度量与据降维后度量与处理，利用上下处理，利用上下文关联进行语义文关联进行语义分析，从大量动分析，从大量动态及可能模棱两态及可能模棱两可的数据中综合可的数据中综合信息，并导出可信息，并导出可理解的内容。理解的内容。结果的可视化结果的可视化呈现呈现（1）可视化目的）可视化目的是使是使结果更直观结果更直观以便于洞察。以便于洞察。（2）目前）目前计算机只计算机只能能针对小规模针对小规模、结构化或类结构结构化或类结构化的化的数据进行数据进行分分析，无法深层次析，无法深层次数据挖掘。数据挖掘。（3）现有）现有的数据挖的数据挖掘掘算法在不同行算法在不同行业中难以通用。业中难以通用。一、大数据时代有用信息的准确提取一、大数据时代有用信息的准确提取隐私泄露风险隐私泄露风险加剧加剧（1 1）大量）大量数据的数据的集中存储增加了集中存储增加了其泄露的风险；其泄露的风险；（2 2）一些）一些敏感数敏感数据的所有权和使据的所有权和使用权并没有清晰用权并没有清晰界定。界定。现有现有存储与存储与安防安防措措施带考验施带考验（1 1）复杂的数）复杂的数据存储在一起，据存储在一起，可能造成企业安可能造成企业安全管理不合规；全管理不合规；（2 2）安全防护）安全防护手段更新升级慢，手段更新升级慢，存在存在漏洞漏洞数据本身成为数据本身成为攻击手段攻击手段（1 1）黑客可收集）黑客可收集更多有用信息，更多有用信息，大数据分析让攻大数据分析让攻击更精准；击更精准；（2 2）大数据为黑）大数据为黑客发起攻击提供客发起攻击提供了更多的机会了更多的机会二、大数据时代对信息安全带来挑战二、大数据时代对信息安全带来挑战三、主要应对措施三、主要应对措施 （1 1）着重培养创新型、多学科交叉型、优秀）着重培养创新型、多学科交叉型、优秀ITIT人才；人才；（2 2）建立新的健全的体制构架，是保证大数据良性运）建立新的健全的体制构架，是保证大数据良性运行的基础；行的基础；（3 3）出台更加健全、合理的法律法规，是大数据时代）出台更加健全、合理的法律法规，是大数据时代数据安全的重要保障。数据安全的重要保障。CuriosityThirst for Knowledge 当前，大当前，大数据数据的研究与应用的研究与应用只是冰山一只是冰山一角，绝大部分角，绝大部分隐藏在表面之下隐藏在表面之下。未来未来，大数据所带来，大数据所带来的变革与精彩值得的变革与精彩值得期待！期待！Thank you for your attention&time!Happy New Year!