拥抱大数据时代.doc

《拥抱大数据时代.doc》由会员分享，可在线阅读，更多相关《拥抱大数据时代.doc（7页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、拥抱大数据时代机遇与挑战并存2015-06-08核心提示：自上古时代的结绳记事起，人类就开始用数据来表征自然和社会，伴随着科技和社会的发展进步，数据的数量不断增多，质量不断提高。近年来，随着互联网的快速发展，音频、文字、图片、视频等半结构化、非结构化数据大量涌现，人类已悄然进入大数据时代。那么，究竟什么是大数据？它有什么特点？为什么说大数据是一座全景敞视监狱？大数据时代，如何保护个人隐私？大数据对企业管理有何意义？中国社会科学院谭扬芳副研究员将为您解读，敬请收看！今天要讲的主要内容，大致分为两大部分。第一部分，大数据的概念与特征；第二部分，大数据给我们带来的机遇和挑战。大数据(Big data

2、)是一个热门话题，也是一个重要的话题。2014年10月29日，李克强总理主持召开国务院常务会议，会议特别强调了要重点推进6大领域消费。其中第一大领域就是扩大移动互联网、物联网等信息消费，提升宽带速度，支持网购发展和农村电商配送。加快健康医疗、企业监管等大数据应用。今年的政府工作报告也强调，要制定“互联网+”行动计划，推动移动互联网、云计算、大数据、物联网等与现代制造业结合，促进电子商务、工业互联网和互联网金融健康发展。一、大数据的概念与特征那么大数据究竟是什么呢？ “数据”又是什么意思？在日常的概念当中，我们认为数据就是数字，这点没错，但是数据也可以是文字、图像或者声音。究竟什么是大数据？目前

3、还没有统一的定义。大数据，常常被人提起，但几乎又是人人都说不明白的。但说不明白，我们还是要勉强地说一说。我这里列了十多种大数据的定义，供大家参考。第一种，所谓大数据，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。第二种，大数据是指无法在一定时间内，用传统数据库这个软件工具对其内容进行一个抓取、管理和处理的一个数据集合。第三种，大数据是需要新处理模式，才能具有更强决策力、洞察发现力、流程优化能力的海量高增长率和多样化的信息资产。第四种，大数据是大交易数据（你购买的时候，各种交易的数据），大交互数据（你在网上聊天的数据）和大数据处理的总

4、称。第五种，大数据是经济增长的新边界。第六种，大数据是收集以及处理海量数据的一种机制，而且在这个过程中，能进行一些结果的利用。第七种，大数据是信息化社会无形的生产资料。第八种，大数据就是数据变得在线了，过去其实也有很多数据，但是那些数据没有在线。第九种，大数据是一个金矿，是取之不尽、用之不竭的金矿。第十种，大数据是一座全景敞视监狱。大多数的网民，在互联网中，都是无意识的状态，丝毫没有注意到第三只眼，时时刻刻在盯着自己、跟踪自己。我们时刻都暴露在第三只眼之下，亚马逊监视着我们的购物习惯，谷歌监视着我们的网页浏览习惯，而微博似乎什么都知道，不仅窃听了我们心中的他（她），还对我们的社交关系网了然于胸

5、。伴随着互联网的发展，整个社会俨然成了一个全景敞视的监狱。当然，大数据时代的全景敞视监狱，不论是监视者和被监视者，以及监视方式都发生了极大的变化，但是它的基本原理并没有变，都是被监视。那么，大数据究竟是什么呢？我们一起来概括一下。它是跨越关联的海量数据分析所产生的决策流程、商业模式、科学范式、生活方式和观念形态上颠覆性变化的总和。比如，同一个用户，大数据会关联起他的网上浏览记录、手机通讯关系、电子商务网站购物记录等。另外，同一个地点，大数据可以关联起你手机的移动轨迹，车载GPS的移动数据，以及顺丰物流的递送数据，智慧城市的建筑信息等等。大数据引起了决策流程、商业模式、科学范式、生活方式和观念形

6、态上的颠覆性变化。在过去数据匮乏的时代，我们依赖抽样数据、局部数据和片面数据，甚至在无法获得数据的时候，纯粹依靠经验、理论和假设去发现新知识和进行决策，在大数据时代，这些都会发生很大的变化。现在，越来越多的科学新发现和商机都依赖于对全面完整的数据的收集和利用，而过去形成的思维观念和行为模式是获得新科学发现和商机的阻碍因素。因此，决策人的思维和行为模式有必要重塑，这将对社会产生深远的影响。大数据带来思维变革，也就是说不是过多地去关注因果关系，而是关注相关关系。极端地说法就是，只要知道是什么就够了，没必要去问那么多为什么。在大数据时代，我们不必非得知道现象背后的原因，而是要让数据自己发声。从操作方

7、式开始，大数据改变了人类探索世界的方法，这是大数据带来思维变革。大数据带来了商业变革，那就是数据化，一切皆可以量化。量化一切，这是数据化的核心。当文字、方位、声音等都变为数据的时候，数据就会有很多很多。大数据带来的商业变革很有价值，它是取得不尽、用之不竭的。可以把大数据比作是金矿，可以进行数据再利用。数据我用了，我还可以给你用，不像衣服，我自己穿了，别人就不能穿。大数据带来了管理的变革，是责任与自由并举的信息管理。根据人们对隐私的不同态度，可以把人大致分为三类：有的人对隐私不隐私无所谓，对此不甚在意；有的人是隐私的实用主义者，你给他好处，他就出卖他的信息；还有一种人有隐私的洁癖，什么隐私都不想

8、让人知道，一切都要处于保密状态。大数据带来了管理的变革，大数据开发的根本目的是以数据分析为基础，帮助人们做出更明智的决策，优化企业和社会运转。所以有人评论说，大数据是一场管理的革命，大数据时代的决策不能仅凭经验，而要靠“数说”，也就是“按数据说话”。因此，大数据想要真正发挥作用，还要改善我们的管理模式，需要管理方式、架构与大数据技术、工具相适配。另外，我们还有一道很难迈过的坎，就是科学范式的转换。随着大数据的出现，研究领域产生了一种被称为数据密集型科学的新型研究范式，这个范式以数据为中心来实施科学研究，新的科学发现依赖于对海量数据的收集和分析处理。我介绍下科学范式，第一范式主要以观察和实验为主

9、；第二种范式偏重理论总结和理性概括；第三种范式是以模拟为主的计算；第四种范式是以数据为中心和驱动的，是基于对海量数据的处理和分析来发现新的知识。当然，科学范式并不是以其中一种代替另外一种，而是共同构成了现代科学方法的统一体。大数据有哪些特征呢？一种说法认为，大数据具有4V特点。1、Volume（大量）；2、Variety（多样）；3、Velocity（高速）；4、Value（价值）。1、Volume（大量）数据计量的基本单位是Byte，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、DB、NB，它们按照进率1024（2的十次方）来计算，比如1ZB=1024

10、EB。根据IDC监测，全球在2010年正式进入ZB时代，全球数据量大约每两年翻一番，这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍。阿里集团透露，在阿里数据平台事业部的服务器上，攒下了超过100PB已处理过的数据，等于个GB，相当于4万个西雅图中央图书馆，580亿本藏书。阿里巴巴之所以能够杀到美国去，与它的数据量超大有很大的关系。现在，数据存储器的体量越来越小，容量越来越大，价格却越来越便宜。十年前，一个移动硬盘，大概是20G容量，比手机还大，但是今天我用的这个小U盘，容量是35G，价格也低

11、了好多。现在，六百美元你就可以买到一个硬盘，它可以储存下这个世界所有的音乐。有一家单位让我给几个年轻人作辅导，说想知道对方家里的家底如何，其实你可以利用大数据，问问他有多少数据资产，大概就能知道他家里条件好坏。家里条件好的，那小孩从小各种照片，各种录像，那肯定家庭条件不错。有些孩子找对象，想知道对方家里的经济条件，但又不好意思直接问，我给你出个主意，你可以问问他家的大数据有多少。世界现有的92%的数据恰恰就是在过去两年中产生的，数据在呈几何级数地增长。大数据时代，数据爆炸性增长，各种社交网络，移动网络和各种智能终端，各种各样的设备都产生很多的大数据。所以大数据的特点是数据量特别的大，这是第一个

12、特点。2、Variety（多样）第二个特点是多元、多样。U盘、光盘、打印机、电脑都产生了很多数据，并且这些数据的格式还不一样，数据源也是各种各样的，谷歌、Twitter、Facebook产生很多的数据。3、Velocity（高速）第三个特征是速度，增长速度特别快，处理速度也要求更快。以存储1PB的数据为例，即使带宽（网速）能达到1G/s，且电脑的容量足够且24小时运行，要将1PB的数据存入电脑也需要12天。大数据通过云计算，可以实现将12天才能存储完毕的数据在20分钟之内完成。4、Value(价值)大数据能做一个预言家。谷歌和推特都曾用大数据，提前7天到一个月，在2009年准确预测当年的流感趋

13、势。什么是大数据？我们回过头来看一看，巨大的数据量，体量大，数据类型多，商业价值高，处理速度快，这是关于大数据的基本概念和特征。二、大数据时代，是机遇还是挑战？大数据，大战略。美国联邦政府认为，数据是一项有价值的国家资本，应对公众开放而不是把它禁锢在政治体制内。作为大数据的策源地和创新引领者，美国大数据发展一直走在全球最前面，早已进行大数据的布局，涉及庞大而复杂的数据。我们通过斯诺登事件，就能明显感觉这一点。美国把大数据视为强化美国竞争力的关键因素之一，把大数据研究和生产计划提高到国家战略层面。所以他们早都有这些计划，美国监视全球，收集了庞大而复杂的数据。大数据也是奥巴马团队打探人心的尖端武器

14、，奥巴马竞选就是一个大数据成功的典型案例。奥巴马在竞选中不断收集选民是否喜欢自己的真实信息，而他身后有一个神秘的数据专家团队，为他分析选民真实意愿，告诉他应该说什么做什么，为他的选举立下了汗马功劳。欧盟委员会2014年10月发布公报说，将与大数据价值协会建立合作关系，投资25亿欧元促进数据行业发展。日本也在大数据方面积极作为，比如日本要成为世界第一的机器人应用国家，迈向世界领先的机器人新时代，成为世界机器人创新基地。大家知道，机器人的运用没有大数据作为基础也是不行的。我国大数据的国家战略是怎样的呢？ 2012年，我们出台了“十二五”国家政务信息化工程建设规划。2014年，中央网络安全和信息化领

15、导小组成立，习近平总书记亲自当组长，强调网络安全，互联网安全。大数据和互联网是密切联系的，我们前面说大数据就是数据变得在线了，那是离不开网络的。企业的创新发展也要靠大数据，大数据市场已经是众多国际IT厂商新的目标市场，这些厂商结合自己原有的技术优势，打造具有各自特点的大数据战略。大数据，大机遇。大数据被认为是继信息化和互联网之后的又一次信息革命。云计算和大数据共同引领以数据为材料、计算为能源的又一次生产力的大解放。甚至可以与蒸汽机的使用和电力的使用为代表的第一次工业革命和第二次工业革命相媲美。因此，可以说大数据开启大机遇。大数据在我国的广泛应用，受到了博鳌亚洲论坛2015年年会与会嘉宾的普遍关

16、注。“大数据已经成为引领商业的新引擎。”博鳌嘉宾、票据宝创始人李华军说，我们通过票据宝网络爬级技术，每天在互联网上采集公开票据信息据，目前已经给183家银行和1299家企业进行了信用评级。大数据能有效解决人为造假现象。四通集团董事长段永基说，利用互联网采集住房、教育、旅游、消费、银行贷款等信息，可以对企业和个人进行动态分析，不像以前只能靠历史数据判断信用。陆金所董事长计葵生表示，“运用大数据防范商业欺诈是有效手段。”格力董事长董明珠说，现在利用大数据可以在珠海监控到所有空调质量问题，在消费者打电话保修之前，就能发现哪里的空调出了问题，服务品质明显提升。“数据是百度的血液，在百度上，每天有50到

17、60亿次的搜索请求，有超过100亿次的位置请求。”百度公司总裁张亚勤说，搜索请求中有很多隐私信息。中国宽带资本基金董事长田溯宁说，“大数据”时代的核心理念是：“一切都被记录，一切都被数字化”。大数据是大机遇，大数据与国家的安全密切相关，尖端武器的制造与性能的模拟实验都离不开大数据平台的支撑。现在打仗，事先会通过兵棋模拟技术来进行推演。早在第一次海湾战争中，美军战前利用改进的民间兵棋，对战争进程、结果及伤亡人数进行了推演，推演结果与战争的实际结果基本一致。作战模拟已经从人工模式转变为计算机模式。依托大数据和云计算平台，战前的模拟推演，从武器使用、战争打法到指挥手段，都可以清晰地显现，作为战时决策

18、的依据。一旦发现作战计划有问题，可以及时调整，以确保实战伤亡最小并取得胜利。大数据与国民经济的繁荣密切相关，特别是在金融领域，客户管理，营销管理及风险管理，大数据都能够提供重要的支撑。举例来说，银行怎么审批新的信用卡申请呢？通过大数据到处挖掘、抓取相关数据，然后再进行判断。挖掘什么信息呢？借记卡的交易信息、信用卡交易信息、消费行为、性别职业、社交信息等。通过这些信息，然后进一步的分析他的消费潜力和还款能力，据此来确定其信用卡的申请是否可以通过。大数据和金融业的数据特点很契合，大数据在金融业的应用非常广泛。2014年11月11日，天猫双11交易额突破了571亿元，活动开场3分钟交易额突破10亿元

19、，比去年快了3分多钟；14分钟02秒，交易额突破50亿元。大数据分析已成为市场营销的重要手段，一谈到大数据，往往就会谈到“塔吉特读心术”。美国第二大零售商“塔吉特”通过多年精细的数据挖掘，建立用户的数据库，能够清楚地知道用户的人群信息，甚至能做到比顾客的家属更清楚她们的预产期。那么，“塔吉特”是如何比顾客的家属更清楚预产期的呢？这件事看起来非常不可思议，但背后却是有规律可循。“塔吉特”的统计师们通过对孕妇的消费习惯进行一次次的测试和数据分析得出一些非常有用的结论：孕妇在怀孕头三个月过后会购买大量无味的润肤露；有时在头20周，孕妇会补充如钙、镁、锌等营养素；许多顾客都会购买肥皂和棉球，但当有人除

20、了购买洗手液和毛巾以外，还突然开始大量采购无味肥皂和特大包装的棉球时，说明她们的预产期要来了。在“塔吉特”的数据库资料里，统计师们根据顾客内在需求数据，精准地选出其中的25种商品，对这25种商品进行同步分析，基本上可以判断出哪些顾客是孕妇，甚至还可以进一步估算出她们的预产期，在最恰当的时候给她们寄去最符合她们需要的优惠券，满足她们最实际的需求。这就是“塔吉特”为什么能够清楚地知道顾客预产期的原因。有这样一件事情，有个家庭受到了商场寄来的孕妇用品优惠券，因为家里只有一个未婚的女儿，所以父亲非常的生气，就去告那个商场，最后商场给他赔礼道歉。但是一段时间过后，这个父亲又去给商场赔礼道歉，确实他家未婚

21、的闺女怀孕了。商场是怎么知道的呢？就是通过这个女儿的购物习惯，她买的很多东西都与孕妇相关联，商场得出结论，这个家里有孕妇，所以给他们寄去了相关产品的优惠券。现在的营销是精准营销，针对不同群体都有量身打造的营销策略。不同的人登录同一个网址，但是所看到的网页可能是不一样的。企业精准营销，知道你喜欢看什么，他就给你展示什么。上网的时候，企业通过大数据分析网民的喜好和习惯，然后为他量身打造一些广告信息，比如打折信息，这是通过大数据精准化的营销。实际上，精准营销任重而道远。讲一个例子，一块牛肉干引发的讨论。某人在网上买了几袋牛肉干和鱿鱼丝，最后他意外发现，经常会有网站给他推荐类似的东西。他抱怨说，我一吃

22、就吃腻了，不要再天天向我推荐了，你们能追踪我的消费痕迹，却体会不到我的消费感受。他回复了一条关于无花果的微博，现在天天给他推荐新疆无花果。点开一双鞋的链接，结果那鞋子无处不在地侵犯着他的眼球，已经快看吐了。一个多月前他买电视机，结果经常给他推荐电视机。他买衬衫，也给他推荐各种各样的衬衫，他说，我一百多公斤的体格，没一款能穿的。可以看出，精准营销的目标还很远。大数据与医疗。我在美国学习的时候，那个老师讲大数据可能会淘汰一个职业，就是医生。他说现在很多医生就是通过机器，有没有专业的知识好像都可以。那么，是不是可以通过大数据来搭建一个医疗平台，一个健康云平台，让人们看病更加方便，更加经济实惠。如果真

23、的建立了数据足够齐全的健康云平台，看病成本应该是可以降低的。大数据与人民幸福生活。现在很多人离开网络就很痛苦。人家说小学生写作业用手，中学生用脑，大学生用流量。大数据与人民幸福生活是息息相关。来一个脑筋急转弯。当他深夜回家，看到一条留言：“老公，我把货都搬到车里了，累死了，你去处理一下就完事了。”他怎么反应呢？他轻轻地来到卧室，看到疲倦的妻子，心疼地流泪了。然后，默默地到电脑前，在右上角的购物车栏里，按下全部付款。大数据改变了人们的生活，给我们的生活带来机遇的同时，也带来了很多挑战。大数据，大挑战。它有多好，它就有多坏。大数据面临很多问题，传输速度的问题，导入导出的问题，统计分析的问题，检查查

24、询的问题，实时响应的问题。还有，原有系统改造的成本把控问题，价值挖掘的问题，安全及隐私问题，互联互通与数据共享问题，这些都是大数据时代带来的挑战。大数据时代个人信息保护怎么办？我们来看看博鳌论坛上的企业家咱们说。“斯诺登事件之后，绝对隐私已经不存在了。”张亚勤认为，互联网上“隐私黑洞”、窃密软件等大量出现，表明大数据应用是把“双刃剑”。韩国京畿道知事南景弼表示，如果互联网巨头没有得到控制，就会变得非常危险，他呼吁各界共同来探讨有关大数据监管方面的标准，从而能实现对数据的合理管理。爱立信董事长雷夫约翰森说，“目前各国之间在大数据使用方面没有沟通，大数据在商业中的运用也缺少法律的定义。”董明珠则表

25、示，大数据安全非常重要，企业的数据一旦外泄将是灾难性的。但大数据时代已经来临，必须往前走。“这就比如不能因为街上有小偷，我们就永远躲在家里不去逛街。”“现在许多收集个人信息的行为都是违法的。”中国诚信信用公司董事长毛振华说，十八大提出建立健全社会征信体系。我们发现开展个人征信业务的难度非常大。征信公司收集个人在互联网上交易过程中留下的痕迹之后，再处理信息卖钱就是商业行为，这是违法犯罪。可是没有商业行为，征信行业又很难发展，又保护不了大多数人的利益。最后大家表示，在大数据越来越广泛的使用中，保护好个人隐私，需要进行制度设计。大数据是大挑战。更高效地传输、存储、长期保存、组织发现与访问、集成、融合

26、、分析、挖掘和可视化这些数据都是一个很大的挑战。然后，基础设施的调整，政策的调整，特别是在保证个人隐私和国家安全的前提下，最大限度地促进数据的流动性和可获取性也非常重要。我们专门做数据那些同事，有时也会抱怨，说为了处理数据，计算机一夜都没停。数据传输确实是个问题，我们有一个领导，重庆电视台采访他的一个视频要传过来，我开着电脑一晚上就接收了一个视频，特别慢，传输很成问题。大数据威胁国家安全。大家都在说，中国的企业终于跑到美国上市了，在欢呼的时候也有人冷静地考虑，这不异于把中国人插个草标到国外去卖了，要谨慎对待。国外反华势力可以通过大数据挖掘建立中国人的个人档案，一个人的社会关系、性格禀赋、兴趣爱

27、好、隐私绯闻都在人家的收集当中。如果有这样的档案，那么一个人的行为偏好及弱点把柄都会被人洞若观火、威胁利用，在这种情况下，被敌对势力策反，可能也就容易了很多。还有，敌对势力可能会通过大数据挖掘建立起中国战略资源的流转节点图，这个是很可怕的。电商的大数据本身就包含了各种商品流转的数据，通过各种商品的流转，很容易分析出各种资源的流转，由此绘制出中国各种战略资源的流转节点图。另外，我国的数据资源还存在标准化、准确性、完整性低，利用价值不高的情况，降低了数据的价值。我们还有一些障碍，一些部门和机构拥有大量数据，却不愿意与其他部门共享，导致信息不完整，或者重复投资。大数据对个人隐私也是一种挑战。大家知道

28、，谷歌街景拍得那么清楚，同样，人们在私人空间的行为也可以被拍得很清楚。包括苹果公司，通过手机获取使用者的私人信息。类似的情况很多，在大数据时代，如何尊重和保护个人隐私，是亟待解决的问题。大数据的热潮触发了一场思想启蒙运动，使得“大数据是资产，不是包袱”、“拿数据来说话”等观念已经开始深入人心，正在逐渐改变以往我们不重视数据积累、不相信数据分析的思维模式。大数据并不是一个充斥着算法和机器的冰冷世界，人类的作用依然无法被完全替代，对于我们政府统计部门来说，首先养成用数据说话的意识和习惯，比大数据本身，更为重要。我相信，大数据为我们提供的不是最终答案，只是参考答案，更好的方法和答案还在不久的未来。任

29、何的技术，任何的工具，它都有两面性，它都是双刃剑，完全取决于我们人怎么去用它。有一道思考题，大数据与诸葛亮孰优孰劣？在三国演义中，诸葛亮可以说是一位神人，上知天文下知地理，能借东风，能火烧连营，被后人赞为“两汉以来无双士，三代而后第一人”。但是，诸葛亮是有感情的，而大数据是没有人类感情的，它不会思考，这是现在所有的大数据分析系统都缺少的东西。没有感情的大数据有时让人哭笑不得。有一个网友说，他好奇，在网上搜索了一下棺材，于是接下来一个月内，打开微博、网站、电商全都是推销棺材的，你说这大数据是不是太没感情了，冷冰冰的。学习大数据之后，我感觉是数据若水，不是吗？如果我有一碗水，可以喝；我有一盆水，可以洗脸；我有一缸水，可以洗澡；如果我有一运河水，可以运输；如果我有一西湖水，可以带着亲爱的人去划船；如果我有一大西洋水，是不是可以驾轮船去别的国家了呢？所以数据若水，越多越好。大数据时代，我们要做到有容乃大。学得越多，知道得越多，我们会变得越来越谦虚，越觉得自己真的很渺小，这其实就是大数据的智慧。我相信，未来的大数据的发展会如舍恩伯格所说的，是一场生活、工作与思维的革命，会给我们带来更多的美好。今天就和大家分享到这里，谢谢大家。