“大数据”怎样改变生活分析(共13页).doc

精选优质文档-倾情为你奉上“大数据”怎样改变生活 新闻背景 大数据，现在越来越成为了一个很时髦的词汇。有人把大数据形容为未来世界的石油，有人宣称掌握大数据的人可以像上帝一样俯瞰整个世界，美国政府甚至已经把对大数据的研究上升为国家战略。日前，由中国科协举办的“科学家与媒体面对面大数据离我们生活有多远”活动中，有关专家为我们介绍了大数据对未来生活的影响。 我们生活在一个充满“数据”的时代，这里的“数据”，并不仅仅指数字，理论上讲，一切可以以文件形式储存于计算机硬盘的东西，包括数字、文字、图像、声音、视频等，均可称为“数据”。我们打电话，使用微博、QQ、博客等社交工具，都是在不断增加着社会总体数据量。 据权威预测，未来每隔18个月，整个世界的数据总量就会翻倍。IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。 数据，除了它第一次被使用时提供的价值以外，那些积累下来的数据海洋并不是无用的废物，它还有着无穷无尽的“剩余价值”，关于这一点，人们已经有了越来越多的认识。事实上，大数据已经开始并将继续影响我们的生活，下面我们不妨试举几例。 精准广告投放已很普遍 很多女性可能有这样的经历，使用某浏览器在淘宝、京东等购物网站上购买过一本关于怀孕的书籍后，在之后十个月左右的时间里，你的浏览器两侧的广告栏里不断出现怀孕所需要的东西，如营养食品、对胎儿无影响的孕妇用药、胎心监测仪、体温计、血压计等产品广告，登录原来的购物网站，也会在首页向你推荐这类产品。而且，在十个月之后，你会发现，以上这些广告开始变成婴儿用品了。 你以前可能对浏览器广告非常讨厌，但对这类广告，你却欣然接受，因为它推荐的产品正是你所需要的。这实际上就是大数据应用的一个简单案例。你的浏览经历已经被浏览器和电商所记录，通过对用户浏览记录进行大数据分析，就可以推测出你目前是一种什么状态，今后又将经历哪些状态，于是，专为你定制的广告就在你需要的时候出现在你的眼前。 大数据最本质的应用就在于预测，即从海量数据中分析出一定的特征，进而预测未来可能会发生什么。实际上，上述例子仅仅是大数据应用的最初级阶段。因为它所涉及的数据的范围并不广泛，其分析原理也非常简单。而如前言所述，大数据有数据量大、数据多样性等特征,实际是将各个维度的数据进行综合分析进而进行一定的预测。当不同的数据流被整合到大型数据库中后，预测的广度和精度都会大规模的提高。例如，当一个数据库从不同的数据来源获得了你使用手机的时间和地点、信用卡购物、银行卡电子收费系统、使用QQ等聊天工具的对象、你的QQ好友关系图、你在新浪微博、腾讯微博的收听及被收听关系图谱、你交纳的水、电、燃气费等各方面的数据，数据分析师就能通过匹配获得你生活的不同侧面。通过大数据，数据分析可以发现各种各样的关联。通过分析，可以发现你多方面的需求，并不仅仅是诸如怀孕书籍和尿不湿之间的简单关联了。在数据足够“大”的情况下，你生活中几乎所有的需求都可能会被预测出来。例如，从数据分析出你可能会约会，于是会向你推荐衣服；从数据推测出你会出去旅游，于是向你推荐相关装备及旅行方式等。 医疗卫生体系会更加精密 通过分析大量用户的搜索记录，比如“咳嗽”、“发烧”等特定词条，谷歌公司能准确预测美国冬季流感传播趋势。和官方机构相比，谷歌能提前一两周预测流感爆发，预测结果与官方数据的相关性高达97%。2009年，在甲型H1N1流感爆发的几周前，谷歌的工程师们公开发表了一篇论文，不仅预测流感即将爆发，并且其预测还精确到美国特定的地区和州。这让人们感到十分震惊。准确预测流感疫情，说起来并不复杂，谷歌一直致力于对用户检索数据的分析。用户求医问药等搜索数据可谓海量，把这些数据再拿来与美国疾控中心往年记录的实际流感病例信息相比对，就帮助谷歌作出了准确预测。 在日本也有相似的应用，日本国内有一个网站，你只要打开这个网站用自己的社交网站账号登录，就可以在短时间内通过数万条社交网站记录找出可能感冒的人，并通过过去的感冒情况和今日的感冒情况进行分析，另外该程序还会结合气温和湿度的变化来预测将来感冒的流行情况，并制作一个“易感冒日历”。目前，此类服务正在日本陆续展开。 对个体而言，大数据可以为个人提供个性化的医疗服务。过去我们去看病，医生只能对我们的当下身体情况做出判断，而在大数据的帮助下，将来的诊疗可以对一个患者的累计历史数据进行分析，并结合遗传变异、对特定疾病的易感性和对特殊药物的反应等关系，实现个性化的医疗。还可以在患者发生疾病症状前，提供早期的检测和诊断。早期发现和治疗可以显著降低肺癌给卫生系统造成的负担，因为早期的手术费用是后期治疗费用的一半。 个性化教育可能真正实现 在传统教育模式下，分数就是一切，一个班上几十个人，使用同样的教材，同一个老师上课，课后布置同样的作业。然而，学生是千差万别的，在这个模式下，不可能真正做到“因材施教”。 举例来说，一个学生考试得了88分，这个分数仅仅是一个数字，它能代表什么呢？88分背后是家庭背景、努力程度、学习态度、智力水平等，把它们和88分联系在一起，这就成了“数据”。大数据因其数据来源的广度，有能力去关注每一个个体学生的微观表现他在什么时候开始看书，在什么样的讲课方式下效果最好，在什么时候学习什么科目效果最好，在不同类型的题目上停留多久等等。这些数据对其他个体都没有意义，是高度个性化表现特征的体现。同时，这些数据的产生完全是过程性的：课堂的过程，作业的过程，师生或同学的互动过程而最有价值的是，这些数据完全是在学生不自知的情况下被观察、收集的，只需要一定的观测技术与设备的辅助，而不影响学生任何的日常学习与生活，因此它的采集也非常的自然、真实。 在大数据的支持下，教育将呈现另外的特征：弹性学制、个性化辅导、社区和家庭学习、每个人的成功大数据支撑下的教育，就是要根据每一个人的特点，解放每一个人本来就有的学习能力和天分。 延伸阅读 个人隐私保护 一道能迈过的坎 看了前面这些，读者可能要担心了，大数据包含有包罗万象的数据，其中不少数据涉及个人的职位、年龄、身体状况、消费水平、旅行习惯等隐私，那么，在大数据时代，个人隐私能够得到保护吗？答案是，只要国家相关部门实时推进隐私保护，企业主动落实隐私保护责任，大数据产业在飞速发展的同时并不会对民众隐私产生威胁。 在大数据产业中，有两个基本的作法，一是符号化。符号化是指识别用户的时候，识别的仅仅是一个“符号”，这个符号与真实信息并不相关，系统通过一定的算法能够知道多次登录的是同一个用户，但并没有办法反推出这个人是谁，因此，电话、住址等信息都没法与本人关联起来。二是用户特征。用户特征意味着在大数据时代企业感兴趣的往往是这个用户的特征，而不是家庭地址、电话号码等真正敏感的信息。例如，系统需要了解本科以上学历、月收入10000元以上、已婚等这样一个群体，只需要找出符合这些特征的人的特性，并不关心这个人是谁。这样也不会造成隐私的泄露。 当然，这些原则性问题有赖于政府推动、企业自律。但我们相信，为大数据产业的健康发展，相关部门，相关企业一定会高度重视这一问题。大数据：“挖”出你要的生活近来，一部名为纸牌屋的政治惊悚美剧火遍互联网，不过，人们一定不知道，备受好评的男主角凯文·史派西并不是制片方决定的。 该片的投资、制作方美国视频网站Netflix利用其在美国近2700万订阅用户每天在网站产生的3000多万个网络点击行为，通过分析这些海量数据，结果显示拥有高点击率的凯文·史派西最适合成为主角，而同时获得数据“青睐”的还有鬼才导演大卫·芬奇。 事实上，早在2012年初，用来形容信息大爆炸时代产生的海量信息的词语“大数据”就开始进入普通人的视野，如今，大数据又开始注入电视剧行业。对这些海量数据的处理究竟给人们的生活带去了多大的改变。 大数据到底有多大 全球每天通过Internet网络传输的电子邮件多达2100亿封；Facebook每月新增10亿照片和1000万个视频；腾讯公司注册用户超过7亿，同时在线人数超过1亿. 根据互联网数据中心的报告，2012年全球的数据总量为2.7Zb（1Zb相当于十万亿亿字节），预计到2020年，全球的数据总量将达到35Zb。 中国科学院信息工程所副研究员王伟平说，目前为止，没有谁能准确说出大数据到底有多大，但可以肯定是的，这些海量数据的规模已经让目前主流的数据库软件无法承受。 除此之外，大数据的数据类型和来源众多，又高速流转，同时，相较于数据的数量，它们所含有的价值却是相对稀疏的，获取有用信息犹如大海捞针。因此，这一切都要求开发新的数据处理模式对海量信息进行撷取、管理和处理等。 2012年3月29日，奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，美国政府已经把“大数据”上升到了国家战略的层面。华尔街日报更是将大数据、智能制造和无线网络并列为当代三大技术变革。 “在这个数据为王的时代，如何挖掘、利用数据显然已经成为了各个行业、企业竞争的焦点。”王伟平坦言。 关键词检索预测流感 全球规模最大的搜索引擎Google 一直是大数据处理技术研发的引领者。王伟平告诉中国科学报记者，2009年H1N1流感暴发之前的几周，Google 公司的工程师们在自然杂志上发表了一篇论文，它令公共卫生官员们和计算机科学家都感到震惊。 原来，他们在文中解释了谷歌预测到冬季流感的传播，并且具体到特定的地区和州，而这种预测比美国疾控中心要提前一到两周。 其实，这是Google 在2008年底推出的一项大数据处理的应用服务“流感趋势”。该服务可以帮助人们了解自己所在地区（限美国境内）的流感病例暴发情况，从而提前采取预防措施，避免感染。而“流感趋势”正是通过搜索引擎对关键词的监测来实现的。 王伟平解释，官方发布的疾病流行信息往往要经过层层上报，而老百姓很可能在去往医疗机构之前就已经将“咳嗽”、“发烧”等与流感有关的信息放到了互联网上。Google通过对这些关键词进行监测，并通过地图将这些关键词被检索的趋势显示在其所对应的地区。相应的关键词密度越高、越频繁，该地区暴发流感的可能性就越大。 这就不难理解，通过Google的“流感趋势”对流感进行的预测，其速度甚至比美国疾控中心还要快。尽管，这类预测服务可能存在误差，美国疾控中心表示，这将是对现有监测工具的一种补充。 尿布与啤酒放在一起更好卖 而要说到大数据挖掘在商业中的应用，就不得不提到零售巨头沃尔玛的经典案例。 在一家实体超市，通过怎样的物品摆放才能更有效地方便顾客采购，并让顾客在不知不觉中多购买呢？王伟平说，这一切都要归功于沃尔玛的交易数据分析。 沃尔玛数据仓库里集中了其各门店的详细原始交易数据，在这些原始交易数据的基础上，沃尔玛利用NCR数据挖掘工具对这些数据进行分析和挖掘。他们意外发现，跟尿布一起购买最多的商品竟然是啤酒。 此后，市场调查人员、分析师在经过调查分析之后明白了隐藏在“尿布与啤酒”背后的一种购物行为模式。在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%40%的人同时也为自己买一些啤酒。这是因为，美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。 既然尿布与啤酒一起被购买的机会很多，于是沃尔玛就在门店内将尿布与啤酒并排摆放在一起，结果是尿布与啤酒的销售量双双增长。 数据左右美国大选 不过，让大数据成为2012年热议焦点的最大“功臣”恐怕还是美国总统奥巴马。就在奥巴马成功击败对手罗姆尼，再次赢得美国总统选举的当天，时代杂志就发表文章称，奥巴马获胜背后的秘密正是数据挖掘。 相较于2008年的第一次选举，这一回，竞选团队在最初的一年半时间里就把各种数据合到一起，制作了一个包含各类信息的大数据库。新的大数据库并不会直接告诉竞选团队如何寻找选民，但是数据挖掘团队却能利用这个数据库来进行选情分析，并针对不同类型的选民测试不同的宣传策略。 他们通过4个来源的民调数据来详细分析关键州的选民。比如，通过对俄亥俄州2.9万选民的民调数据，他们可以深入分析各个族群的选民在任何时刻的趋势。而在总统候选人的第一次辩论之后，他们分析出哪些选民倒戈，哪些没有。 在选举期间，竞选团队每晚要实施6.6万次模拟选举，正是这些模拟选举推算出了奥巴马在摇摆州的胜率，并让他们得以通过这些数据来分配资源。 此外，这次竞选活动中，竞选团队也首次尝试在Facebook上复制传统的上门宣传活动。在最后几周，下载相关应用的人们会收到带有他们在摇摆州的友人图片的信息，告诉他们只需点击一个按钮，就能鼓励这些朋友们登记参选、早点投票或是参与民调。收到信息的人们当中有五分之一会有所响应，这很大程度上是来自熟人效应。 与依赖传统的外部媒体顾问的做法不同，竞选团队还利用数据挖掘从而决定对广告的购买。他们通过一些复杂的模型来精准定位不同选民，出人意料地购买了一些冷门节目的广告时段，而没有采用在本地新闻时段购买广告的传统做法。可事实上，广告效率相比2008年提高了14%。 同时，奥巴马当初决定在社交新闻网站Reddit上与网民互动时，很多高级顾问对此也表示不解。可实际情况是，数据分析告诉了他们，Reddit上有很多动员对象。 在王伟平看来，其实，奥巴马获胜的法宝，简单概括就是利用数据挖掘了解他的每一个潜在支持者的个性化需求，并提供了精准的服务。 安全问题与生俱来 大数据处理就像是一场新的革命，无论是在商业、政治还是公共服务领域。王伟平认为，自己目前还很能看到被大数据所包围的未来生活究竟会变成怎样。“在群体智能的时代，大家都有可能从海量数据中发现需求和商机。” 比如，在未来，企业可以通过智能手机、平板电脑等移动设备收集用户数据，再通过大数据技术加以分析，可以帮助一成不变的零售业和广播电台等行业更加了解用户的真实需求。西雅图创业公司Placed就率先尝试了对这种数据的利用。 该公司推出的Panels服务，可以让企业全天追踪应用用户的地理位置，由此得出哪些百货商店最受人欢迎，哪些类型的商家流量增加最多，哪些商家之间的关联性最强或最弱等。 此外，就在本月3日，英国首个综合运用大数据技术的医药卫生科研机构在牛津大学正式揭牌，该中心包括“靶标发现研究所”和“大数据研究所”两个机构，旨在通过搜集、存储和分析大量医疗信息，确定新药物的研发方向，探索特定疾病的新疗法，同时减少药物开发成本。 而近日，摩根士丹利分析师斯科特·德维特、乔丹·蒙纳罕和尼桑特·福尔玛还表示，谷歌相信通过大数据产品来帮助广告客户分析和评估广告活动效率的领域，在未来可能存在高达到数千亿美元的市场规模。 不过，清华大学计算机系教授黄连生指出，当前，人们对于大数据的“着迷”并不能掩盖存储、管理海量数据技术能力尚不足的问题。 而利用大数据创造价值，前提是要保证数据的质量。在他看来，例如在公共服务领域，即使在当前，提供的有效信息远远不足，又怎能谈得上被采集、利用呢。 此外，大数据与生俱来的信息安全问题也是服务提供方无法回避的问题。 中国科学报 (2013-05-10 第9版 探索周刊)专心-专注-专业