大数据时代的概念和特点.pdf

.大数据时代大数据时代维克托迈尔舍恩伯格在书中前瞻性地指出， 大数据带来的信息风暴正在变革我们的生活、 工作和思维，大数据开启了一次重大的时代转型，并用三个部分讲述了大数据时代的思维变革、 商业变革和管理变革。维克托最具洞见之处在于， 他明确指出，大数据时代最大的转变就是，放弃对因果关系的渴求，而取而代之关注相关关系。也就是说只要知道“是什么”，而不需要知道“为什么”。这就颠覆了千百年来人类的思维惯例， 对人类的认知和与世界交流的方式提出了全新的挑战。本书认为大数据的核心就是预测。 大数据将为人类的生活创造前所未有的可量化的维度。大数据已经成为了新发明和新服务的源泉，而更多的改变正蓄势待发。书中展示了谷歌、微软、亚马逊、IBM、苹果、facebook、twitter、VISA 等大数据先锋们最具价值的应用案例。在甲型 H1N1 流感爆发的几周前，互联网巨头谷歌公司的工程师们在自然杂志上发表了一篇引人注目的论文。 它令公共卫生官员们和计算机科学家们感到震惊。 文中解释了谷歌为什么能够预测冬季流感的传播：不仅是全美围的传播，而且可以具体到特定的地区和州。谷歌通过观察人们在网上的搜索记录来完成这个预测， 而这种方法以前一直是被忽略的。谷歌保存了多年来所有的搜索记录， 而且每天都会1 / 6.收到来自全球超过 30 亿条的搜索指令，如此庞大的数据资源足以支撑和帮助它完成这项工作。发现能够通过人们在网上检索的词条辨别出其是否感染了流感后， 谷歌公司把五千万条美国人最频繁检索的词条和美国疾控中心在03 年至 08 年间季节性流感传播时期的数据进行了比较。其他公司也曾试图确定这些相关的词条， 但是他们缺乏像谷歌公司一样庞大的数据资源、处理能力和统计技术。虽然谷歌公司的员工猜测， 特定的检索词条是为了在网络上得到关于流感的信息，如“哪些是治疗咳嗽和发热的药物”， 但是找出这些词条并不是重点， 他们也不知道哪些词条更重要， 更关键的是，他们建立的系统并不依赖于这样的语义理解。 他们设立的这个系统唯一关注的就是特定检索词条的频繁使用与流感在时间和空间上的传播之间的联系。谷歌公司为了测试这些检索词条， 总共处理了 4.5 亿个不同的数字模型。在将得出的预测与07 年、08 年美国疾控中心记录的实际流感病例进行对比后，谷歌公司发现，他们的软件发现了45 条检索词条的组合，一旦将它们用于一个数学模型，他们的预测与官方数据的相关性高达 97%。和疾控中心一样，他们也能判断出流感是从哪里传播出来的，而且他们的判断非常与时，不会像疾控中心一样要在流感爆发一两周之后才可以做到。所以，09 年甲型 H1N1 流感爆发的时候，与习惯性滞后的官方数据相比，谷歌成为了一个更有效、更与时的指示标。公共卫生机构的官员获得了非常有价值的数据信息。 惊人的是，谷歌公司的方法2 / 6.甚至不需要分发口腔试纸和联系医生它是建立在大数据的基础之上的。这是当今社会所独有的一种新型能力： 以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见。 基于这样的技术理念和数据储备， 下一次流感来袭的时候，世界将会拥有一种更好的预测工具，以预防流感的传播。编辑本段相关介绍相关介绍进入 2012 年，大数据（big data）一词越来越多地被提与，人们用它来描述和定义信息爆炸时代产生的海量数大数据时代来临1据，并命名与之相关的技术发展与创新。它已经上过纽约时报华尔街日报的专栏封面，进入美国白宫官网的新闻，现身在国一些互联网主题的讲座沙龙中， 甚至被嗅觉灵敏的国金证券、 国泰君安、银河证券等写进了投资推荐报告。数据正在迅速膨胀并变大， 它决定着企业的未来发展， 虽然现在企业可能并没有意识到数据爆炸性增长带来问题的隐患， 但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。 大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。正如纽约时报2012 年 2 月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济与其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。3 / 6.哈佛大学社会学教授加里金说： “这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”大数据大数据最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡， 麦肯锡称：“数据， 已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用， 预示着新一波生产率增长和消费者盈余浪潮的到来。” “大数据”在物理学、生物学、环境生态学等领域以与军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注.随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。著云台的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据， 这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。 大数据分析常和云计算联系到一起， 因为实时的大型数据集分析需要像 MapReduce 一样的框架来向数十、数百或甚至数千的电脑分配工作。“大数据”在互联网行业指的是这样一种现象： 互联网公司在日常运营中生成、累积的用户网络行为数据。 这些数据的规模是如此庞大， 以至于不能用G或T来衡量， 大数据的起始计量单位至少是P （1000个 T）、E（100 万个 T）或 Z（10 亿个 T）。4 / 6.大数据到底有多大？一组名为“互联网上一天”的数据告诉我们，一天之中，互联网产生的全部容可以刻满1.68 亿 DVD；发出的有 2940 亿封之多（相当于美国两年的纸质信件数量）；发出的社区帖子达 200 万个（相当于时代杂志770 年的文字量）；卖出的手机为 37.8 万台，高于全球每天出生的婴儿数量 37.1 万截止到 2012 年，数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至 ZB(1024EB=1ZB)级别。国际数据公司（IDC）的研究结果说明，2008 年全球产生的数据量为0.49ZB，2009 年的数据量为 0.8ZB，2010 年增长为 1.2ZB，2011 年的数量更是高达 1.82ZB，相当于全球每人产生 200GB 以上的数据。而到 2012 年为止，人类生产的所有印刷材料的数据量是 200PB，全人类历史上说过的所有话的数据量大约是5EB。IBM 的研究称，整个人类文明所获得的全部数据中，有 90%是过去两年产生的。而到了2020 年，全世界所产生的数据规模将达到今天的 44 倍。编辑本段四个特征四个特征数据量大数据量大第一个特征是数据量大。大数据的起始计量单位至少是P（1000个 T）、E（100 万个 T）或 Z（10 亿个 T）。类型繁多类型繁多5 / 6.第二个特征是数据类型繁多。 包括网络日志、 音频、 视频、 图片、地理位置信息等等， 多类型的数据对数据的处理能力提出了更高的要求。价值密度低价值密度低第三个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”， 是大数据时代亟待解决的难题。速度快时效高速度快时效高第四个特征是处理速度快， 时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。既有的技术架构和路线， 已经无法高效处理如此海量的数据， 而对于相关组织来说， 如果投入巨大采集的信息无法通过与时处理反馈有效信息，那将是得不偿失的。可以说，大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。6 / 6