大数据的定义特征与发展历程(共3页).docx

精选优质文档-倾情为你奉上大数据的定义特征与发展历程大数据的定义与特征大数据（big data）的数据集合：数据量增长速度极快，用常规的数据工具无法在一定的时间内进行采集、处理、存储和计算的数据集合。大数据要具有以下五大特征（4V+1O）的数据才称之为大数据，即： 数据量大（Volume）。第一个特征是数据量大，包括采集、存储和计算的量都非常大。类型繁多（Variety）。第二个特征是种类和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。价值密度低（Value）。第三个特征是数据价值密度相对较低，或者说是浪里淘沙却又弥足珍贵。随着互联网以及物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何结合业务逻辑并通过强大的机器算法来挖掘数据价值，是大数据时代最需要解决的问题。速度快时效高（Velocity）。第四个特征数据增长速度快，处理速度也快，时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到，个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。数据是在线的（Online）。数据是永远在线的，是随时能调用和计算的，这是大数据区别于传统数据最大的特征。现在我们所谈到的大数据不仅仅是大，更重要的是数据变的在线了，这是互联网高速发展背景下的特点。关于大数据特征方面，特别要强调的一点是数据是在线的，因为很多人认为数据量大就是大数据，往往忽略了大数据的在线特性。数据只有在线，即数据在与产品用户或者客户产生连接的时候才有意义。如某用户在使用某互联网应用时，其行为及时的传给数据使用方，数据使用方通过某种有效加工后（通过数据分析或者数据挖掘进行加工），进行该应用的推送内容的优化，把用户最想看到的内容推送给用户，也提升了用户的使用体验。大数据的发展过程2005年Hadoop项目诞生。 Hadoop其最初只是雅虎公司用来解决网页搜索问题的一个项目，后来因其技术的高效性，被Apache Software Foundation公司引入并成为开源应用。Hadoop本身不是一个产品，而是由多个软件产品组成的一个生态系统，这些软件产品共同实现全面功能和灵活的大数据分析。2008年末，“大数据”得到部分美国知名计算机科学研究人员的认可，业界组织计算社区联盟 (Computing Community Consortium)，发表了一份有影响力的白皮书大数据计算：在商务、科学和社会领域创建革命性突破。它使人们的思维不仅局限于数据处理的机器，并提出：大数据真正重要的是新用途和新见解，而非数据本身。此组织可以说是最早提出大数据概念的机构。2009年印度政府建立了用于身份识别管理的生物识别数据库，联合国全球脉冲项目已研究了对如何利用手机和社交网站的数据源来分析预测从螺旋价格到疾病爆发之类的问题。2009年中，美国政府通过启动Data.gov网站的方式进一步开放了数据的大门，这个网站向公众提供各种各样的政府数据。2009年，欧洲一些领先的研究型图书馆和科技信息研究机构建立了伙伴关系致力于改善在互联网上获取科学数据的简易性。2010年2月，肯尼斯库克尔在经济学人上发表了长达14页的大数据专题报告数据，无所不在的数据。库克尔在报告中提到：“世界上有着无法想象的巨量数字信息，并以极快的速度增长。科学家和计算机工程师已经为这个现象创造了一个新词汇：“大数据”。库克尔也因此成为最早洞见大数据时代趋势的数据科学家之一。2011年5月，全球知名咨询公司麦肯锡(McKinsey&Company)肯锡全球研究院（MGI）发布了一份报告大数据：创新、竞争和生产力的下一个新领域，大数据开始备受关注，这也是专业机构第一次全方面的介绍和展望大数据。2011年12 月，工信部发布的物联网十二五规划上，把信息处理技术作为4 项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。2012年1月份，瑞士达沃斯召开的世界经济论坛上，大数据是主题之一，会上发布的报告大数据，大影响(Big Data, Big Impact) 宣称，数据已经成为一种新的经济资产类别，就像货币或黄金一样。2012年3月，美国奥巴马政府在白宫网站发布了大数据研究和发展倡议，这一倡议标志着大数据已经成为重要的时代特征。2012年3月22日，奥巴马政府宣布2亿美元投资大数据领域，是大数据技术从商业行为上升到国家科技战略的分水岭，在次日的电话会议中，政府对数据的定义“未来的新石油”，大数据技术领域的竞争，事关国家安全和未来。2012年4月，美国软件公司Splunk于19日在纳斯达克成功上市，成为第一家上市的大数据处理公司。2012年7月，为挖掘大数据的价值，阿里巴巴集团在管理层设立“首席数据官”一职，负责全面推进“数据分享平台”战略，并推出大型的数据分享平台“聚石塔”，为天猫、淘宝平台上的电商及电商服务商等提供数据云服务。随后，阿里巴巴董事局主席马云在2012年网商大会上发表演讲，称从2013年1月1日起将转型重塑平台、金融和数据三大业务。2014年4月，世界经济论坛以“大数据的回报与风险”主题发布了全球信息技术报告（第13版）。报告认为，在未来几年中针对各种信息通信技术的政策甚至会显得更加重要。在接下来将对数据保密和网络管制等议题展开积极讨论。大数据相关技术的发展大数据技术是一种新一代技术和构架，它以成本较低、以快速的采集、处理和分析技术，从各种超大规模的数据中提取价值。大数据技术不断涌现和发展，让我们处理海量数据更加容易、更加便宜和迅速，成为利用数据的好助手，甚至可以改变许多行业的商业模式，大数据技术的发展可以分为六大方向：（1）在大数据采集与预处理方向。这方向最常见的问题是数据的多源和多样性，导致数据的质量存在差异，严重影响到数据的可用性。针对这些问题，目前很多公司已经推出了多种数据清洗和质量控制工具（如IBM的Data Stage）。（2）在大数据存储与管理方向。这方向最常见的挑战是存储规模大，存储管理复杂，需要兼顾结构化、非结构化和半结构化的数据。分布式文件系统和分布式数据库相关技术的发展正在有效的解决这些方面的问题。在大数据存储和管理方向，尤其值得我们关注的是大数据索引和查询技术、实时及流式大数据存储与处理的发展。（3）大数据计算模式方向。由于大数据处理多样性的需求，目前出现了多种典型的计算模式，包括大数据查询分析计算（如Hive）、批处理计算（如Hadoop MapReduce）、流式计算（如Storm）、迭代计算（如HaLoop）、图计算（如Pregel）和内存计算（如Hana），而这些计算模式的混合计算模式将成为满足多样性大数据处理和应用需求的有效手段。（4）大数据分析与挖掘方向。在数据量迅速膨胀的同时，还要进行深度的数据深度分析和挖掘，并且对自动化分析要求越来越高，越来越多的大数据数据分析工具和产品应运而生，如用于大数据挖掘的R Hadoop版、基于MapReduce开发的数据挖掘算法等等。（5）大数据可视化分析方向。通过可视化方式来帮助人们探索和解释复杂的数据，有利于决策者挖掘数据的商业价值，进而有助于大数据的发展。很多公司也在开展相应的研究，试图把可视化引入其不同的数据分析和展示的产品中，各种可能相关的商品也将会不断出现。可视化工具Tabealu 的成功上市反映了大数据可视化的需求。（6）大数据安全方向。当我们在用大数据分析和数据挖掘获取商业价值的时候，黑客很可能在向我们攻击，收集有用的信息。因此，大数据的安全一直是企业和学术界非常关注的研究方向。通过文件访问控制来限制呈现对数据的操作、基础设备加密、匿名化保护技术和加密保护等技术正在最大程度的保护数据安全。专心-专注-专业