2022年大数据入门 .pdf

大数据：落地正当时我们正处于一个信息大爆炸的时代：宽带普及带来的巨量日志和通讯记录，社交网络每天不断更新的 个人信息，视频通讯、医疗影像、地理信息、监控录像等视频记录，传感器、导航设备等非传统 IT 设备产生的数据信息， 以及持续增加的各种智能终端产生的图片及信息，这些爆炸性增长的数据正在充斥整个网络。据权威市场调查机构IDC预测， 未来每隔 18 个月， 整个世界的数据总量就会翻倍；到 2020 年， 整个世界的数据总量将会增长 44 倍， 达到 35.2ZB(1ZB=10 亿 TB)。“大数据”时代正在来临！“大数据”的价值所谓“大数据”， 一般具有几个特点： 首先是数据量很大， 已经从 TB 级跃升至PB 级；其次是区别于传统的数据结构，“大数据”时代的数据结构比较复杂，超过 80% 都是非结构化数据 ， 比如道路上的视频监控数据、 网上的流媒体数据、物联网中 RFID 的感应数据，以及社交网络上产生的各种数据等。这两个特点，给数据存储、管理和挖掘带来了困难。第三，数据更新快 ，比如视频监控每秒钟都在进行，微博随时都有人在更新；最后，是对数据的随机访问 ，这些更个人化的数据在 存储后被再次访问的时间是不确定的。这两点就要求新的IT 系统更够更快地处理数据， 并且能够更智能地保存和管理数据。比如在某一天， 你需要从监控录像中找出某个人， 那么就需要能够迅速地查找、 调用、分析之前保存的海量数据。 “大数据”的这些特点， 对数据搜索及管理提出了更高要求， 因为在“大数据”时代只有经过分析提炼的关键数据才有价值。全球知名咨询机构麦肯锡在关于“大数据”时代的研究报告中指出，数据已经渗透到了每一个行业和业务职能领域，逐渐成为重要的生产因素； 人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。在互联网时代，数据本身就是资产， 而“大数据”则意味着这些资产正在变得庞大无比。虽然云计算可以为数据资产提供保管的场所和访问的渠道，但如何盘活数据资产， 使其为国家治理、 企业决策乃至个人生活服务，则是“大数据”时代的核心问题。这就好比一座日益膨胀的矿山， 虽然其中蕴含着大量的贵金属， 但是要想获得这些价值，就必须解决筛选冶炼的问题。“大数据”对IT 解决方案提出更高要求在“大数据”时代，超过 80% 的数据都呈现非结构化状态，这些数据正在持续不断地增加， 并且需要长时间存储， 非热点数据也会被随机访问。这种情况与传统的、基于关系型数据库的核心数据存储方式有显著的差异。这种差异， 使得传统的数据存储和管理解决方案无法胜任“大数据”时代的分析、管理和挖掘工作。传统的关系型数据库以及数据分析软件处理的结构化数据通常是GB级别的，很难适应“大数据”时代 TB、PB 级复杂数据类型的检索分析。同时，因为“大数据”时代数据每时每刻都在快速增长，传统解决方案也无法适应这种近乎无限的名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 4 页 - - - - - - - - - 扩张性。为了适应“大数据”时代的到来，企业需要从技术、应用、硬件等各个层面做好准备，采用更新的IT 解决方案，才能满足“大数据”收集、存储、管理和分析的要求。“大数据”时代的IT 解决方案，需要容纳数量庞大的用户和数据生产者，能够从企业及社区网络、 移动智能终端、 传感器及物联网、 定位及地理信息设备中获得大量的视频、语音、图片、文字、产品信息、地理信息、时间信息等非结构化数据，并对这些海量复杂数据进行分析和挖掘，从而获得真正有价值的数据用于后续的经营。这种应用模式，要求“大数据”时代的IT 解决方案具备可变的数据接口和高效的数据导入、管理、分析、统计技术；能够支持PB级别的数据、支持非结构化以及结构化数据、 支持每秒万次级查询， 拥有更高的系统可靠性以及更高的统计分析效率， 这就对计算能力、 内存数据处理能力和管理能力提出了非常高的要求。对于企业而言， “大数据”时代爆炸性增长的数据既是巨大的机遇，也将是巨大的挑战。在“大数据”时代，IT 解决方案既要能够更高效、低成本的存储和管理，也要能够更快速、灵活及稳定的检索和分析。而在这些方面，已经有不少厂商在努力围绕大数据整合解决方案，英特尔就是其中的佼佼者。首先，IA 架构广泛的普及率可以为企业提供更高的一致性，是承载和应对“大数据”的理想平台。英特尔?至强? 处理器拥有更高的计算性能和内存数据处理能力，以其为核心的服务器和存储系统具备开放式、普及性、易优化、灵活等特点，具备无可比拟的扩展性，非常适合应对“大数据”的挑战。除此之外，英特尔还有包括Hadoop 这种开源架构等软件方案（如编译器、函数库等），也将对“大数据”的处理提供了更高的效能。 这些软件方案通过优化底层算法，可实现更高的应用效率和更均衡的计算存储分布； 与英特尔硬件技术相结合， 可以提供更高的平台性能。同时，还能提供 跨数据中心的 HBase数据库虚拟大表功能 ，并且实现了HBase 数据库复制和备份功能， 在功能方面也更适应“大数据”时代管理分析的需要。这一切，都为收集数据、分析数据、优化数据、利用数据提供了坚实的基础。中国的“大数据”时代“大数据”时代的核心应用就是对已知的数据进行分析来为未来发展和企业经营提供参考。作为一个人口大国，中国在“大数据”时代拥有巨大的机会和挑战。机会在于，我国拥有世界上最多的人，从而可以提供最多的数据以供分析挖掘。而挑战则是， 我们怎样才能从海量的数据中找出价值。凭借庞大的人口基数和市场，我国各行各业的规模都在不断扩大，从而制造出庞大的数据。电商、快递、企业的网站和 IT 系统都承载了大量的数据；传统的大型超市、卖场、商场也集聚了大量的信息。特别是移动互联浪潮下各种手持智能终端的普及和定位设备的应用，也在不断产生大量的数据。 如果能够对这些数据进行分析挖掘，找出有价值的信息， 就能够大大促进中国企业的发展。比如，电信运营商可以对客服中心的数据进行分析来建立客服中心智能辅助平台，帮助运营商把客服中心从成本中心转变成营销中心； 汽车厂商可以分析各大汽车论坛用户的海量评论来监控品牌口碑及舆情； 电商企业可以分析用户的各种历史数据来挖掘用户的喜好，从而实名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 4 页 - - - - - - - - - 现精准营销。 面对“大数据”带来的机遇和挑战，我国政府在物联网“十二五”规划上把信息处理技术作为 4 项关键技术创新工程之一提出，其中就包括了海量数据存储、 数据挖掘、 图像视频智能分析等“大数据”相关的重要技术。而另外 3 项关键技术创新工程， 包括信息感知技术、 信息传输技术、信息安全技术，也都与“大数据”密切相关。“大数据”的未来“大数据”的到来已经无可阻挡，这将考验我们的技术是否跟得上数据的爆炸。比如，智慧城市的建立将改变现在的城市生态，但是作为信息采集源头的数万个摄像头，如果通过实时高效的图像分析而实现有机结合，就是我们需要解决的问题。英特尔作为 IT 上游领导厂商，通过深入了解 OEM 厂商、ISV、SI 甚至用户的需求， 将产业链上的每一环都紧紧扣在生态系统周围，使之发挥最大的能动性，来应对“大数据”时代的挑战。在电信、石油、交通、医疗以及制造等行业，英特尔以开发的架构支持新型的商业智能，将这一生态系统的力量发挥到极致。信息就是资源，谁掌握了“数据”，谁就掌握了未来。掌握大数据，就在当下。英特尔将利用各种软硬件技术资源，帮助合作伙伴发掘数据价值， 从而应对“大数据”时代的挑战。迎接大数据数据显示， 工业革命以后， 书籍等以文字为载体的知识大约每十年翻一番；1970 年以后，该数据大约每三年翻一番；而今，全球信息总量每两年就翻一番；2010 年互联网所产生的数据量，比之前所有年份的总和还要多。另据专业机构预测，2020 年，全球数据量将暴增 40 多倍而达到约 35 ZB （1ZB=10亿 TB ）。更为重要的是，以图像、网页、各类报表等为主导的非结构化数据占比近几年一直保持着连续飚升的态势， 其结构也从先前较为纯粹的结构化数据变成当前的结构化数据、半结构化数据和非结构化数据并存的格局。据统计， 非结构数据目前在企业中已占到 80%。具体到中国市场， 由于中国人口众多， 众多行业都呈现出极快的增长速度，随之而来的自然是相关信息数据的急速增长。比如互联网行业数据的增加及频繁更新（例如微博）产生的大量数据。据统计，大数据正在引领中国互联网行业新一轮的技术浪潮， 截至 2011 年年底，中国互联网行业持有的数据总量已达到 1.9EB 。而 IDC 预计，这一规模到 2015 年将增长到 8.2EB 以上。此外，传统的零售行业，大型超市、卖场、商场等也是信息数据的重要来源。有了大数据之后， 唯有对于数据的智能分析方能体现大数据的价值。例如对来自于互联网通过网民自身在网络中的足迹、点击、浏览、反馈，直接真实地展示个人的性格、偏好、意愿等的一系列数据进行分析，可以帮助企业拥有感知市场、感知用户的能力，以便企业对生产、市场、销售做出更科学的决策，包括目标消费人群细分、 精准营销等。 通过上述的事实不难发现， 而今的所谓大数据格式多样，且分布在网络的各个层面，其规模和复杂度超出了以往技术的能力，对IT系统（例如服务器、存储、软件等）提出了更高要求，为此具有高可扩展性、高名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 4 页 - - - - - - - - - 可用性、高安全性和易访问的海量计算和存储设备将成为重中之重，从某种程度上关系着大数据的成败。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 4 页 - - - - - - - - -