云计算和大数据基础知识(共20页).doc
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_05.gif)
《云计算和大数据基础知识(共20页).doc》由会员分享,可在线阅读,更多相关《云计算和大数据基础知识(共20页).doc(20页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、精选优质文档-倾情为你奉上云计算与大数据基础知识一、 云计算是什么?云计算就是统一部署的程序、统一存储并由相关程序统一管理着的数据!云计算cloud computing是一种基于因特网的超级计算模式,在远程的数据中心里,成千上万台电脑和服务器连接成一片电脑云。因此,云计算甚至可以让你体验每秒超过10万亿次的运算能力,拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心,按自己的需求进行运算。云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问, 进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务
2、),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。通俗的理解是,云计算的“云”就是存在于互联网上的服务器集群上的资源,它包括硬件资源(服务器、存储器、CPU等)和软件资源(如应用软件、集成开发环境等),所有的处理都在云计算提供商所提供的计算机群来完成。用户可以动态申请部分资源,支持各种应用程序的运转,无需为繁琐的细节而烦恼,能够更加专注于自己的业务,有利于提高效率、降低成本和技术创新。云计算的核心理念是资源池。二、 云计算的基本原理云计算的基本原理是,在大量的分布式计算机集群上,对这些硬件基础设施通过虚拟化技术构建不同的资源池。如存储资源池、网络资源池、计算机资
3、源池、数据资源池和软件资源池,对这些资源实现自动管理,部署不同的服务供用户应用,这使得企业能够将资源切换成所需要的应用,根据需求访问计算机和存储系统。打个比方,这就好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通,就像煤气、水电一样,取用方便,费用低廉。最大的不同在于,它是通过互联网进行传输的。三、 云计算的特点1、支持异构基础资源云计算可以构建在不同的基础平台之上,即可以有效兼容各种不同种类的硬件和软件基础资源。硬件基础资源,主要包括网络环境下的三大类设备,即:计算(服务器)、存储(存储设备)和网络(交换机、路由器等设备);软件基础资源,则包括
4、单机操作系统、中间件、数据库等。2、支持资源动态扩展支持资源动态伸缩,实现基础资源的网络冗余,意味着添加、删除、修改云计算环境的任一资源节点,或者任一资源节点异常宕机,都不会导致云环境中的各类业务的中断,也不会导致用户数据的丢失。这里的资源节点可以是计算节点、存储节点和网络节点。而资源动态流转,则意味着在云计算平台下实现资源调度机制,资源可以流转到需要的地方。如在系统业务整体升高情况下,可以启动闲置资源,纳入系统中,提高整个云平台的承载能力。而在整个系统业务负载低的情况下,则可以将业务集中起来,而将其他闲置的资源转入节能模式,从而在提高部分资源利用率的情况下,达到其他资源绿色、低碳的应用效果。
5、3、支持异构多业务体系在云计算平台上,可以同时运行多个不同类型的业务。异构,表示该业务不是同一的,不是已有的或事先定义好的,而应该是用户可以自己创建并定义的服务。这也是云计算与网格计算的一个重要差异。4、支持海量信息处理云计算,在底层,需要面对各类众多的基础软硬件资源;在上层,需要能够同时支持各类众多的异构的业务;而具体到某一业务,往往也需要面对大量的用户。由此,云计算必然需要面对海量信息交互,需要有高效、稳定的海量数据通信/存储系统作支撑。5、按需分配,按量计费按需分配,是云计算平台支持资源动态流转的外部特征表现。云计算平台通过虚拟分拆技术,可以实现计算资源的同构化和可度量化,可以提供小到一
6、台计算机,多到千台计算机的计算能力。按量计费起源于效用计算,在云计算平台实现按需分配后,按量计费也成为云计算平台向外提供服务时的有效收费形式。四、 云计算按运营模式分类1、公有云 公有云通常指第三方提供商为用户提供的能够使用的云,公有云一般可通过 Internet 使用,可能是免费或成本低廉的。优点:A、安全。云计算提供了最可靠、最安全的数据存储中心,用户不用再担心数据丢失、病毒入侵等麻烦。B、方便。云计算对用户端的设备要求最低,使用起来也最方便。C、数据共享。云计算可以轻松实现不同设备间的数据与应用共享。D、无限可能。云计算为我们使用网络提供了几乎无限多的可能。2、私有云私有云(Privat
7、e Clouds)是为一个客户单独使用而构建的,因而提供对数据、安全性和服务质量的最有效控制。该公司拥有基础设施,并可以控制在此基础设施上部署应用程序的方式。私有云可部署在企业数据中心的防火墙内,也可以将它们部署在一个安全的主机托管场所。优点:A.数据安全;B.服务质量稳定;C.充分利用现有硬件资源和软件资源 ;D. 不影响现有IT管理的流程假如使用公有云的话,将会对IT部门流程有很多的冲击,比如在数据管理方面和安全规定等方面。3、混合云混合云融合了公有云和私有云,是近年来云计算的主要模式和发展方向。私有云主要是面向企业用户,出于安全考虑,企业更愿意将数据存放在私有云中,但是同时又希望可以获得
8、公有云的计算资源,在这种情况下混合云被越来越多的采用,它将公有云和私有云进行混合和匹配,以获得最佳的效果,这种个性化的解决方案,达到了既省钱又安全的目的。五、 云计算按服务模式分类一般来讲,云计算平台服务模式为如下的架构,如图 1 所示。图1 云计算平台架构最下的一层是 IaaS(Infrastructure-as-a- Service):基础设施即服务,提供 CPU,网络,存储等基础硬件的云服务。再上一层是 PaaS(Platform-as-a- Service):平台即服务,提供类似于操作系统层次的服务与管理。最后一层是 SaaS(Software-as-a- Service):软件即服务
9、,就是我们所熟悉的软件即服务。事实上 SaaS 的概念的出现要早于云计算,只不过云计算的出现让原来的 SaaS 找到了自己更加合理的位置。本质上,SaaS 的理念是:有别的传统的许可证付费方式 ( 比如购买 Windows Office),SaaS 强调按需使用付费。六、 云计算基础架构1、传统的IT部署架构是“烟囱式”的,或者叫做“专机专用”系统。图2 传统IT基础架构这种部署模式主要存在的问题有以下两点:硬件高配低用。考虑到应用系统未来35年的业务发展,以及业务突发的需求,为满足应用系统的性能、容量承载需求,往往在选择计算、存储和网络等硬件设备的配置时会留有一定比例的余量。但硬件资源上线后
10、,应用系统在一定时间内的负载并不会太高,使得较高配置的硬件设备利用率不高。整合困难。用户在实际使用中也注意到了资源利用率不高的情形,当需要上线新的应用系统时,会优先考虑部署在既有的基础架构上。但因为不同的应用系统所需的运行环境、对资源的抢占会有很大的差异,更重要的是考虑到可靠性、稳定性、运维管理问题,将新、旧应用系统整合在一套基础架构上的难度非常大,更多的用户往往选择新增与应用系统配套的计算、存储和网络等硬件设备。这种部署模式,造成了每套硬件与所承载应用系统的“专机专用”,多套硬件和应用系统构成了“烟囱式”部署架构,使得整体资源利用率不高,占用过多的机房空间和能源,随着应用系统的增多,IT资源
11、的效率、扩展性、可管理性都面临很大的挑战。2、云计算基础架构图3云计算基础架构云基础架构在传统基础架构计算、存储、网络硬件层的基础上,增加了虚拟化层、云层:虚拟化层:大多数云基础架构都广泛采用虚拟化技术,包括计算虚拟化、存储虚拟化、网络虚拟化等。通过虚拟化层,屏蔽了硬件层自身的差异和复杂度,向上呈现为标准化、可灵活扩展和收缩、弹性的虚拟化资源池;云层:对资源池进行调配、组合,根据应用系统的需要自动生成、扩展所需的硬件资源,将更多的应用系统通过流程化、自动化部署和管理,提升IT效率。相对于传统基础架构,云基础架构通过虚拟化整合与自动化,应用系统共享基础架构资源池,实现高利用率、高可用性、低成本、
12、低能耗,并且通过云平台层的自动化管理,实现快速部署、易于扩展、智能管理,帮助用户构建IaaS(基础架构即服务)云业务模式。七、 桌面云(桌面虚拟化)1、桌面虚拟化是指:支持企业级实现桌面系统的远程动态访问与数据中心统一托管的技术。一个形象的类比,就是今天,我们可以通过任何设备、在任何地点,任何时间访问在网络上的我们的邮件系统,或者网盘;而未来我们可以通过任何设备,在任何地点,任何时间访问在网络上的属于我们个人的桌面系统。2、桌面虚拟化是在物理服务器上安装虚拟主机系统,由虚拟主机系统模拟出操作系统运行所需要的硬件资源,如:CPU、内存、网卡、存储等。操作系统运行在这些虚拟的硬件资源之上,可以达到
13、多个操作系统共享物理服务器的硬件资源,从而提高资源利用率。虚拟桌面的存储和执行(包括操作系统、应用程序和用户数据)都集中在数据中心,用户使用终端设备通过远程协议(如:RDP、ICA、PCoIP)进行访问。桌面虚拟化将所有桌面虚拟机在数据中心进行托管并统一管理;同时用户能够获得完整PC的使用体验。用户可以通过瘦客户端,或者类似的设备在局域网或者远程访问获得与传统PC一致的用户体验。是一种仅将操作系统桌面呈现在用户面前的技术,由服务器端完成运算。可以结合服务器虚拟化和应用虚拟化进行。3、特点(1)快速、灵活部署:按需申请、快速发放、无需搬运沉重的PC主机,统一接入、随时随地访问; (2)提高资源利
14、用率:统一管理后台数据中心资源,并统一进行调度管理,将资源的利用率最大化; (3)数据存放安全可靠:数据存放在后台数据中心,安全可靠。并且访问虚拟桌面时在网络上传输的都是图片信息,不易被他人通过网络窃取信息; (4)维护便利:瘦终端无须软件维护;虚拟桌面维护工作可在后台统一进行,非常便利; (5)节能减排:采用桌面虚拟化系统,因“瘦终端”功耗很低,同时,数据中心的资源利用率又较高,因此,可达到节省成本、节能减排的目标。八、 什么是大数据?“大数据”是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密
15、度低四大特征。大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。大数据需要特殊的技术,以有效地处理大量的数据。适用于大数据的技术,包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。九、 大数据的特征大数据特征定义为4V,即规模性(Volume)、高速性(Velocity)、多
16、样性(Variety)和价值性(Value)。1.规模性(Volume) 数据巨大的数据量以及其规模的完整性,非结构化数据规模比结构化数据增长快,数据的存储量和产生量巨大,数据具有完整性。 2.高速性(Velocity) 实时分析产生的数据流以及大数据。现实中对数据的实时性要求较高,能够在第一时间抓到事件发生的信息。当有大量数据输入或必须做出反应时能够迅速对数据进行分析。 3.多样性(Variety) 多样性指有多种途径来源的关系型和非关系型数据。有很多不同的形式,除了简单的文本分析外,还可以对机器数据、图像、视频、点击流以及其他任何可用的信息进行分析。利用大数据多样性的原理就是:保留一切对你
17、有用的你需要的信息,丢弃那些你不需要的信息。发现那些有关联的数据,加以收集、分析、加工,使其变成可以利用的信息。 4.价值性(Value) 合理利用低密度价值的数据并对其进行正确、准确的分析,将会带来很高的价值回报。十、 大数据相关的技术1、云技术大数据常和云计算联系到一起,因为实时的大型数据分析需要分布式处理框架来向数十、数百或甚至数万的电脑分配工作。可以说,云计算充当了工业革命时期的发动机的角色,而大数据则是电。两者的关系:没有大数据的信息积淀,则云计算的计算能力再强大,也难以找到用武之地;没有云计算的处理能力,则大数据的信息积淀再丰富,也终究只是镜花水月。图4 大数据与云计算的关系2、分
18、布式处理技术分布式处理系统可以将不同地点的或具有不同功能的或拥有不同数据的多台计算机用通信网络连接起来,在控制系统的统一管理控制下,协调地完成信息处理任务。3、存储技术大数据存储要求实现存储虚拟化。存储虚拟化是目前为止提高存储效率最重要、最有效的技术手段。它为现有存储系统提供了自动分层和精简配置等提高存储效率的工具。拥有了虚拟化存储,用户可以将来自内部和外部存储系统中的结构化和非结构化数据全部整合到一个单一的存储平台上。当所有存储资产变成一个单一的存储资源池时,自动分层和精简配置功能就可以扩展到整个存储基础设施层面。在这种情况下,用户可以轻松实现容量回收和容量利用率的最大化,并延长现有存储系统
19、的寿命,显著提高IT系统的灵活性和效率,以满足非结构化数据增长的需求。4、感知技术大数据的采集和感知技术的发展是紧密联系的。以传感器技术,指纹识别技术,RFID技术,坐标定位技术等为基础的感知能力提升同样是物联网发展的基石。全世界的工业设备、汽车、电表上有着无数的数码传感器,随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化,都会产生海量的数据信息。十一、 工业大数据工业大数据是指在工业领域信息化应用中所产生的大数据。随着信息化与工业化的深度融合,信息技术渗透到了工业企业产业链的各个环节,条形码、二维码、RFID、工业传感器、工业自动控制系统、工业物联网、ERP、CAD/
20、CAM/CAE/CAI等技术在工业企业中得到广泛应用,尤其是互联网、移动互联网、物联网等新一代信息技术在工业领域的应用,工业企业也进入了互联网工业的新的发展阶段,工业企业所拥有的数据也日益丰富。工业企业中生产线处于高速运转,由工业设备所产生、采集和处理的数据量远大于企业中计算机和人工产生的数据,从数据类型看也多是非结构化数据,生产线的高速运转则对数据的实时性要求也更高。因此,工业大数据应用所面临的问题和挑战并不比互联网行业的大数据应用少,某些情况下甚至更为复杂。工业大数据应用将带来工业企业创新和变革的新时代。通过互联网、移动物联网等带来的低成本感知、高速移动连接、分布式计算和高级分析,信息技术
21、和全球工业系统正在深入融合,给全球工业带来深刻的变革,创新企业的研发、生产、运营、营销和管理方式。这些创新不同行业的工业企业带来了更快的速度、更高的效率和更高的洞察力。工业大数据的典型应用包括产品创新、设备故障诊断与预测、工业生产线物联网分析、工业企业供应链优化和产品精准营销等各个方面。工业生产线物联网分析大数据应用:现代化工业制造生产线安装有数以千计的小型传感器,来探测温度、压力、热能、振动和噪声。因为每隔几秒就收集一次数据,利用这些数据可以实现很多形式的分析,包括设备诊断、用电量分析、能耗分析、质量事故分析(包括违反生产规定、零部件故障)等。例如,在能耗分析方面,在设备生产过程中利用传感器
22、集中监控所有的生产流程,能够发现能耗的异常或峰值情形,由此便可在生产过程中优化能源的消耗,对所有流程进行分析将会大大降低能耗。十二、 大数据对企业管理的影响1、大数据对企业管理思想的影响 大数据时代的来临改变了企业的内外部环境,引起了企业的变革与发展。企业越来越智能化,管理实现了信息化。企业中的数据收集、传输利用需要现代管理思想的支撑。 大数据环境下的企业管理应当以人为本,在实践的基础上运用现代信息化技术,采用柔性管理,将数据当作附加资产来看待。企业运营离不开数据的支撑,企业管理当中如果不能够深刻认识到大数据的重要性,仅仅以公司短期盈利作为目标,是缺乏战略性的思考。有效的利用数据分析结果,提前
23、进行预测,抓住市场先机、顾客需求,就能主动赢得市场,才能在企业管理与销售业绩上创造出更大的财富。 2、大数据对企业管理决策的影响 大数据背景下的数据分析利用是企业决策的关键。首先,大数据的决策需要大市场的数据。基于云计算的大数据环境影响到企业信息收集方式、决策方案选择、决策方案制定和评估等决策实施过程,对企业的管理决策产生影响。大数据决策的特点体现在数据驱动型决策,大数据环境下的管理决策对于企业不仅是一门技术,更是一种全新的决策方式、业务模式,企业必须适应大数据环境对管理决策的新挑战。 其次,大数据对决策者和决策组织提出了更高的要求。大数据时代改变了过去依靠经验、管理理论和思想的决策方式。管理
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 计算 数据 基础知识 20
![提示](https://www.taowenge.com/images/bang_tan.gif)
限制150内