2022年云计算和大数据基础知识.docx

精选学习资料 - - - - - - - - - 读书之法 ,在循序而渐进 ,熟读而精思* 1: 100. 云运算（一）大数据 BigData 1. 定义：海量数据或巨量数据, 其规模庞大到无法用当前主流的运算机系 统在合理时间内猎取、储备、治理、处理并提取以帮忙使用者决策；2. 特点：1）数据量大（Volume）- PB级以上2）快速（Velocity）- 数 据 增长快3）多样（Variety）- 数 据 来源及格式多样4）价值密度低（Value ）- 从大量、多样数据中提取价值的体系结构5）复杂度（Complexity ）-对数据处理和分析的难度大3.大数据与云运算的关系：从技术上看, 大数据与云运算的关系就像一枚硬币的正反面一样密不行分；大数据必定 无法用单台的运算机进行处理,必需采纳分布式运算架构；它的特色在于对海量数据的挖掘,但它必需依靠云运算的分布式处理、分布式数据库、云储备和虚拟化技术；（二）云运算 Cloud Computing 1.定义：1）云运算是一种商业运算模型；它将运算任务分布在大量运算机构 成的资源池上,使各种应用系统能够依据需要猎取运算力、储备空间和信息服务；/ 分布式运算2）云运算是通过网络按需供应可动态伸缩的廉价运算服务；2. 特点：1）超大规模 2）虚拟化 3）高牢靠性 4）通用性 5）高可伸缩性 6）按需服务 7）极其廉价3. 服务类型分类：1） SaaS （软件即服务 :：Software as a Service / 针对性更强,它将某些特定应用软件功能封装成服务如： Salesforce online CRM 名师归纳总结 - - - - - - -第 1 页,共 7 页精选学习资料 - - - - - - - - - 读书之法 ,在循序而渐进 ,熟读而精思2） PaaS （平台即服务：Platform as a Service）/对资源的抽象层次更进一步,供应用户应用程序运行环境如：Google App Engine ,Microsoft Windows Azure 3） IaaS （基础设施作为服务：/ 将硬件设备等基础资源封装成服务供用户使用4. 云运算的实现机制（体系结构）Infrastructure as a Service ）, 如： Amazon EC2/S3 1） SOA （面对服务的体系结构）： 它将应用程序的不同功能单元（称为服务）通过这些服务之间定义良好的接口和契约联系起来；统一的、通用的方式进行交互；使得其服务能以一种SOA 可 以 看 作 是 B/S 模 型 、XML/Web Service 技术之后的自然延长；2）治理中间件：（关键部分）3）资源池层：将大量相同类型的资源构成同构或接近同构的资源池；4）物理资源层：运算机、储备器、网络设施、数据库和软件等5. 云运算与网格运算1）网格是基于 SOA、使用互操作、按需集成等技术,将分散在不同地理位置的资源虚拟化为一个整体；2） 关系类似于TCP/IP 协议 之于OSI 模型6. 云运算与物联网1）物联网有全面感知, 牢靠传递、 智能处理三个特点；云运算供应对智能处理所需要的海量信息的分析和处理支持；2）云运算架构与互联网之上,而物联网依靠于互联网来供应有效延长；因而, 云运算模式是物理网的后端支撑关键；* 1.1: 1. Google 云运算原理（一）文件系统GFS 1） 系统架构名师归纳总结 - - - - - - -第 2 页,共 7 页精选学习资料 - - - - - - - - - 读书之法 ,在循序而渐进 ,熟读而精思2） 实现机制 : 节点分类：Client - > Master - > Chunk Server Master 负责治理；Client 与 Master 之间只有掌握流,而没有数据流【数据流 与掌握流 分别】 Client 可以同时拜访多个 Chunk Server ；【高度的 I/O 并行】3） 特点 采纳中心服务器【Master 把握 Chunk Server 情形,便利实现负载均衡】 不缓存数据 在用户态下实现4）容错机制 Master 容错：a. 对应 Chunk Server 留有备份 Chunk Server 容错：a. 多个副本备份 （3 个）b. GFS 每个文件被分为多个 Chunk （64MB）c. Chunk 分为 Block（64kb）, 每个 Block 对应一个 32 bit 校验和（二）分布式运算编程模型 MapReduce 1） 编程模型 划分为M 个 Map , 每一个Map 针对不同的原始数据,相互独立、并行操作； Reduce 操作就是对每个Map 产生的中间结果进行合并；每个 Reduce 所处理的最终结果互不交叉,通过简洁相连即可形成完整的结果集；PS: Map: in key, in value -> N 个 Map value 进行Reduce: keyvalue1,value2,. -> 对相同的Key 对应的并行处理/ 统计单词显现次数,每个Map 统计一部分文本,Reduce 进行合并；2） 实现机制3） 容错机制新执行 Master 失效：周期性地设置检查点,一旦任务失效,就从最近一个检查点重 Worker 失效：Master 周期性地 ping Worker , Worker 不答复即失效,任务调名师归纳总结 度安排给其他Worker 第 3 页,共 7 页- - - - - - -精选学习资料 - - - - - - - - - 读书之法 ,在循序而渐进 ,熟读而精思（三）分布式锁服务 Chubby 1） 作用：Chubby 是 Google 设计的供应粗粒度锁服务的一个文件系统,它基于松耦合分布式系统,解决了分布的一样性问题2） Paxos 算法 proposers 提议 -> acceptors 接收并做出挑选 -> leaner 决策 / 条件？3） 实现（四）分布式结构化数据表BigTable 1） 作用 基于 GFS 和 Chubby 的分布式储备系统；/ 类似数据库,储备了Google 海量数据,用户通过Key 查询2）数据模型行、列、时间戳：（ row:string, column:string, time:int64） string / 依次对应于三级索引3）系统架构Chubby 保证同一时间内只有一个主服务器（Master Server）4）主服务器新子表安排子表服务器状态监测子服务器之间的负载均衡5）子表服务器 BigTable 中的实际数据以子表的形式储存在子表服务器上；子表服务器数据存储格式：SSTable ；（ SSTable 文件储备于 GFS 中） 较新的数据储备于 内存表 （写操作）&& 较早的数据储备在 SSTable 中（读操作） ；（五）分布式储备系统Megastore 1）一种介于传统的关系型数据库和 可扩展性的统一NoSQL之间的储备技术,尽可能达到高可用性和高2）底层数据储备于BigTable Spanner / 应 用于 Google 旧时的系统,目前新技术为（六）分布式监控系统Dapper 1）Google 基于故障驱动而设计的分布式系统的监控基础架构；名师归纳总结 - - - - - - -第 4 页,共 7 页精选学习资料 - - - - - - - - - 读书之法 ,在循序而渐进 ,熟读而精思*核心技术：最关键的代码基础是基本RPC、线程和掌握流函数库的实现主要功能是实现区间创建、抽样和在本地磁盘上记录日志；将复杂的功能实现限制在一个轻量级的核心功能库中保证了 Dapper 的监控过程基本对应用层透亮；* 二次抽样技术* 1.2: 2. Amazon 云运算* 1.3: 100. 桌面云（一）云运算（Cloud Computing ）1）是一种互联网上的 资源利用新方式,可为大众用户依靠互联网上异构、自治的服务进行 按需即取的运算 , 云运算的资源是动态易扩展而且虚拟化的,通过互联网供应；（二）云桌面1）基本定义：云桌面是云运算时代的典型应用：基于分布式云运算储备技术,集成互联网精华应用,依靠高度加密算法,为接入用户供应服务；2） 价值表达：信息安全（数据储备在云平台）保护、部署便利（云治理软件）节能、节约（只需供应终端）3） 建设方案：在企业内部集中部署服务器、磁阵,建设好云平台的IT 环境,安装相关的云桌面软件,和企业需要的办公软件；在员工办公桌上,部署云终端 云桌面即可实现正常的办公；+显示器 +键盘 +鼠标,插上网线连上4）Citrix ： 简介：Citrix 即美国思杰公司,是一家致力于云运算虚拟化、虚拟桌面和远程接入技术领域的高科技企业（三）桌面云名师归纳总结 1）桌面云：可以通过瘦客户端或者其他任何与网络相连的设备来拜访跨平第 5 页,共 7 页台的应用程序,以及整个客户桌面；/ 桌面云与云桌面,是同- - - - - - -精选学习资料 - - - - - - - - - 读书之法 ,在循序而渐进 ,熟读而精思一对象的不同侧重点的阐述；2）业务价值：集中化- 节约保护、治理成本安全性高- 数据储备于服务器端,客户端储备影像节能减耗成本削减- 软硬件成本削减、保护成本削减3）桌面云架构：瘦终端：瘦终端是我们使用桌面云的设备,一般是一个内嵌了独立的嵌入式操作系统网络接入：桌面云供应了各种接入方式供用户连接；（包括一般连接和安全连接方式）掌握台：掌握台可以对运行着虚拟桌面的服务器进行配置,例如配置网络连接,配置储备设备等等；仍可以监控运行服务器的CPU、内容情形等指标；身份认证：在桌面云中一般是通过Active Directory 或者LDAP 这些产品来进行用户的认证和授权的；设置和修改密码,设定不同的角色和权限；应用程序：云桌面架构供应了共享服务的方式来供应桌面和应用；这样可以在特定的服务器上供应更多的服务；服务器：桌面云解决方案中, 更多的应用方式是把各种应用分发到虚拟桌 面,这样客户只需要连到一个桌面就可以使用全部的应用,（四）云终端1）基本定义：云终端是一台不需要CPU,硬盘和 CD-ROM 的 多用户网络终端设备；>通过虚拟化解决方案,将一台运算机的全部软硬件资源,供应应多个用户（无限制）独立使用,拖（变 /转）成多个云终端；2） 设备特点：设计轻巧 低功耗 节约硬件成本（不需要客户端主机）节约软件成本（仅需一个服务器软件成本）节约保护、治理成本（云中心统一治理）3）运算模型：终端机是一种没有硬盘驱动器的运算设备,它显示来自远程服务器 或刀片式 PC的数据和应用程序；基于服务器的运算模型名师归纳总结 4）解决方案：TCSC-PC STATION Server-based Computing 第 6 页,共 7 页- - - - - - -精选学习资料 - - - - - - - - - 读书之法 ,在循序而渐进 ,熟读而精思（五）瘦客户机1） 基本定义：瘦客户机（ thin client ）是使用专业嵌入式处理器、小型本地DOM 电子盘、精简版操作系统的基于 PC工业标准设计的小型行业专用商用 PC；/ 具有独立 CPU、显卡等,相比于一般 PC更加牢靠,更低功耗 和更高安全性；2）区分于云终端：云终端是采纳 ARM 架构设计 RISC 精简指令集 ,没有 CPU、硬盘、内存条的一个网络终端；用软硬件一体化设计,即利于保护又便利治理 ;USB掌握开放,故障率极低；瘦客户机就采纳 X86 架构设计 CISC 复杂指令集 ,继承传统电脑PC 的特色,拥有 CPU、硬盘、内存条等,具有独立的操作系统；所以我们又称之为迷你主机或迷你电脑瘦客户机的桌面虚拟化只能通过RDP 协议进行部署方案,不能实现网络在线高清视频播放,所以不能用在多媒体教学方案中,应用的行业比较有限；瘦客户机只是作为云终端的一款过度性产品,随着云运算与大数 据据时代到来,越来越多的企业与用户最终会使用云终端；名师归纳总结 - - - - - - -第 7 页,共 7 页