云计算和大数据基础知识教学教材.docx

* 1: 100. 云计算一 大数据(BigData)1. 定义：海量数据或巨量数据，其规模巨大到无法用当前主流的计算机系统在合理时间内猎取、存储、治理、处理并提取以帮助使用者决策。2. 特点：1数据量大 VolumePB级以上长快源及格式多样2） 快速Velocity- 数 据 增3） 多样Variety- 数 据 来4） 价值密度低Value从大量、多样数据中提取价值的体系构造5） 简单度Complexity-对数据处理和分析的难度大3. 大数据与云计算的关系：从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不行分。大数据必定无法用单台的计算机进展处理，必需承受分布式计算架构。它的特色在于对海量数据的挖掘，但它必需依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。二云计算(Cloud Computing)1. 定义：1云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够依据需要猎取计算力、存储空间和信息效劳。/分布式计算2云计算是通过网络按需供给可动态伸缩的廉价计算效劳。2. 特点：1超大规模2虚拟化 3高牢靠性 4通用性 5高可伸缩性6按需效劳 7极其廉价3. 效劳类型分类：1） SaaS 软件即效劳:：Software as a Service)/针对性更强，它将某些特定应用软件功能封装成效劳如：Salesforce online CRM2） PaaS 平台即效劳： Platform as a Service/ 对资源的抽象层次更进一步，供给用户应用程序运行环境如：Google App Engine,Microsoft Windows Azure3） IaaS根底设施作为效劳：Infrastructure as a Service/将硬件设备等根底资源封装成效劳供用户使用 ， 如：Amazon EC2/S34. 云计算的实现机制体系构造1 SOA 面对效劳的体系构造： 它将应用程序的不同功能单元称为效劳通过这些效劳之间定义良好的接口和契约联系起来。 使得其效劳能以一种统一的、通用的方式进展交互。SOA可以看作是 B/S模型、XML/Web Service 技术之后的自然延长。2治理中间件： 关键局部的资源池。3资源池层：将大量一样类型的资源构成同构或接近同构4物理资源层：计算机、存储器、网络设施、数据库和软件等5. 云计算与网格计算1） 网格是基于 SOA、使用互操作、按需集成等技术，将分散在不同地理位置的资源虚拟化为一个整体。2） 关系类似于 TCP/IP 协议 之于 OSI 模型6. 云计算与物联网1） 物联网有 全面感知，牢靠传递、智能处理三个特征。 云计算供给对智能处理所需要的海量信息的分析和处理支持。2） 云计算架构与互联网之上，而物联网依靠于互联网来供给有效延长。因而， 云计算模式是物理网的后端支撑关键。* 1.1: 1. Google 云计算原理一 文件系统 GFS 1 系统架构2） 实现机制: 节点分类：Client - >Master> Chunk Server Master 负责治理。 Client 与 Master 之间只有掌握流，而没有数据流【数据流 与掌握流 分别】 Client 可以同时访问多个 Chunk Server 。【高度的 I/O 并行】3） 特点 承受中心效劳器【Master 把握 Chunk Server 状况，便利实现负载均衡】 不缓存数据 在用户态下实现4） 容错机制 Master 容错 ：a. 对应 Chunk Server 留有备份 Chunk Server 容错：a. 多个副本备份3 个b. GFS 每个文件被分为多个 Chunk 64MBc. Chunk 分为 Block64kb, 每个 Block 对应一个 32 bit 校验和二 分布式计算编程模型 MapReduce 1 编程模型 划分为 M 个 Map ， 每一个 Map 针对不同的原始数据，相互独立、并行操作。 Reduce 操作则是对每个 Map 产生的中间结果进展合并。每个 Reduce 所处理的最终结果互不穿插，通过简洁相连即可形成完整的结果集。PS:Map: (in key, in value )-> N 个 MapReduce: ( key(value1,value2,. ) )-> 对一样的 Key 对应的 value 进展并行处理/ 统计单词消灭次数，每个 Map 统计一局部文本，Reduce 进展合并。2） 实现机制3） 容错机制 Master 失效： 周期性地设置检查点，一旦任务失效，则从最近一个检查点重执行 Worker 失效： Master 周期性地 ping Worker , Worker 不答复即失效，任务调度安排给其他 Worker三分布式锁效劳 Chubby1） 作用： Chubby 是 Google 设计的供给粗粒度锁效劳的一个文件系统，它基于松耦合分布式系统，解决了分布的全都性问题2） Paxos 算法 proposers (提议)-> acceptors (接收并做出选择)-> leaner ( 决策)/ 条件？3） 实现四 分布式构造化数据表 BigTable 1 作用 基于 GFS 和 Chubby 的分布式存储系统。/类似数据库，存储了 Google 海量数据 ，用户通过 Key 查询2） 数据模型行、列、时间戳 ： row:string, column:string, time:int64string/依次对应于三级索引3） 系统架构Chubby 保证同一时间内只有一个主效劳器Master Server 4主效劳器子表安排子表效劳器状态监测子效劳器之间的负载均衡5子表效劳器 BigTable 中的实际数据以子表的形式保存在子表效劳器上。子表效劳器数据存储格式： SSTable 。SSTable 文件存储于 GFS 中 较的数据存储于 内存表写操作&&较早的数据存储在 SSTable中读操作。五 分布式存储系统 Megastore1） 一种介于传统的关系型数据库和NoSQL 之间的存储技术，尽可能到达高可用性和高可扩展性的统一2） 底层数据存储于 BigTable/ 应 用于 Google 旧时的系统， 目前技术为Spanner六 分布式监控系统 Dapper1Google 基于故障驱动 而设计的分布式系统的监控根底架构。*核心技术： 最关键的代码根底是根本 RPC、线程和掌握流函数库的实现主要功能是实现区间创立、抽样和在本地磁盘上记录日志。将简单的功能实现限制在一个轻量级的核心功能库中保证了Dapper 的监控过程根本对应用层透亮。* 二次抽样技术* 1.2: 2. Amazon 云计算* 1.3: 100. 桌面云一云计算Cloud Computing1是一种互联网上的 资源利用方式，可为群众用户依托互联网上异构、自治的效劳进展 按需即取的计算 , 云计算的资源是动态易扩展而且虚拟化的，通过互联网供给。二云桌面1） 根本定义：云桌面是云计算时代的典型应用：基于分布式云计算存储技术， 集成互联网精华应用，依托高度加密算法， 为接入用户供给效劳。2） 价值表达：信息安全数据存储在云平台维护、部署便利云治理软件节能、节约只需供给终端3） 建设方案：在企业内部集中部署效劳器、磁阵，建设好云平台的 IT 环境， 安装相关的云桌面软件，和企业需要的办公软件。在员工办公桌上，部署云终端+显示器+键盘+鼠标，插上网线连上云桌面即可实现正常的办公。4） Citrix ： 简介： Citrix 即美国思杰公司，是一家致力于云计算虚拟化、虚拟桌面和远程接入技术领域的高科技企业三桌面云1桌面云：可以通过 瘦客户端 或者其他任何与网络相连的设备来 访问跨平台的应用程序，以及整个客户桌面。/桌面云与云桌面， 是同一对象的不同侧重点的阐述。2业务价值：集中化- 节约维护、 治理本钱安全性高- 数据存储于效劳器端， 客户端存储影像节能减耗本钱削减- 软硬件本钱削减、维护本钱削减3桌面云架构：瘦终端：瘦终端是我们使用桌面云的设备，一般是一个内嵌了独立的嵌入式操作系统网络接入：桌面云供给了各种接入方式供用户连接。包括一般连接和安全连接方式掌握台：掌握台可以对运行着虚拟桌面的效劳器进展配置，例如配置网络连接，配置存储设备等等。还可以监控运行效劳器的CPU、内容状况等指标。身份认证：在桌面云中一般是通过 Active Directory 或者 LDAP 这些产品来进展用户的认证和授权的。设置和修改密码，设定不同的角色和权限。应用程序：云桌面架构供给了共享效劳的方式来供给桌面和应用。这样可以在特定的效劳器上供给更多的效劳。效劳器：桌面云解决方案中，更多的应用方式是把各种应用分发到虚拟桌面，这样客户只需要连到一个桌面就可以使用全部的应用，四云终端1） 根本定义：云终端是一台不需要 CPU，硬盘和 CD-ROM 的 多用户网络终端设备。>通过 虚拟化解决方案， 将一台计算机的全部软硬件资源，供给应多个用户无限制独立使用， 拖变/转成多个云终端。2） 设备特征：设计轻松低功耗节约硬件本钱不需要客户端主机节约软件本钱仅需一个效劳器软件本钱节约维护、治理本钱云中心统一治理3） 运算模型：终端机是一种没有硬盘驱动器的计算设备，它显示来自远程效劳器或刀片式 PC 的数据和应用程序。基于效劳器的计算模型4） 解决方案：TCSC-PC STATION Server-based Computing五瘦客户机1） 根本定义：瘦客户机thin client是使用专业嵌入式处理器、小型本地DOM 电子盘、精简版操作系统的基于PC 工业标准设计的小型行业专用商用PC。/具有独立 CPU、显卡等，相比于一般PC 更加牢靠，更低功耗 和更高安全性。2） 区分于云终端：云终端是承受 ARM 架构设计RISC 精简指令集，没有 CPU、硬盘、内存条的一个网络终端。障率极低。用软硬件一体化设计，即利于维护又便利治理;USB 掌握开放，故瘦客户机则承受 X86 架构设计CISC 简单指令集，继承传统电脑PC 的特色，拥有 CPU、硬盘、内存条等，具有独立的操作系统。所以我们又称之为迷你主机或迷你电脑瘦客户机的桌面虚拟化只能通过 RDP 协议进展部署方案，不能实现网络在线高清视频播放，所以不能用在多媒体教学方案中，应用的行业比较有限。瘦客户机只是作为云终端的一款过度性产品，随着云计算与大数据据时代到来，越来越多的企业与用户最终会使用云终端。