并行与分布式计算前沿.pptx

《并行与分布式计算前沿.pptx》由会员分享，可在线阅读，更多相关《并行与分布式计算前沿.pptx（64页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、并行与分布式计算2017-10-23计算机前沿讲座主要内容一、概念辨析一、概念辨析二、并行计算二、并行计算三、分布式计算三、分布式计算四、基于四、基于GPU的高性能计算的高性能计算五、分布式应用框架五、分布式应用框架Hadoop1一、概念辨析并行计算并行计算分布式计算分布式计算并行计算并行计算vs分布式计算分布式计算网格计算网格计算云计算云计算云计算云计算vs网格计算网格计算普适计算普适计算普适计算普适计算vs云计算云计算2并行计算：并行计算：并行计算或称平行计算是相对于串行计算来说的；并行计算或称平行计算是相对于串行计算来说的；所谓并行计算可分为时间上的并行和空间上的并行。所谓并行计算可分为

2、时间上的并行和空间上的并行。时间上的并行就是指流水线技术，而空间上的并行时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。并行计算科则是指用多个处理器并发的执行计算。并行计算科学中主要研究的是空间上的并行问题。学中主要研究的是空间上的并行问题。并行计算通常是针对计算量的科学计算问题。并行计算通常是针对计算量的科学计算问题。分为：单机的多核多处理器的并行分为：单机的多核多处理器的并行&多机（集群）的并行多机（集群）的并行集群计算集群计算&集群服务集群服务高性能计算，超级计算高性能计算，超级计算3分布式计算：分布式计算：是计算机科学的一个重要分支，它主要研究如何是计算机

3、科学的一个重要分支，它主要研究如何把一个需要巨大的计算能力才能解决的问题分解把一个需要巨大的计算能力才能解决的问题分解成许多小的部分，然后把这些部分再分配给许多成许多小的部分，然后把这些部分再分配给许多志愿者计算机进行处理，最后把这些计算结果综志愿者计算机进行处理，最后把这些计算结果综合起来得到最终的结果。合起来得到最终的结果。目前常见的分布式计算项目通常使用世界各地目前常见的分布式计算项目通常使用世界各地上千万志愿者计算机的闲置计算能力，通过互上千万志愿者计算机的闲置计算能力，通过互联网进行数据传输。联网进行数据传输。可以帮助一些缺乏研究资金的、公益性质的科可以帮助一些缺乏研究资金的、公益性

4、质的科学研究，加速人类的科学进程。有效利用全世学研究，加速人类的科学进程。有效利用全世界联网机器的闲置处理能力，向大众普及科学界联网机器的闲置处理能力，向大众普及科学意识。意识。4并行计算vs分布式计算（1）并行计算借助并行算法和并行编程语言能够实）并行计算借助并行算法和并行编程语言能够实现进程级并行（如现进程级并行（如MPI）和线程级并行（如）和线程级并行（如openMP）。而分布式计算只是将任务分成小块到）。而分布式计算只是将任务分成小块到各个计算机分别计算各自执行。各个计算机分别计算各自执行。（2）粒度方面，并行计算中，处理器间的交互一般）粒度方面，并行计算中，处理器间的交互一般很频繁，

5、往往具有细粒度和低开销的特征，并且被很频繁，往往具有细粒度和低开销的特征，并且被认为是可靠的。而在分布式计算中，处理器间的交认为是可靠的。而在分布式计算中，处理器间的交互不频繁，交互特征是粗粒度，并且被认为是不可互不频繁，交互特征是粗粒度，并且被认为是不可靠的。并行计算注重短的执行时间，分布式计算则靠的。并行计算注重短的执行时间，分布式计算则注重长的正常运行时间。注重长的正常运行时间。5网格计算网格计算网格计算是分布式计算的一种；网格计算是分布式计算的一种；网格计算的实质就是组合与共享资源并确保网格计算的实质就是组合与共享资源并确保系统安全。网格计算通过利用大量异构计算系统安全。网格计算通过利

6、用大量异构计算机的未用资源（机的未用资源（CPU周周期和磁盘存储），将期和磁盘存储），将其作为嵌入在分布式电信基础设施中的一个其作为嵌入在分布式电信基础设施中的一个虚拟的计算机集群，为解决大规模的计算问虚拟的计算机集群，为解决大规模的计算问题提供一个模型。网格计算的焦点放在支持题提供一个模型。网格计算的焦点放在支持跨管理域计算跨管理域计算的能力，这使它与传统的计算的能力，这使它与传统的计算机集群或传统的分布式计算相区别。机集群或传统的分布式计算相区别。6云计算云计算是最新开始的新概念，它不只是计算云计算是最新开始的新概念，它不只是计算等计算机概念，还有运营服务等概念了。它等计算机概念，还有运营

7、服务等概念了。它是分布式计算、并行计算和网格计算的发展，是分布式计算、并行计算和网格计算的发展，或者说是这些概念的商业实现。云计算不但或者说是这些概念的商业实现。云计算不但包括分布式计算还包括分布式存储和分布式包括分布式计算还包括分布式存储和分布式缓存。分布式存储又包括分布式文件存储和缓存。分布式存储又包括分布式文件存储和分布式数据存储分布式数据存储。7云计算vs网格计算网格计算强调资源共享，任何人都可以作为网格计算强调资源共享，任何人都可以作为请求者使用其它节点的资源，任何人都需要请求者使用其它节点的资源，任何人都需要贡献一定资源给其他节点。网格计算强调将贡献一定资源给其他节点。网格计算强调

8、将工作量转移到远程的可用计算资源上。云计工作量转移到远程的可用计算资源上。云计算强调专有，任何人都可以获取自己的专有算强调专有，任何人都可以获取自己的专有资源，并且这些资源是由少数团体提供的，资源，并且这些资源是由少数团体提供的，使用者不需要贡献自己的资源。使用者不需要贡献自己的资源。网格计算侧重并行的计算集中性需求，并且网格计算侧重并行的计算集中性需求，并且难以自动扩展。云计算侧重事务性应用，有难以自动扩展。云计算侧重事务性应用，有大量的单独的请求，可以实现自动扩展。大量的单独的请求，可以实现自动扩展。8普适计算普适计算（普适计算（Pervasive/UbiquitousComputing）

9、是指，无所不在的、随时随）是指，无所不在的、随时随地可以进行计算的一种方式；无论何时何地可以进行计算的一种方式；无论何时何地，只要需要，就可以通过某种设备访问地，只要需要，就可以通过某种设备访问到所需的信息。到所需的信息。普适计算最重要的两个特征：普适计算最重要的两个特征：间断连接；轻量计算（即计算资源有限）间断连接；轻量计算（即计算资源有限）普适计算的软件技术就是要实现在这种环普适计算的软件技术就是要实现在这种环境下的事务和数据处理。境下的事务和数据处理。9普适计算vs云计算概念不同普适计算是学术概念云计算是商业概念高度不同普适计算是一种思想：融合云计算是一种手段研究的重心不同普适计算强调终

10、端与服务云计算更关注集合与协同应该成为未来并存的计算模式10二、并行计算1并行计算概述并行计算概述2并行计算理论基础并行计算理论基础3多线程编程多线程编程4OpenMP编程编程5MPI编程编程111并行计算概述并行计算概述1.1并行计算定义并行计算定义1.2为什么需要并行计算为什么需要并行计算1.3超级计算机的世界格局超级计算机的世界格局1.4并行计算机系统结构并行计算机系统结构1.5并行平台的通信模型并行平台的通信模型1.6 设计并行算法的四个阶段设计并行算法的四个阶段1.7并行算法并行算法求和求和12并行计算是并行计算是相对于串行计算来说的相对于串行计算来说的；所谓所谓并行计算可分为时间上

11、的并行和空间上的并行。并行计算可分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术，而空间上的并行时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。并行计算科则是指用多个处理器并发的执行计算。并行计算科学中主要研究的是空间上的并行问题。学中主要研究的是空间上的并行问题。并行计算通常是针对计算量的科学计算问题。并行计算通常是针对计算量的科学计算问题。分为：单机的多核多处理器的并行分为：单机的多核多处理器的并行&多机（集群）的并行多机（集群）的并行集群计算集群计算&集群服务集群服务高性能计算，超级计算高性能计算，超级计算1.1并行计算定义并行计算定义131.2

12、为什么需要并行计算为什么需要并行计算1）特殊行业的需求：）特殊行业的需求：2）现代科学方法）现代科学方法3）多核处理器）多核处理器“从某种程度上说，对于软件开发者而言，从某种程度上说，对于软件开发者而言，CPU主频提升就像是免费的午餐，此前所有的程序主频提升就像是免费的午餐，此前所有的程序很自然地会从主频的提升中受益，而如今多核很自然地会从主频的提升中受益，而如今多核出现了，这种免费的午餐没有了。我们必须针出现了，这种免费的午餐没有了。我们必须针对多核重新进行软件设计对多核重新进行软件设计”。多核技术是处理器发展的必然趋势。多核技术是处理器发展的必然趋势。141.3超级计算机的世界格局超级计算

13、机的世界格局超级计算是解决国家经济超级计算是解决国家经济建设建设、社会社会发展、科学发展、科学进步、国家进步、国家安全安全和国防建设等领域一系列重大挑和国防建设等领域一系列重大挑战性问题的重要手段，是国家综合国力、科技竞战性问题的重要手段，是国家综合国力、科技竞争力和信息化建设能力的重要体现，已经成为世争力和信息化建设能力的重要体现，已经成为世界各国争夺的战略制高点。界各国争夺的战略制高点。1993年，德国曼海姆大学汉斯、埃里克等人发起年，德国曼海姆大学汉斯、埃里克等人发起创建了全球超级计算机创建了全球超级计算机TOP500排名榜。排名榜。TOP500目前由德国曼海姆大学、美国田纳西大学、美国

14、目前由德国曼海姆大学、美国田纳西大学、美国能源研究科学计算中心以及劳伦斯伯克利国家实能源研究科学计算中心以及劳伦斯伯克利国家实验室联合举办，每年排名两次，已发展成为全世验室联合举办，每年排名两次，已发展成为全世界最具权威的超级计算机排名榜，是衡量各国超界最具权威的超级计算机排名榜，是衡量各国超级计算水平的最重要的参考依据。级计算水平的最重要的参考依据。151.4并行体系结构-控制结构并行计算机的处理器可以在单一控制部件的集中控制下运行，也可以独立运行。如果单一控制部件向每个处理部件分派相同指令，该模型称为单指令多数据流（SIMD）。如果计算机中的每个处理器都能够独立于其他处理器对不同的数据执行

15、不同的指令，这样的模型被称为多指令流多数据流（MIMD）。16SIMD和MIMD处理机a）典型的SIMD体系结构 b）典型的MIMD体系结构171.4并行体系结构-PRAM模型基本概念由Fortune和Wyllie1978年提出，又称SIMD-SM模型。有一个集中的共享存储器和一个指令控制器，通过SM的R/W交换数据，隐式同步计算。结构图Control UnitInterconnection NetworkPLMPLMPLMPLMShared Memory18分类(1)PRAM-CRCW并发读并发写CPRAM-CRCW(CommonPRAM-CRCW)：仅允许写入相同数据PPRAM-CRCW(

16、PriorityPRAM-CRCW)：仅允许优先级最高的处理器写入APRAM-CRCW(ArbitraryPRAM-CRCW)：允许任意处理器自由写入(2)PRAM-CREW并发读互斥写(3)PRAM-EREW互斥读互斥写计算能力比较PRAM-CRCW是最强的计算模型，PRAM-EREW可logp倍模拟PRAM-CREW和PRAM-CRCW1.4并行体系结构-PRAM模型191.4并行体系结构互联网络拓扑结构1（一维线性阵列）只与左右近邻节点相连N个节点用N-1条边节点度为2网络直径为N-1对剖度为1首尾连接时构成环（单向或双向）201.4并行体系结构互联网络拓扑结构2（四近邻连接）211.4

17、并行体系结构互联网络拓扑结构3（树形连接）221.4并行体系结构互联网络拓扑结构4（超立方连接）231.5并行平台的通信模型并行任务间有两种主要的数据交换方式访问共享数据空间以及交换消息。提供共享数据空间的平台称为共享地址空间平台或者称为多处理器。支持消息交换的平台称为消息传递平台或者称为多计算机。24共享地址空间平台所有处理器都能访问部分（或全部）内存。处理器通过修改存储在共享地址空间的数据来实现交互。如果处理器访问系统中任何内存字（全局或本地）的时间都相同，该平台就归类为统一内存访问（UMA）平台，其他的平台则称为非统一内存访问（NUMA）平台。25NUMA和UMA共享地址空间平台典型的共

18、享地址空间结构：a）统一内存访问共享地址空间计算机；b）带有高速缓存及内存的统一内存访问共享地址空间计算机；c）只带本地内存的非统一内存访问共享地址空间计算机。26存储转发(SF)路由存储转发(Store-and-Forward)路由消息被分成基本的传输单位-信包(Packet),每个信包都含有寻径信息；当一个信包到达中间节点A时，A把整个信包放入其通信缓冲器中，然后在选路算法的控制下选择下一个相邻节点B，当从A到B的通道空闲并且B的通信缓冲器可用时，把信包从A发向B；信包的传输时间:tcomm(SF)=ts+(mtw+th)l=O(ml)缺点：每个结点必须对整个消息和信包进行缓冲，缓冲器较大

19、；网络时延与发送消息所经历的节点数成正比27直通(Cut Through)路由直通(Cut Through)路由在传递一个消息之前，就为它建立一条从源结点到目的结点的物理通道。在传递的全部过程中，线路的每一段都被占用，当消息的尾部经过网络后，整条物理链路才被废弃。传输时间:tcomm(CT)=ts+mtw+lth=O(m+l)缺点：物理通道非共享传输过程中物理 通道一直被占用28一到多播送SF模式环步骤：先左右邻近传送;再左右二个方向同时播送示例：通讯时间：29一到多播送CT模式环步骤：(1)先发送至p/2远的处理器;(2)再同时发送至p/22远的处理器;(i)再同时发送至p/2i远的处理器;

20、示例：图8.8通讯时间：30多到多播送SF模式环步骤：同时向右(或左)播送 刚接收到的信包示例：图8.10通讯时间：已有数据已有数据第第2步传送数据步传送数据231多到多播送SF模式环绕网孔步骤：(1)先进行行的播送；(2)再进行列的播送；示例：图8.11通讯时间：321.6设计并行算法的四个阶段设计并行算法的四个阶段(PCAM)划分(Partitioning)通讯(Communication)组合(Agglomeration)映射(Mapping)划分：分解成小的任务，开拓并发性；通讯：确定诸任务间的数据交换，监测划分的合理性；组合：依据任务的局部性，组合成更大的任务；映射：将每个任务分配到

21、处理器上，提高算法的性能。33PCAM设计过程34域分解划分的对象是数据，可以是算法的输入数据、中间处理数据和输出数据；将数据分解成大致相等的小数据片；划分时考虑数据上的相应操作；如果一个任务需要别的任务中的数据，则会产生任务间的通讯；35域分解示例：三维网格的域分解，各格点上计算都是重复的。下图是三种分解方法：36域分解不规则区域的分解示例：37功能分解划分的对象是计算，将计算划分为不同的任务，其出发点不同于域分解；划分后，研究不同任务所需的数据。如果这些数据不相交的，则划分是成功的；如果数据有相当的重叠，意味着要重新进行域分解和功能分解；功能分解是一种更深层次的分解。38功能分解示例1：搜

22、索树示例2：气候模型391.7并行算法并行算法求和求和问题：在n个处理器上，每个处理器上有一个数，求这n个数之和。思想：若n是2的幂；利用处理器的逻辑二叉树传播部分和，可以在log n 步完成求和。401.7求和求和例子例子412并行计算概述并行计算概述2.1并行处理概述并行处理概述2.2加速比性能定律加速比性能定律2.3并行程序性能优化的一般原则并行程序性能优化的一般原则42固定负载的加速公式：固定负载的加速公式：Ws+Wp可相应地表示为可相应地表示为(f+(1-f)W，则，则p时，上式极限为：时，上式极限为：S=1/f设并行开销的额外开销为设并行开销的额外开销为Wo 43Karp-Flat

23、t度量度量Amdahl定律忽略了并行开销。定律忽略了并行开销。实验决定的串行比例（实验决定的串行比例（experimentally determined serial fraction）根据它确定并行效率不高的原因：根据它确定并行效率不高的原因：1）缺少）缺少并行性；并行性；2）算法或者体系结构中增加了开）算法或者体系结构中增加了开销。销。442.3并行程序性能优化的一般原则并行程序性能优化的一般原则（1）减少通信量、提高通信粒度）减少通信量、提高通信粒度（2）全局通信尽量利用高效集合通信算法）全局通信尽量利用高效集合通信算法（4）负载平衡）负载平衡（5）通信、计算的重叠）通信、计算的重叠（6

24、）通过引入重复计算来减少通信，即以计算换通信）通过引入重复计算来减少通信，即以计算换通信（3）挖掘算法的并行度，减少）挖掘算法的并行度，减少CPU空闲等待空闲等待453多线程编程多线程编程3.1线程的基本概念线程的基本概念3.2线程的层次线程的层次3.3线程的同步线程的同步3.4多线程编程模型多线程编程模型3.5多线程编程若干问题的讨论多线程编程若干问题的讨论3.6多线程编程的方法多线程编程的方法46线程：线程：是进程中的一个实体，是是进程中的一个实体，是进程上下文（进程上下文（context）中执行的代码序列中执行的代码序列，是被系统调度的基本单元。，是被系统调度的基本单元。线程自己只拥有很

25、少的系统资源线程自己只拥有很少的系统资源(如程序计数器、如程序计数器、一组寄存器和栈一组寄存器和栈)，但它可与同属一个进程的其他，但它可与同属一个进程的其他线程共享所属进程所拥有的全部资源，同一进程线程共享所属进程所拥有的全部资源，同一进程中的多个线程之间可以并发执行，从而更好地改中的多个线程之间可以并发执行，从而更好地改善了系统资源的利用率。善了系统资源的利用率。每个程序至少包含一个线程，那就是主线程。每个程序至少包含一个线程，那就是主线程。进程从来不执行任何东西，它只是线程的容器。进程从来不执行任何东西，它只是线程的容器。47 （1 1）创建一个线程比创建一个进程的代价小。）创建一个线程比

26、创建一个进程的代价小。（2 2）线程的切换比进程间切换的代价小。）线程的切换比进程间切换的代价小。（3 3）充分利用多处理器。）充分利用多处理器。（4 4）数据共享。）数据共享。（5 5）快速响应特性。）快速响应特性。多线程机制的优点：多线程机制的优点：信号量信号量锁锁条件变量条件变量消息消息常用的同步机制：常用的同步机制：484OpenMP编程编程4.1OpenMP简介简介4.2OpenMP编程技术编程技术4.3OpenMP程序性能分析程序性能分析4.4OpenMP编程实例编程实例49诞生于诞生于1997年年目前版本目前版本OpenMP3.1面向共享内存以及分布式共享内存的多处理器多线程面向

27、共享内存以及分布式共享内存的多处理器多线程并行编程语言并行编程语言一种能够被用于显式指导多线程、共享内存并行的应一种能够被用于显式指导多线程、共享内存并行的应用程序编程接口（用程序编程接口（API）具有良好的可移植性，支持多种编程语言具有良好的可移植性，支持多种编程语言支持多种平台支持多种平台大多数的类大多数的类UNIX系统以及系统以及WindowsNT系统系统（Windows2000，WindowsXP，Vista等）等）4.1 OpenMP编程简介编程简介505MPI编程编程5.1MPI简介5.2MPI编程基础5.3MPI集群通信5.3MPI性能优化5.4MPI编程实例5.5MPI与Ope

28、nMP对比5.6MPI与OpenMP混合编程51MPI是一种消息传递编程模型，并成为这种编是一种消息传递编程模型，并成为这种编程模型的代表和事实上的标准；程模型的代表和事实上的标准；MPI是一种标准或规范的代表，而不特指某一是一种标准或规范的代表，而不特指某一个对它的具体实现；个对它的具体实现；MPI是一个库，而不是一门语言；是一个库，而不是一门语言；MPI库可以被库可以被FORTRAN77/C/Fortran90/C+调用。从语法上说它遵守所有对库函数调用。从语法上说它遵守所有对库函数/过程的过程的调用规则，和一般的函数调用规则，和一般的函数/过程没有什么区别。过程没有什么区别。最终目的是服

29、务于进程间通信这一目标。最终目的是服务于进程间通信这一目标。目前已经有目前已经有MPI1和和MPI2的标准。的标准。MPI：52三、分布式计算1、分布式计算简介、分布式计算简介2、主流的分布式计算技术及规范、主流的分布式计算技术及规范1、分布式计算简介1.1分布式计算的定义分布式计算的定义1.2分布式计算的特点及优点分布式计算的特点及优点1.3分布式计算的著名应用分布式计算的著名应用1.4分布式计算与分布式系统分布式计算与分布式系统531.1分布式计算的定义分布式计算的定义分布式计算是一种把需要进行大量计算的工程分布式计算是一种把需要进行大量计算的工程数据分区成小块，由多台计算机分别计算，在数

30、据分区成小块，由多台计算机分别计算，在上传运算结果后，将结果统一合并得出数据结上传运算结果后，将结果统一合并得出数据结论的科学。论的科学。项目方把大的计算任务分割成小块（任务单元）项目方把大的计算任务分割成小块（任务单元），通过互联网分发给志愿者进行计算，志愿者，通过互联网分发给志愿者进行计算，志愿者计算完成后再通过网络把各自的计算结果返回计算完成后再通过网络把各自的计算结果返回到项目方的服务器。到项目方的服务器。541.2分布式计算的特点及优点分布式计算的特点及优点资源共享资源共享:可共享系统中的硬件、软件和数据等信可共享系统中的硬件、软件和数据等信息资源。息资源。分布式透明处理平台分布式透

31、明处理平台:展现给用户的是一个统一的展现给用户的是一个统一的整体系统整体系统;高性价比：分布式系统具有较高的性能价格比。高性价比：分布式系统具有较高的性能价格比。高可靠性：现代分布式系统具有高度容错机制。高可靠性：现代分布式系统具有高度容错机制。可扩展性：添加几台可扩展性：添加几台PC等可提高系统的性能。等可提高系统的性能。高度灵活性：能够兼容不同硬件厂商的产品，兼容高度灵活性：能够兼容不同硬件厂商的产品，兼容低配置机器和外设而获得高性能计算。低配置机器和外设而获得高性能计算。552、主流的分布式计算技术及规范、主流的分布式计算技术及规范2.1消息传递消息传递2.2客户客户-服务器模型服务器模

32、型2.3peer-to-peer模型模型2.4消息系统模式消息系统模式2.5远程过程调用远程过程调用2.6分布式对象分布式对象2.7网络服务模型网络服务模型2.8移动移动Agent模型模型抽象层次抽象层次高高低低对象空间，协同式应用对象空间，协同式应用网络服务，对象请求代理，移动网络服务，对象请求代理，移动Agent远程过程调用，远程方法调用远程过程调用，远程方法调用客户客户-服务器，服务器，Peer-to-Peer消息传递消息传递56WebService：WebService是一种是一种面向服务的架构面向服务的架构的技术，通过的技术，通过标准的标准的Web协议提供服务，目的是保证不同平台的协

33、议提供服务，目的是保证不同平台的应用服务可以互操作。应用服务可以互操作。Webservice是一个平是一个平台独立的，台独立的，松耦合松耦合的，自的，自包含的、基于可编程的包含的、基于可编程的web的应用程序，可使用的应用程序，可使用开放的开放的XML标准来描述、标准来描述、发布、发现、协调和配置发布、发现、协调和配置这些应用程序，用于开发这些应用程序，用于开发分布式的互操作的应用程分布式的互操作的应用程序。序。57四、基于GPU的高性能计算1GPU的产生背景及前景的产生背景及前景2GPU工作原理与作用工作原理与作用3GPU与与CPU的区别的区别4GPU的优势的优势5GPU的应用行业的应用行业

34、6CUDA584.1GPU的产生背景及前景的产生背景及前景GPU产生之前，处理产生之前，处理2D、3D图像都是依赖于图像都是依赖于CPU，但是由于，但是由于CPU任务繁多，而且还有设计上的任务繁多，而且还有设计上的原因，这样面对处理日益复杂的原因，这样面对处理日益复杂的3D图形图像时就会图形图像时就会常常出现显卡等待常常出现显卡等待CPU数据的情况，正是在这种情数据的情况，正是在这种情况下一种全新的图形图像处理器诞生了，从而大大况下一种全新的图形图像处理器诞生了，从而大大加快了图形图像的处理速度，这种处理器就是加快了图形图像的处理速度，这种处理器就是“GPU”。直到直到NVIDIA1999年推

35、出了图形处理器年推出了图形处理器GeForce256，才把，才把3D图形处理的全过程交由专门的高速处图形处理的全过程交由专门的高速处理器进行处理，理器进行处理，GPU才真正开始迅速的发展。才真正开始迅速的发展。GPU的计算能力在近的计算能力在近10年间有了飞速的发展，同年间有了飞速的发展，同时可编程性也有了本质的提升，因此针对时可编程性也有了本质的提升，因此针对GPU编写编写一些复杂的计算程序成为了可能。一些复杂的计算程序成为了可能。59 两者的处理器微结构存在很大的差别 C CP PU U 中中大大量量的的晶晶体体管管用用作作高高速速缓缓存存（c ca ac ch he e）、逻逻辑辑控控制

36、制单单元元（C Co on nt tr ro ol l），只只有有少少量量的的用用作作计计算算单单元元（A AL LU U）。而而 G GP PU U 则则把把更更多多的的晶晶体体管管用用作作了了计计算算单单元元，只只有有少少量量晶晶体体管管用用作作了了高高速速缓缓存存（C Ca ac ch he e）和和逻逻辑辑控控制制单单元元，这这使使得得 G GP PU U 比比 C C P P U U更更 适适 合合 完完 成成 密密 集集 计计 算算 任任 务务。60五、分布式应用框架Hadoop1当前面临的数据爆炸问题当前面临的数据爆炸问题2Hadoop的来源和组成的来源和组成3HDFS文件系统文

37、件系统4MapReduce框架框架5Hadoop的应用场合的应用场合6ZooKeeper61名称节点（名称节点（NameNodeNameNode）：）：管理文件系统的命名空间，记管理文件系统的命名空间，记录文件系统树及这个树内所有的文件和索引目录，同时也录文件系统树及这个树内所有的文件和索引目录，同时也记录每个文件的每个块，所在的数据节点。记录每个文件的每个块，所在的数据节点。数据节点（数据节点（DataNodeDataNode）：文件系统的工作者，存储并提供：文件系统的工作者，存储并提供定位块的服务，并定时向名称节点发送块的存储列表定位块的服务，并定时向名称节点发送块的存储列表62MapRe

38、duce是一个编程模型，处理和产生大数据集。使是一个编程模型，处理和产生大数据集。使用这个模型写出的程序自动在一个大集群上并行执行。运用这个模型写出的程序自动在一个大集群上并行执行。运行时系统负责分割输入数据行时系统负责分割输入数据/分配程序在不同的机器上运分配程序在不同的机器上运行行/处理机器出错处理机器出错/管理机器间的通信。管理机器间的通信。mapreduce可以可以让没有任何分布式和并行经验的程序员很容易地利用大分让没有任何分布式和并行经验的程序员很容易地利用大分布式系统的资源。布式系统的资源。MapReduce将将RPC编程细节与分布式处理过程隐藏起来编程细节与分布式处理过程隐藏起来在在Mapper或者或者Reducer中，用户只需指定一对中，用户只需指定一对key/value的处理逻辑，的处理逻辑，Hadoop框架会自动顺序迭代解析所有框架会自动顺序迭代解析所有key/value，并将每对，并将每对key/value交给交给Mapper或者或者Reducer处理。处理。5.4MapReduce框架框架63