第3章-性能指标和基准程序-第4节-基本性能指标--并行处理与体系结构教学课件.ppt

并行处理与体系结构1第3章 性能指标和基准程序n 1 系统和应用的基准程序n 2 性能和成本n 3 基本性能指标n 4 并行计算机性能n 5 并行程序性能n 6 可扩展性和加速比分析2哈尔滨工业大学计算机科学与技术学院4 并行计算机性能n针对一个并行系统，需讨论计算和开销特征一、计算特征 n下表给出了3种商品化并行计算机系列的性能参数的历史值3哈尔滨工业大学计算机科学与技术学院4哈尔滨工业大学计算机科学与技术学院6哈尔滨工业大学计算机科学与技术学院n 二、并行性和通信开销 n 并行程序中的开销可分为3类 负载不平衡开销；并行性开销；通信开销(包括同步、通信和聚集)。T=Tcomp+Tpar+Tinteract7哈尔滨工业大学计算机科学与技术学院n 说明：n 有3种类型的并行性操作。它们是并行性开销的来源:q 进程管理；q 分组操作q 进程查询操作8哈尔滨工业大学计算机科学与技术学院n 巨大开销:n 注意有关并行性和通信开销的两个要点：通常比基本计算时间要大得多，在不同系统上变化很大。10哈尔滨工业大学计算机科学与技术学院11哈尔滨工业大学计算机科学与技术学院n三、开销定量化 1.问题的提出n应对计算的并行性和通信开销进行量化。13哈尔滨工业大学计算机科学与技术学院q所使用的通信硬件和协议。因为在这种方式下大多数生成路径(production run)q测量挂钟时间或是CPU时间。一般来讲，挂钟时间更有用。15哈尔滨工业大学计算机科学与技术学院3.开销测量方法 n 虽然测量开销粗看起来非常简单，但要获得精确测量结果却是很具挑战性的任务n 主要的原因有3种16哈尔滨工业大学计算机科学与技术学院n例题：测量时延的乒乓方案：for(i=0；iRuns；i+)n if(my_node_id=0)/*发送方*/n Tmp=Second()；n start_time=Second()；n 向结点1发送一个m字节消息；n 从结点1接收一个m字节消息；n end_time=Second()；18哈尔滨工业大学计算机科学与技术学院ntimer_overhead=start_time-tmp；ntotal_time=end_time-start_time-timer_overhead；ncommunication_timei=total_time2；nelse if(my_node_id=1)/*接收方*/n从结点0接收一个m字节消息；n向结点0发送一个m字节消息；n19哈尔滨工业大学计算机科学与技术学院 热土豆(hot_potato)方法(也称为救火队方法)。n 该方法面向n个结点；n 方法是个循环的发送接收。20哈尔滨工业大学计算机科学与技术学院 集合通信n 条件：设分布式存储器多计算机中n个结点中的每一个均执行以下的SPMD程序。n 使用路障来同步测量进程中的异步操作。21哈尔滨工业大学计算机科学与技术学院n for(i=0；iRuns；i+)n Barrier synchronization；n Tmp=Second()；n start_time=Second()；n for(j=0；jIterations；j+)The_collective_routine_being_measured；n End_time=Second()；22哈尔滨工业大学计算机科学与技术学院1.改用集合操作的通用化乒乓方法：n for(i=0；iRuns；i+)n if(my_node_id=0)n tmp=Second()；n start_time=Second();n 结点0向所有n个结点广播一个空消息；n For(j=0；iIterations；j+)24哈尔滨工业大学计算机科学与技术学院n the collective_routine_ being_ measured；n所有结点向结点0完成一个空归约；if(my_node_id=0)nend_time=Second()；ntimer_overhead=start_time-tmp；nCommunication_timei=end_time-start_time-timer_overheadn25哈尔滨工业大学计算机科学与技术学院4.开销表达式n 经测量获得开销数据，有3种表示方法：用表格来表示数据。例如，下表给出了在SP2上运行专有MPL通信库所测得的点对点通信的定时结果。26哈尔滨工业大学计算机科学与技术学院 以曲线来表示数据n 如下图所示。n 其优点是曲线可示出通信开销增长趋向。28哈尔滨工业大学计算机科学与技术学院29哈尔滨工业大学计算机科学与技术学院5.点对点通信表达式nHockney提出操作通信时间(以s表示)特征的1个模型，n其中的通信开销t(m)是消息长度m(以字节表示)的线性函数：t(m)=t0+mrn式中t0是以s表示的启动时间，而r是渐近带宽，单位MBs。31哈尔滨工业大学计算机科学与技术学院n Hockney还引入了两个附加的参数。半峰值长度记为m1/2字节，是达到半渐近带宽所需的消息长度。特殊性能，记为0MBs，用来表明短消息带宽。32哈尔滨工业大学计算机科学与技术学院n4个参数t0、r、m1/2、0 MB中的两个是独立的。n另两个可用以下关系推得：nt0=m1/2 r=1/0n其中m1/2是表示系统支持短消息通信好坏程序的参数。33哈尔滨工业大学计算机科学与技术学院n例如：nSP2的t(m)=46+0.035m。n启动开销为t0=46s；n渐近带宽为：r=10.035=28.57MBs，n以及半峰值消息长度为：m1/2=t0 r=1314字节。34哈尔滨工业大学计算机科学与技术学院6.集合通信 n将式Hockney表达式扩展成如下：n通信开销T(m,n)现改为是m和n两者的函数。但启动时延仍只依赖于n。n渐近带宽变为r(n)。T(m,n)=t0(n)+m/r(n)35哈尔滨工业大学计算机科学与技术学院n在将测得的定时数据与不同的t0(n)和r(n)形式拟合n可推得如表中所示的4个集合操作的公式36哈尔滨工业大学计算机科学与技术学院37哈尔滨工业大学计算机科学与技术学院7.集合计算 测量了3种代表性的集合计算操作：路障、归约和扫描。它们拟合曲线开销表达式如下表所示。注意当处理器数超过256时，路障开销为762s，相当于执行762x266=202,692 flop所需的时间。现在可以回答这样问题，是否应使用同步算法?38哈尔滨工业大学计算机科学与技术学院39哈尔滨工业大学计算机科学与技术学院 短消息和长消息全交换开销的方法作了比较：q 在下图中示出了当mn2=16MB(例如，m=1024字节和n=128)时两种表示方法的相对误差。n 结论：如图40哈尔滨工业大学计算机科学与技术学院41哈尔滨工业大学计算机科学与技术学院n在下图，比较了当mn2=64KB(例如，m=4字节及n=128)时，n所测得的开销与由两种方法推测所得的开销。42哈尔滨工业大学计算机科学与技术学院43哈尔滨工业大学计算机科学与技术学院n 本节结束！44哈尔滨工业大学计算机科学与技术学院