高速缓冲存储器和虚拟存储器精选文档.ppt

高速缓冲存储器和虚拟存储器高速缓冲存储器和虚拟存储器本讲稿第一页，共四十页本章主要内容本章主要内容高速缓冲存储器（高速缓冲存储器（Cache）n高速缓存的基本运行原理n高速缓存的3种映像方式n高速缓存使用中的几个问题虚拟存储器虚拟存储器n虚拟存储器概述n段式存储管理n页式存储管理2本讲稿第二页，共四十页微电子技术发展趋势微电子技术发展趋势CPU与与DRAM性能比较性能比较3本讲稿第三页，共四十页程序的局部性原理程序的局部性原理程序在一定时间段内通常只访问较小的地址空间程序在一定时间段内通常只访问较小的地址空间两种局部性：两种局部性：时间局部性时间局部性和和空间局部性空间局部性n时间局部性：最近被访问的信息很可能还要被访问。w将最近被访问的信息项装入到Cache中。n空间局部性：最近被访问的信息临近的信息也可能被访问。w将最近被访问的信息项临近的信息一起装入到Cache中。地址空间访问概率4本讲稿第四页，共四十页高速缓冲存储器（高速缓冲存储器（Cache）用途：用途：设置在设置在 CPU 和和 主存储器之间，完成高速主存储器之间，完成高速与与 CPU 交换信息，尽量避免交换信息，尽量避免 CPU不必要地多次不必要地多次直接访问慢速的主存储器，从而提高计算机系统直接访问慢速的主存储器，从而提高计算机系统的运行效率。的运行效率。实现：实现：这是一个存储容量很小，但读写速度更快这是一个存储容量很小，但读写速度更快的，以的，以 关联存储器方式关联存储器方式 运行、用静态存储器芯片运行、用静态存储器芯片实现的存储器系统。实现的存储器系统。要求：要求：有足够高的命中率，既当有足够高的命中率，既当 CPU需用主存中需用主存中的数据时，多数情况可以直接从的数据时，多数情况可以直接从CACHE中得到，中得到，称二者之比为命中率。称二者之比为命中率。5本讲稿第五页，共四十页CACHE的基本运行原理的基本运行原理Cache存储单元的组成部分存储单元的组成部分n数据字段：保存从主存单元复制过来的数据n标志字段：保存相应主存单元的地址信息n有效位字段：标识数据字段和标志字段是否有效提高提高Cache性能，降低成本性能，降低成本nCache单元的大小：cache line size（几个主存字，减少标志位位数，较少Cache总容量）nCache与主存交换数据的单位：cache line size（充分利用空间局部性）nCache单元与主存单元的对应关系，例如：w完全随意对应、一对多硬性对应和多对多有限随意对应nCache的容量、分层组织、接入方式等方面6本讲稿第六页，共四十页CACHE的基本运行原理的基本运行原理MEMORY CACHE CONTROL数数据据总总线线译码选一单元译码选一单元比较选一行比较选一行读读过过程程为为例例地址总线地址总线ADDR DATA CACHE CPU 7本讲稿第七页，共四十页CACHE的的3种映像方式种映像方式地址映像地址映像：把一主存单元的数据复制到：把一主存单元的数据复制到CACHE中中时，还要把该主存单元的地址，经过某种函数关时，还要把该主存单元的地址，经过某种函数关系处理后写进系处理后写进CACHE的标志字段，这一过程被称的标志字段，这一过程被称为为CACHE的地址映像。的地址映像。地址变换地址变换：在程序执行时，还要把主存地址变换：在程序执行时，还要把主存地址变换为访问为访问CACHE的地址，这一过程被叫做的地址，这一过程被叫做CACHE的地址变换。的地址变换。CACHE存储器通常使用存储器通常使用3种映像方式，它们是全种映像方式，它们是全相联映像方式、直接映像方式、多路组相联映像相联映像方式、直接映像方式、多路组相联映像方式，方式，3种映像方式有各自的优缺点。种映像方式有各自的优缺点。8本讲稿第八页，共四十页全相联映像方式全相联映像方式全相联映像方式：是指主存的一个字块可以映像全相联映像方式：是指主存的一个字块可以映像到整个到整个CACHE的任何一个字块中。的任何一个字块中。全相联映像方式特点：全相联映像方式特点：n主存的字块可以和Cache的任何字块对应，利用率高，方式灵活。n标志位较长，比较电路的成本太高。如果主存空间有2m块，则标志位要有m位。同时，如果Cache有n块，则需要有n个比较电路。使用成本太高9本讲稿第九页，共四十页全相联映像方式全相联映像方式C P U数数据据主存字块标记主存字块标记有有效效位位主主存存储储器器CACHE比比较较译码译码标志标志数据数据主存字块标记块内地址主存地址10本讲稿第十页，共四十页全相联硬件实现举例全相联硬件实现举例11本讲稿第十一页，共四十页直接映像方式直接映像方式直接映像方式：是指主存的一个字块只能映像到直接映像方式：是指主存的一个字块只能映像到CACHE的一个准确确定的字块中。的一个准确确定的字块中。直接映像方式特点：直接映像方式特点：n主存的字块只可以和固定的Cache字块对应，方式直接，利用率低。n标志位较短，比较电路的成本低。如果主存空间有2m块，Cache中字块有2c块，则标志位只要有m-c(2m/2c)位。且仅需要比较一次。利用率低，命中率低，效率较低12本讲稿第十二页，共四十页直接映像方式直接映像方式C P U数数据据有有效效位位主主存存储储器器CACHE比比较较译码译码译译码码cache字块地址主存字块标记标志标志数据数据主存字块标记块内地址主存地址cache字块地址13本讲稿第十三页，共四十页直接映像硬件实现举例直接映像硬件实现举例14本讲稿第十四页，共四十页多路组相联映像方式多路组相联映像方式多路组相联映像方式：是对全相联映像和直接映想象的一多路组相联映像方式：是对全相联映像和直接映想象的一种折衷的处理方案。既不在主存和种折衷的处理方案。既不在主存和CACHE之间实现字块的完之间实现字块的完全随意对应，也不在主存和全随意对应，也不在主存和CACHE之间实现字块的多对一的硬之间实现字块的多对一的硬性对应，而是实现一种有限度的随意对应。性对应，而是实现一种有限度的随意对应。多路组相联映像方式特点：多路组相联映像方式特点：n折衷方案。组间为全相连，组内为直接映像。n集中了两个方式的优点。成本也不太高。最常用的CACHE映像方式15本讲稿第十五页，共四十页组地址两路组相联映像方式两路组相联映像方式C P U数数据据有有效效位位主主存存储储器器CACHE译码译码比较比较比较比较译码译码译码译码标志标志数据数据主存地址主存字块标记块内地址组地址主存字块标记16本讲稿第十六页，共四十页多路组相联硬件实现举例多路组相联硬件实现举例17本讲稿第十七页，共四十页三种映像方式比较三种映像方式比较全相联映射全相联映射n主存中的一块可以映射到Cache中任何一个位置直接映像直接映像n主存中的一块只能映射到Cache中唯一的一个位置n定位时，不需要判断，只需替换多路组相联映射多路组相联映射n主存中的一块可以选择映射到Cache中多个位置全相联映射和多路组相联映射的失效处理全相联映射和多路组相联映射的失效处理n从主存中取出新块n为了腾出Cache空间，需要替换出一个Cache块n不唯一，则需要判断应替出哪块18本讲稿第十八页，共四十页CACHE使用中的几个问题使用中的几个问题CACHE的重要技术指标：的重要技术指标：命中率命中率影响影响 CACHE 命中率的因素命中率的因素nCACHE 的容量，大一些好nCACHE 与主存储器每次交换信息的单位量(Cache Line Size)适中nCACHE 不同的组织方式，多路组相联更好nCACHE 的多级组织可提高命中率nCACHE 装满后的替换算法19本讲稿第十九页，共四十页cache的容量与命中率的关系的容量与命中率的关系 Cache Size in KBHit Rate20本讲稿第二十页，共四十页 cache line size与缺失率的关系与缺失率的关系 cache 容量容量 21本讲稿第二十一页，共四十页多级的多级的cache结构与命中率的关系结构与命中率的关系 为增加计算机系统中的为增加计算机系统中的cache容量，通常可以在已有的容量，通常可以在已有的cache存储器系统之外，再增加一个容量更大的存储器系统之外，再增加一个容量更大的cache。此时原有。此时原有cache为第一级为第一级cache（例如奔腾机微处理机芯片内的（例如奔腾机微处理机芯片内的cache），），新增加的新增加的cache则成为第二级的则成为第二级的cache。第二级第二级cache的容量比第一级的容量比第一级cache的容量要大得多，在第一级的容量要大得多，在第一级cache中保存的信息也一定保存在第二级中保存的信息也一定保存在第二级cache中，但保存有中，但保存有比第一级比第一级cache中更多的信息。当中更多的信息。当CPU访问第一级访问第一级cache出现出现缺失情况时，就去访问第二级缺失情况时，就去访问第二级cache。若第一级、第二级若第一级、第二级cache的命中率为的命中率为90%，则它们合起来后的命中，则它们合起来后的命中率为率为-（-90）（-90）=99，而不会是，而不会是81。22本讲稿第二十二页，共四十页Cache替换算法替换算法随机替换（随机替换（RAND）n随机找一个Cache块进行替换，比较盲目。先进先出算法（先进先出算法（FIFO）n将最早调入Cache的字块替换出去，采用循环电路容易实现，开销小。最近最少使用算法（最近最少使用算法（LRU）n需要计算字块的使用次数，开销大，但平均命中率比FIFO要高。23本讲稿第二十三页，共四十页改写主存储器的策略改写主存储器的策略若若 CPU 改写了改写了 Cache 一单元内容（写命中）一单元内容（写命中）后且尚未改变主存相应单元内容，则出现数据不后且尚未改变主存相应单元内容，则出现数据不一致性。有两种解决办法：一致性。有两种解决办法：n直接改写主存单元内容（Write Through）：简便易行，数据一致性容易保证，但可能带来系统运行效率不高的问题，Cache对写操作没有提高性能。n拖后改写主存单元内容（Write Back）：一直拖到有另外的设备要读该内容过时的主存单元时，则首先停止这一读操作，接下来改写主存内容，之后再起动已停下来的读操作。矛盾是如何检查是否是读无效内存单元的操作，这是通过监视地址总线完成的，记下无效单元地址用于比较。控制复杂些，但可以提供更高的系统运行效率。24本讲稿第二十四页，共四十页CACHE 接入系统的体系结构接入系统的体系结构侧接法：象入出设备似的连接到总线上，优点是结构简单，侧接法：象入出设备似的连接到总线上，优点是结构简单，成本低，缺点是不利于降低总线占用率。成本低，缺点是不利于降低总线占用率。CPUMEMORYCACHEBus Master 1Bus Master 2总总线线25本讲稿第二十五页，共四十页CACHE 接入系统的体系结构接入系统的体系结构隔断法：把原来的总线打断为两段，使隔断法：把原来的总线打断为两段，使 CACHE 处在两段处在两段之间。优点是有利于提高总线利用率，支持总线并发操作；之间。优点是有利于提高总线利用率，支持总线并发操作；缺点是结构复杂，成本较高。缺点是结构复杂，成本较高。CPUMEMORYBus Master 1Bus Master 2总总线线CACHE26本讲稿第二十六页，共四十页本章主要内容本章主要内容高速缓冲存储器（高速缓冲存储器（Cache）n高速缓存的基本运行原理n高速缓存的3种映像方式n高速缓存使用中的几个问题虚拟存储器虚拟存储器n虚拟存储器概述n段式存储管理n页式存储管理27本讲稿第二十七页，共四十页虚拟存储器概述虚拟存储器概述虚拟存储器是指用磁盘的存储空间来弥补主存空间的不足，使得虚拟存储器是指用磁盘的存储空间来弥补主存空间的不足，使得程序人员能够使用比主存实际空间更大的存储空间来编写和运行程序人员能够使用比主存实际空间更大的存储空间来编写和运行程序。程序。根据根据“程序运行的局部性原理程序运行的局部性原理”，只把一小段时间内用到的程，只把一小段时间内用到的程序和数据装入主存；其他程序和数据在操作系统的支持下，在磁序和数据装入主存；其他程序和数据在操作系统的支持下，在磁盘和主存之间按程序运行的需要自动成批量地完成交换。盘和主存之间按程序运行的需要自动成批量地完成交换。虚拟存储器经常使用两种基本管理技术，核心问题都在于处理数据的虚拟存储器经常使用两种基本管理技术，核心问题都在于处理数据的存放与调度。存放与调度。n段式存储管理n页式存储管理综合起来：段页式存储管理综合起来：段页式存储管理综合起来：段页式存储管理综合起来：段页式存储管理28本讲稿第二十八页，共四十页段式存储管理段式存储管理段段是程序模块化设计的结果，即把程序中逻辑上是程序模块化设计的结果，即把程序中逻辑上相对独立的部分设计为不同的段，再经过连接程相对独立的部分设计为不同的段，再经过连接程序连接成更大的程序。此时用段作为信息调入主序连接成更大的程序。此时用段作为信息调入主存的单位是合适的，以段为单位分配与管理主存存的单位是合适的，以段为单位分配与管理主存储器被称为段式存储管理。储器被称为段式存储管理。段式存储管理的核心问题在于设立和管理段式存储管理的核心问题在于设立和管理段表段表；段表也是主存中的可再定位的一段信息，用于变段表也是主存中的可再定位的一段信息，用于变换程序中的换程序中的虚地址（逻辑地址）虚地址（逻辑地址）为主存单元的为主存单元的实实地址（物理地址）地址（物理地址）。29本讲稿第二十九页，共四十页段式存储管理段式存储管理30本讲稿第三十页，共四十页段表内容及其管理段表内容及其管理段号段号 段内地址段内地址+逻辑地址逻辑地址段始地址段始地址 段长段长 装入位装入位段段表表主存实际地址主存实际地址段表基地址段表基地址31本讲稿第三十一页，共四十页段式存储管理段式存储管理提高性能的方法提高性能的方法n使用段地址寄存器，保存一段的起始地址，以后使用这一段的数据不必再查段表，直接计算主存地址段式存储管理的特点段式存储管理的特点n优点：段的分界与程序的自然分界对应 段逻辑上的独立性有利于内存保护 便于实现对段的信息共享n缺点 段长不确定，主存分配和管理不便 容易在段间形成难以利用的碎片32本讲稿第三十二页，共四十页页式存储管理页式存储管理页页式存储管理是把虚拟空间和主存空间都分成大式存储管理是把虚拟空间和主存空间都分成大小相同的页（为小相同的页（为2的整数幂个字），并以页为单位的整数幂个字），并以页为单位进行虚存与主存间的信息交换。此时虚存逻辑地进行虚存与主存间的信息交换。此时虚存逻辑地址和主存物理地址分别被分为址和主存物理地址分别被分为“虚存页号虚存页号页内页内地址地址”和和“主存页号主存页号页内地址页内地址”，虚、实二页虚、实二页号号会不同，但使用相同的页内地址。会不同，但使用相同的页内地址。与段式存储管理不一样，页不是程序本身的结构与段式存储管理不一样，页不是程序本身的结构特性，而是从管理的角度人为划分的结果。设置特性，而是从管理的角度人为划分的结果。设置和管理好和管理好页表页表是页式存储管理的关键技术。是页式存储管理的关键技术。33本讲稿第三十三页，共四十页页式存储管理页式存储管理34本讲稿第三十四页，共四十页页表内容和页式管理页表内容和页式管理+（在内存中）控制位（在内存中）控制位 有效位有效位页页表表虚地址虚地址 (程序中给出程序中给出)实地址实地址 (读写内存用读写内存用)按按地地址址读读实页号实页号虚页号虚页号 页内地址页内地址实页号实页号 页内地址页内地址页表基地址页表基地址控制位：包括修改位、替换位有效位：表示该页是否已装入主存35本讲稿第三十五页，共四十页页式存储管理页式存储管理页式存储管理的特点页式存储管理的特点n优点：只要有空白页新页就可以调入内存 只有程序的最后一页可能有零头浪费n缺点：页不是逻辑上的独立程序实体 处理、保护和共享信息不如段式方便提高性能的方法提高性能的方法n为了克服读取一次数据访问两次内存的问题(一次查页表,一次读内存)，引入快速页表（转换旁路缓冲器TLB：translation lookaside buffer）nTLB完全由快速硬件实现，但容量较小，采用类似于Cache的关联存储器方式进行访问36本讲稿第三十六页，共四十页页表内容和页式管理页表内容和页式管理+（在内存中）控制位（在内存中）控制位 有效位有效位虚虚 页号页号 实实 页号页号慢慢表表虚地址虚地址 (程序中给出程序中给出)实地址实地址 (读写内存用读写内存用)快表快表(专设硬件专设硬件)比较比较(按内容选按内容选)按按地地址址读读实页号实页号虚页号虚页号 页内地址页内地址实页号实页号 页内地址页内地址页表基地址页表基地址37本讲稿第三十七页，共四十页虚拟存储器与高速缓冲存储器区别虚拟存储器与高速缓冲存储器区别Cache虚拟存储器虚拟存储器功能功能提高了主存储器提高了主存储器的速度的速度 扩大了主存储器扩大了主存储器的容量的容量 实现技术实现技术硬件硬件 以软件为主以软件为主 透明性透明性透明透明不透明不透明地址转换地址转换简单简单复杂、速度慢复杂、速度慢数据交换数据交换频率高、数量少频率高、数量少 频率低、数量多频率低、数量多38本讲稿第三十八页，共四十页小结小结多级结构的存储器系统多级结构的存储器系统n多级结构组成w高速缓存Cachew主存储器w虚拟存储器n运行的原理：程序运行的局部性原理w时间局部性w空间局部性n多级机构存储器各级之间满足的原则：w一致性原则w包含性原则39本讲稿第三十九页，共四十页小结小结主存储器主存储器n动态存储器芯片读写原理n静态存储器芯片读写原理n两种存储器芯片的比较n提高主存储器系统性能的措施高速缓冲存储器高速缓冲存储器n高速缓存的基本运行原理n高速缓存的三种映像方式n高速缓存使用中的几个问题虚拟存储器虚拟存储器n虚拟存储器的基本运行原理n段式存储管理和页式存储管理40本讲稿第四十页，共四十页