Linux内存管理 Memory Manager.ppt
ConfidentialConfidentialLinux Memory ManagerActions Microelectronics Co.,Ltd.柯锦玲2009-10-21ConfidentialConfidentialAgendaLinux对外提供的内存管对外提供的内存管理接口理接口linux 内存镜像图内存镜像图3 13 23 4Linux 内存管内存管理算法介绍理算法介绍3 3Linux如何防止如何防止内存碎片内存碎片ConfidentialConfidentialLinux Imagev蓝色字体部分v可用空间ConfidentialConfidentialLinux 如何防止内存碎片v内存碎片内存碎片内部碎片内部碎片:系统为了满足一小段内存区（连续）的需要，不系统为了满足一小段内存区（连续）的需要，不得不分配了一大区域连续内存给它，从而造成了得不分配了一大区域连续内存给它，从而造成了空间浪费空间浪费 外部碎片外部碎片系统虽有足够的内存，但却是分散的碎片，无法系统虽有足够的内存，但却是分散的碎片，无法满足对大块满足对大块“连续内存连续内存”的需求的需求 ConfidentialConfidentialLinux 如何防止内存碎片vlinux减少外部碎片减少外部碎片伙伴系统伙伴系统(buddy算法算法)把内存块按大小分组管理，把内存块按大小分组管理，一定程度上减轻了外部碎片的危害，因为页框分一定程度上减轻了外部碎片的危害，因为页框分 配不在盲目，而是按照大小依次有序进行，不过配不在盲目，而是按照大小依次有序进行，不过伙伴关系只是减轻了外部碎片，但并未彻底消除伙伴关系只是减轻了外部碎片，但并未彻底消除,但是伙伴系统同时又带来很多的内部碎片伙伴系统同时又带来很多的内部碎片vlinux减少外部碎片减少外部碎片SLAB,SLUB,SLOB分配器分配器使得一个使得一个页面内众多面内众多小小块内存可独立被分配使用，避免了内部分片，内存可独立被分配使用，避免了内部分片，节约了空了空闲内存内存 ConfidentialConfidentialLinux 如何防止内存碎片linux 内存管理层次关系图1ConfidentialConfidentialLinux 如何防止内存碎片linux 内存管理层次关系图2ConfidentialConfidentialLinux 内存管理算法介内存管理算法介绍vBuddy System算法原理算法原理vBuddy System是一种经典的内存管理算法。在是一种经典的内存管理算法。在Unix和和Linux操作系统中都有用到。其作用是减少存储空间中的空操作系统中都有用到。其作用是减少存储空间中的空洞、减少碎片、增加利用率。避免外碎片的方法有两种：洞、减少碎片、增加利用率。避免外碎片的方法有两种：va.利用分页单元把一组非连续的空闲页框映射到连续的线性利用分页单元把一组非连续的空闲页框映射到连续的线性地址区间。地址区间。vb.开发适当的技术来记录现存的空闲连续页框块的情况，以开发适当的技术来记录现存的空闲连续页框块的情况，以尽量避免为满足对小块的请求而把大块的空闲块进行分割。尽量避免为满足对小块的请求而把大块的空闲块进行分割。v基于下面三种原因，内核选择第二种避免方法：基于下面三种原因，内核选择第二种避免方法：va.在某些情况下，连续的页框确实必要。在某些情况下，连续的页框确实必要。vb.即使连续页框的分配不是很必要，它在保持内核页表不变即使连续页框的分配不是很必要，它在保持内核页表不变方面所起的作用也是不容忽视的。假如修改页表，则导致平方面所起的作用也是不容忽视的。假如修改页表，则导致平均访存次数增加，从而频繁刷新均访存次数增加，从而频繁刷新TLB。vc.通过通过4M的页可以访问大块连续的物理内存，相对于的页可以访问大块连续的物理内存，相对于4K页的页的使用，使用，TLB未命中率降低，加快平均访存速度。未命中率降低，加快平均访存速度。ConfidentialConfidentialvbuddy算法将所有空闲页框分组为算法将所有空闲页框分组为11个块链表，每个块链个块链表，每个块链表分别包含表分别包含1,2,4,8,16,32,64,128,256,512,1024个连续的个连续的页框，每个块的第一个页框的物理地址是该块大小的整数页框，每个块的第一个页框的物理地址是该块大小的整数倍。如，大小为倍。如，大小为16个页框的块，其起始地址是个页框的块，其起始地址是16*212的的倍数。倍数。v例，假设要请求一个例，假设要请求一个128个页框的块，算法先检查个页框的块，算法先检查128个个页框的链表是否有空闲块，如果没有则查页框的链表是否有空闲块，如果没有则查256个页框的链个页框的链 表，有则将表，有则将256个页框的块分裂两份，一份使用，一份插个页框的块分裂两份，一份使用，一份插入入128个页框的链表。如果还没有，就查个页框的链表。如果还没有，就查512个页框的链个页框的链表，有的话就分裂为表，有的话就分裂为 128，128，256，一个，一个128使用，剩使用，剩余两个插入对应链表。如果在余两个插入对应链表。如果在512还没查到，则返回出错还没查到，则返回出错信号。信号。v回收过程相反回收过程相反ConfidentialConfidentialConfidentialConfidentialConfidentialConfidentialv static inline struct page*alloc_pages(gfp_t gfp_mask,unsigned int order)vvoid _free_pages(struct page*page,unsigned int order)v分配内存的分配内存的单位位为页面数面数,分配分配时候候传入入order值,order 为0,1,2,.,nv分分别分配分配1,2,4,2n个个页面面v伙伴系伙伴系统(Buddy算法算法)分配的分配的页面物理上是面物理上是连续的的,因此使用伙伴系因此使用伙伴系统分配的内存大小最大分配的内存大小最大为210*PAGESIZE=4K*4K=4Mvunsigned long _get_free_pages(gfp_t gfp_mask,unsigned int order)vvoid free_pages(unsigned long addr,unsigned int order)Buddy算法算法虽然能很好的减少外部碎片的然能很好的减少外部碎片的产生生,但是他却可用但是他却可用导致很多的致很多的内部碎片内部碎片ConfidentialConfidentialslab/slob/slub的作用的作用:以页为最小单位分配内存对于内核管理系统物理内存以页为最小单位分配内存对于内核管理系统物理内存来说的确比较方便，但内核自身最常使用来说的确比较方便，但内核自身最常使用 的内存却往的内存却往往是很小（远远小于一页）的内存块往是很小（远远小于一页）的内存块比如比如存放文存放文件描述符、进程描述符、虚拟内存区域描述符等行为件描述符、进程描述符、虚拟内存区域描述符等行为所需的内存都不足一页所需的内存都不足一页。这些用来存放描述符的。这些用来存放描述符的 内存内存相比页面而言，就好比是面包屑与面包。一个整页中相比页面而言，就好比是面包屑与面包。一个整页中可以聚集多个这种这些小块内存；而且这些小块内存可以聚集多个这种这些小块内存；而且这些小块内存块也和面包屑一样频繁地生成块也和面包屑一样频繁地生成/销毁。销毁。为了满足内核对这种小内存块的需要，为了满足内核对这种小内存块的需要，Linux系统采用系统采用了一种被称为了一种被称为slab分配器的技术。分配器的技术。Slab分配器的实现分配器的实现 相当复杂，但原理不难，其核心思想就是相当复杂，但原理不难，其核心思想就是“存储池存储池”的运用。内存片段的运用。内存片段(小块内存小块内存)被看作对象，当被使用完被看作对象，当被使用完后，并不直接释放而是被缓存到后，并不直接释放而是被缓存到“存储池存储池”里，留做里，留做下下 次使用，这无疑次使用，这无疑避免了频繁创建与销毁对象所带来避免了频繁创建与销毁对象所带来的额外负载的额外负载。ConfidentialConfidentialslab 分配器的主要分配器的主要结构构 ConfidentialConfidentialSLUBv2.6.22中的中的SLAB内存管理代内存管理代码将被将被SLUB代替。代替。SLAB是是经典的管理内核的内存的代典的管理内核的内存的代码,但是但是slab维护了大量的了大量的对象象队列，列，这些些队列列虽然可以很快地被然可以很快地被分分 配，但是配，但是过于复于复杂，而且，而且维护所占用的空所占用的空间会会随着系随着系统节点的增加而急点的增加而急剧增增长。vslub就是作就是作为slab的可替代的可替代选项出出现的。的。slub是一是一种不使用种不使用队列的分配器。列的分配器。slub取消了大量的取消了大量的队列和列和相相 关关维护费用，用，获得了极大的性能和伸得了极大的性能和伸缩性提高，性提高，并在并在总体上体上简化了化了slab结构，使用了基于每构，使用了基于每CPU的的缓存，同存，同时保留了保留了slab的用的用户接口，而且接口，而且slub还提提 供了供了强大的大的诊断和断和调试能力能力 ConfidentialConfidentialslob slob是一个相是一个相对简单一些的分配器，一些的分配器，主要使用在小型主要使用在小型的嵌入式系的嵌入式系统。在。在选择了了CONFIG_EMBEDDED后，后，就可以就可以选用用CONFIG_SLOB选项，使用，使用SLOB 分配器分配器中。中。slob是一个是一个经典的典的K&R/UNIX堆分配器堆分配器(想我想我们目前目前ucos上面的上面的malloc)，其具有一个，其具有一个slab模模拟层，和被，和被slab替代的替代的linux原来的原来的kmalloc分配器比分配器比较相似，相似，比比slab更有空更有空间效率，尺寸更小效率，尺寸更小，但是依然存在碎片和，但是依然存在碎片和难于于扩展展(对所有操作都所有操作都简单地上地上锁)的的问题，只适用于，只适用于小系小系统。slob获得的是已得的是已经对齐的的对象。象。slob在在MIPS上的粒度上的粒度是是4字字节。slob堆是一个堆是一个单向列表，向列表，连接了从接了从get_free_page获得的得的页面，从堆上按照面，从堆上按照first-fit的原的原则依照需求增依照需求增长和分配。和分配。ConfidentialConfidentiall vmallocl 避免外部分片的最终思路还是落到了避免外部分片的最终思路还是落到了如何利用不连续如何利用不连续的内存块组合成的内存块组合成“看起来很大的内存块看起来很大的内存块”这里的这里的情况很类似情况很类似 于用户空间分配虚拟内存于用户空间分配虚拟内存，内存逻辑上连，内存逻辑上连续，其实影射到并不一定连续的物理内存上。续，其实影射到并不一定连续的物理内存上。Linux内内核借用了这个技术，允许内核程序在内核地址空间中核借用了这个技术，允许内核程序在内核地址空间中分配虚拟地分配虚拟地 址，同样也利用页表（内核页表）将虚拟址，同样也利用页表（内核页表）将虚拟地址影射到分散的内存页上。以此完美地解决了内核地址影射到分散的内存页上。以此完美地解决了内核内存使用中的外部分片问题。内存使用中的外部分片问题。内核提供内核提供vmalloc函数分函数分配内核虚拟内存配内核虚拟内存，该函数不同于，该函数不同于kmalloc，它可以分配，它可以分配较较Kmalloc大得多的内存空间（可远大于大得多的内存空间（可远大于128K，但必，但必须是页大小的倍数），但相比须是页大小的倍数），但相比Kmalloc来来 说说Vmalloc需要对内核虚拟地址进行重影射，必须更新内核页表，需要对内核虚拟地址进行重影射，必须更新内核页表，因此分配效率上要低一些（用空间换时间因此分配效率上要低一些（用空间换时间)）ConfidentialConfidentiallMips 32bit 存储器映射图存储器映射图l在在mips底下使用底下使用,kseg2 1G大小大小空间空间,从从 0 xC000 0000 0 xFFFF FFFF,也就是说也就是说vmalloc返回的地返回的地址值址值,会落在会落在0 xC000 0000 0 xFFFF FFFF上上ConfidentialConfidentialvMips linux使用的是二使用的是二级映射将映射将线性地址性地址转换为物理地址物理地址vPGD(page direcory),页面目面目录表表,占用占用10bitv每一每一PGD项占用占用4字字节,所以所以页表目表目录大小大小为4KB,正好一正好一页vPTE(page table entry),页面目面目录入口表入口表,占用占用10bitv每一每一PTE项占用占用4字字节,所以所以页表表(PTE)大小大小为4KB,正好一正好一页v每一每一PGD项,(需要有一个需要有一个页表表(PTE)可以映射可以映射 222=4MB 的空的空间v每一每一PGD项,对应一个一个PTE(page table entry),页面目面目录入口表入口表ConfidentialConfidentialVmalloc:调用用图ConfidentialConfidentialv内核提供内存管理接口接口内核提供内存管理接口接口:vgfp_mask:vGFP_ATOMIC v用来从中断处理和进程上下文,软中断,持有自旋锁以及其他不能睡眠(阻塞)的地方分配内存.从不睡眠.vGFP_KERNEL v内核内存的正常分配.可能睡眠.vSlob/slab/slub提供接口提供接口:vstatic struct kmem_cache*skbuff_head_cache _read_mostly;vskbuff_head_cache=kmem_cache_create(skbuff_head_cache,sizeof(struct sk_buff),0,SLAB_HWCACHE_ALIGN|SLAB_PANIC,NULL);vSLAB_HWCACHE_ALIGN:指定指定cache对齐对齐(cache line对齐对齐,如如32字字节对齐节对齐).vSLAB_PANIC:指示创建失败时候指示创建失败时候,系统系统haltv除非你觉得分配的内存结构体会频繁地生成除非你觉得分配的内存结构体会频繁地生成/销毁销毁,否则否则 请直接使用请直接使用kmalloc分配空间分配空间.v ConfidentialConfidentialv除非你觉得分配的内存结构体会频繁地生成除非你觉得分配的内存结构体会频繁地生成/销毁销毁,否则否则 请直接使用请直接使用kmalloc分配空间分配空间.v例子例子:v分配分配:vskb=kmem_cache_alloc_node(cache,gfp_mask,node);v释放释放:vkmem_cache_free(skbuff_head_cache,skb);ConfidentialConfidentialvVmalloc:v不能在中断中使用:vvoid*vmalloc(unsigned long size)vvoid vfree(const void*addr)vKmalloc:vstatic inline void*kmalloc(size_t size,gfp_t flags)vvoid kfree(const void*objp)ConfidentialConfidentialActions Microelectronics Co.,Ltd.
