基于IPv6 存储集群网络模块的设计与实现.pdf

《基于IPv6 存储集群网络模块的设计与实现.pdf》由会员分享，可在线阅读，更多相关《基于IPv6 存储集群网络模块的设计与实现.pdf（4页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第6卷第4期2007年8月 江 南 大 学 学 报(自 然 科 学 版)Journal of Jiangnan University(Natural Science Edition)Vol.6No.4Aug.2007文章编号:1671-7147(2007)04-0379-04 收稿日期:2006-09-11;修订日期:2006-11-14.基金项目:国家973项目(2004CB318203);国家自然科学基金项目(60603075).作者简介:曹强(1975-),男,湖北武汉人,副教授,工学博士.主要从事计算机存储系统、嵌入式系统等研究.Email:caoqiang 基于IPv6存储集群网络模

2、块的设计与实现曹 强,罗 怡,谢长生,张常军(华中科技大学 计算机学院 信息存储系统教育部重点实验室,湖北武汉430074)摘 要:将基于对象的分布式文件系统Lustre存储集群网络模块,由仅支持IPv4改进为同时支持IPv4与IPv6双协议栈,并提出了相应的设计原则与实现方法;测试比较了IPv6与IPv4环境下的系统性能.实验表明,移植前后性能基本相同.考虑到设计的前提是适用Linux系统基本的双协议栈架构,因此本方法适用于其他需要支持双协议栈的网络程序.关键词:双IP协议栈;套接字;存储集群中图分类号:TP 319文献标识码:ADesign and Implementation of Ne

3、twork Component in StorageCluster System for IPv6CAO Qiang,LUO Yi,XIE Changsheng,ZHANG Changjun(Key Laboratory of Data Storage System,Ministry of Education,College of Computer Science and Technology,HuazhongUniversity of Science and Technology,Wuhan 430074,China)Abstract:The paper addresses how to e

4、nhance network component from IPv4only to IPv4 andIPv6 dual stacks supported in order to meet the need of Next next generation internet.Theexperiments compare performance respectively for IPv6 and IPv4 environment,whose results arebasically same.The design methods mentioned in the paper are conclude

5、d that there are basicallysame results.The design methods mentioned in this paper are concluded from analyzing LinuxsIP protocol stacks,Therefore,they are also useful for other network applications that want tosupport dual stacks through Linux s Socket API.Key words:dual IP protocol stacks;socket;st

6、orage cluster 随着网络的发展,使用了20余年的传统互联网协议IPv4因其地址空间狭小、地址分配效率不高、安全性没有保障等缺点已显现出来.新一代网际协议IPv6因为具有128位超大地址空间、分级地址模式、服务质量保证、安全性强等诸多优点,可以彻底解决IPv4存在的问题,因而成为下一代互联网的主要标志.网络的发展带来了数据量的爆炸性增长,流媒体直播、视频会议、数据通信业务等诸多应用均离不开网络存储的支持.据Google、网易等大型网站统计,其每年的数据增量在1 PB以上,因此急需海量存储系统来容纳这些数据.目前单个存储设备的容量远未达到海量要求,海量存储系统主要通过存储集群模式来实现

7、,即将许多容量较小相对廉价的存储节点通过分布式文件系统合并为一个海量存储池1.以往的存储集群系统采用能够被系统中所有节点访问的共享存储文件系统,如NAS和SAN,当节点增加到一定数目时,I/O总线将成为系统性能继续增长的瓶颈,因此共享存储方式已不能满足应用对存储的要求2.此时,以Lustre为代表的对象存储文件系统应运而生,它采用元数据与数据相分离的策略,使用基于对象的存储设备(ObjectbasedStorage Devices,OSD),可以很好地克服I/O瓶颈问题,这已成为构建海量存储系统的基础3.到目前为止,所有分布式文件系统都是基于IPv4的,为了推动下一代互联网的发展,有必要开发支

8、持IPv6的分布式文件系统.文中介绍了将仅支持IPv4的基于对象存储的分布式文件系统Lustre,改进为同时支持IPv4与IPv6双协议栈系统的分析步骤和设计原则,并在IPv6与IPv4环境下测试了Lustre的性能.1Lustre文件系统、网络模块及Linux系统网络协议栈结构1.1Lustre文件系统及网络模块Lustre是Linux Cluster的缩写,是由ClusterFile Systems公司、惠普公司(HP)、国际商业机器公司(IBM),以 及 美 国 的3个 国 家 实 验 室(LawrenceLivermoreNationalLaboratory,LLNL;Los Alam

9、os National Laboratory,LANL;Sandia National Laboratory,SNL)合作开发的开源对象存储文件系统.IBM的“深蓝”(Bule Gene)超级计 算 机 和HP的 可 扩 展 文 件 共 享(HPStorageWorks Scalable File Share)系统等都采用了Lustre作为其存储文件系统,因为它比传统的分布式文件系统性能更高、可用性更强、可扩展性更好.Lustre之所以优越的原因之一,是它采用了三方通讯模式.“三方”指客户端(Client)、基于对象的存储服务器(Object Storage Target,OST)和元数据服务

10、器(MetaData Server,MDS),见图1所示.图1中,OST负责管理对象数据的存储;MDS负责管理和维护命名空间、目录结构、用户权限并保证文件系统的数据一致性;Client运行Lustre文件系统,它与OST进行文件数据的交互,包括文件的读写、对象属性的改变等,与MDS进行元数据的交互,包括目录、符号链接、文件inode结构的获取等.这种三方通讯模式可将存储数据与其元数据相分离,即将存储和计算相分离,从而大大降低I/O总线的压力3.图1Lustre三方通讯模型Fig.1The model of lustre communication among threepartsLustre是

11、否能支持IPv6,重点取决于其网络模块.Lustre开 发 者 在 权 衡 了PortalsMPI4,Infiniband,VIA等多种网络通讯接口后,最终将Sandia国家实验室开发的开源项目Portals MPI选为其网络模块.因为Portals是专为大型并行系统设计的,它通过旁路操作系统(OS Bypass)和旁路应用程序(Application Bypass)等技术实现了零拷贝,并 采 用 网 络 抽 象 层(Network AbstractionLayer,NAL)方式实现了对多种网络类型的独立支持,如TCP/IP NAL(即Sock NAL),QSW NAL等,如图1中Portal

12、s层所示.虽然Portals支持多种网络类型,但其中只有TCP/IP NAL涉及到IP协议栈,因此只需改写该网络抽象层即可.分析这部分源码可见,它利用了Linux系统提供的Socket API,因此该网络抽象层也被称为Sock NAL.Linux系统通过系统调用,让用户态程序访问内核服务,系统调用又通过库函数的形式提供给用户,Socket API就是一系列库函数5.但Portals除了用户态程序,还包括内核态程序,内核态程序不能直接调用库函数,只能调用库函数对应的内核函数,因此有必要分析Socket API的内核实现.这样的分析也有助于理解Socket API如何同时支持IPv4和IPv6双协

13、议栈.1.2Linux系统网络协议栈结构Linux内核从版本2.2开始支持IPv6,文中以目前最新版本2.6为例进行分析.Linux网络协议栈代码可分为4大部分:网络设备驱动层、网络核心层、网络协议层和Socket层,其中网络协议层又可分为3个子层6,如图2内核空间部分所示.其中最底层的网络设备驱动层主要实现与硬件设备交083 江 南 大 学 学 报(自 然 科 学 版)第6卷 换数据,与本系统的设计联系不大,因此不作赘述.图2Linux网络协议栈代码结构Fig.2The softw are structure of Linux network protocol2 基于Socket支持双栈的设

14、计原则2.1 地址结构选择IPv6相对于IPv4最显著的变化是将IP地址的位数由32位增加至128位,Linux分别采用结构in6_addr和in_addr来描述.不建议直接使用这类地址结构来表示IP地址,而应选用IPv6与IPv4对应的Socket地址结构sockaddr_in6和sockaddr_in,原因如下.2.1.1 地址结构中应包含其所属的协议族 Socket地址结构中都包含一个family成员,指明该地址所属的协议族.这样,可在传递IP地址的同时传递其所属协议族,这对实现协议无关性非常重要.2.1.2IPv6单播地址不一定全球惟一 IPv4的单播地址全球惟一,但IPv6的单播地址

15、则包括可聚合全局单播地址、链接局部单播地址等,后者并不能保证全球惟一,只保证在给定链路内惟一,所以两个in6_addr结构相同不足以判断它们所代表的接口相同.而sockaddr_in6结构含有指定链路范围的成员sin6_scope_id,它与该结构中的IPv6地址成员in6_addr组合才足以标识惟一的接口.2.1.3Socket包含通用地址结构 Socket包含的两个通用地址结构sockaddr和sockaddr_storage是实现支持协议无关的关键.sockaddr可表示任何协议族的Socket地址结构,但该结构比sockaddr_in6的容量小,这样在为sockaddr预留空间时可能出

16、现空间不足的情况;而结构sockaddr_storage比任何Socket地址结构的容量都大,为sockaddr预留空间时用它的大小即可.2.2IP地址类型选择2.2.1IPv6地址类型选择 多字节类型在内存中有两种存储方式:小端字节序和大端字节序,其区别在于将低序还是高序字节存储在起始地址.网络协议都采用大端字节序,而主机字节序没有形成标准,这两种方式都有系统使用.因此如果采用了多字节类型,必须注意网络字节序与主机字节序之间的转换.IPv6地址有3种表达方式,它们都使用数组来表示128位地址.其中s6_addr是元素为单字节长度为16的数组,而另外两种方式的数组元素都是多字节的,所以建议尽量

17、采用s6_addr,以免去大小端字节序转换的麻烦.2.2.2IPv4地址类型选择 许多网络程序用int类型来表示IPv4地址,这是一种不安全的做法,因为对于许多机器,int类型并非32位,而且这样也降低了程序的可读性,所以应该使用结构in_addr来表示IPv4地址.2.3 使用支持双栈的Socket API早期的Socket API仅支持IPv4,如函数intinet_aton(const char3strptr,struct in_addr3addrptr),从其第2个参数可以看出,它仅支持IPv4.随着IPv6的发展,这些API已经有了对应的支持双栈的API,如与inet_aton对应的

18、int inet_pton(int family,constchar3strptr,void3addrptr),它通过第一个参数指定协议族,第3个参数指定该协议族对应的Socket地址结构,但调用这类API前调用者必须知道地址结构的地址族和格式,不能隐藏协议相关性.Socket API提供的两个新函数可以实现协议无关性:getaddrinfo()可通过主机名和服务名得到对应的Socket地址结构和服务端口号;getnameinfo()可由Socket地址结构和服务端口号得到主机名和服务名,它们的功能强大,建议尽量使用这两个API.对Socket API的分类总结见图3.图3Socket API

19、分类总结Fig.3The classification of socket API2.4 在内核中执行Socket系统调用系统调用通常用来将内核服务提供给用户空间的程序,socket(),connect(),setsockopt()等都是系统调用函数.对于分布式系统等非常注重效率的程序来说,如果系统调用非常频繁,应将其移入183 第4期曹强等:基于IPv6存储集群网络模块的设计与实现内核空间,以提高程序效率.在内核中进行系统调用,直接调用越是底层函数效率越高.对于Socket系统调用,效率最高的方法是:得到Socket结构指针后直接调用它所指向的方法,通过分析已知,此时Socket指针所指向的

20、方法是指定的操作集.需要注意的是,用户空间和内核空间的地址范围不同,在内核进行系统调用前须更改寄存器中的段描述符,使其指向内核空间;调用结束后还原该寄存器,使段描述符重新指向用户空间7.图4是在内核态执行Socket系统调用的代码片断.图4 内核态Socket系统调用代码片断Fig.4The code segment of socket system call in kernel3 性能测试运用以上设计原则,已成功使Lustre成为支持双栈 的 分 布 式 文 件 系 统.经 测 试,它 既 可 在CERNET2纯IPv6实验网上运行,也可在普通IPv4网上运行.为了比较Lustre在IPv6

21、与IPv4环境下的性能,进行了以下测试:两台配置相同的机器,其中一台做为MDS,另一台同时做为OST和Client.硬件环境:3.0 G的CPU,512 MB的DDR RAM,300 GB2 SATA硬盘;软件环境:RedHat 9.0(Linux2.4内核),改进的支持双栈的Lustre1.2.4;测试工具:iozone.测试方法:分别在Linux 2.4内核不加载和加载IPv6模块时运行支持双栈的Lustre,并用iozone向Lustre写大小为2 048 KB的文件.图5显示当数据块大小分别为4 K,8 K,16 K依次至2 048 K时,Lustre分别在IPv4与IPv6下获得的带

22、宽.从图中可看出,Lustre在IPv4与IPv6环境下运行时性能相差无几,原因是虽然IPv6的地址长度是IPv4的4倍,但IPv6的数据包结构更简单,且报头长度固定,便于硬件实现,两相权衡,二者的性能大致相同.图5Lustre在IPv4与IPv6下的性能比较Fig.5The performance comparison between IPv4 andIPv6 in Lustre4 结 语通过分析Linux的网络协议栈,总结了利用Socket接口使网络程序同时支持IPv4与IPv6双协议栈的设计原则.运用这些原则,成功地使分布式文件系统Lustre由仅支持IPv4改进为支持双栈,改进后的Lu

23、stre系统可用于在下一代互联网上构建大规模存储集群.下一步将利用IPv6提供的安全和端到端机制实现存储数据的安全传输.参考文献:1 Vazhkudai S S,MA Xiaosong,Vincent W,et al.Constructing collaborative desktop storage caches for large scientificdatasetsJ.ACM Transactions on Storage,2006,2(3):221254.2 Sage Weil,Scott A Brandt,Ethan L Miller,et al.Ceph:a scalable,hi

24、ghperformance distributed file system C/Proceedings of the 7th Conference on Operating Systems Design and Implementation(OSDI 06).Seattle,WA,USA:UsenixPress,2006.3 WANG Feng,Scott A Brandt,Ethan L Miller,et al.OBFS:a file system for objectbased storage devices C/21stIEEE/12th NASA Goddard Conference

25、 on Mass Storage Systems and Technologies(MSST2004).Adelphi MD,USA:IEEE Press,2004.4 Ron Brightwell,Rolf Riesen,Bill Lawry,et al.Portals 3.0:protocol building blocks for low overhead communicationC/Proceedings of the 2002 Workshop on Communication Architecture for Clusters,2002 International Paralle

26、l andDistributed Processing Symposium.Lauderdale,Florida,USA:IEEE Press,2002:6571.5 毛德操,胡希明.Linux内核源代码情景分析(下)M.杭州:浙江大学出版社,2001:1118.6 Richard Stevens W,Bill Fenner,Andrew M Rudoff.UNIX网络编程 第1卷:套接口APIM.杨继张,译.3版.北京:清华大学出版社,2006:1280.7 Rubini A.Making system calls from kernel spaceJ.Linux Magazine,2000,2(11):8493.(责任编辑:杨 勇)283 江 南 大 学 学 报(自 然 科 学 版)第6卷