iSCSI存储技术.ppt
网络存储技术网络存储技术存储协议存储协议学习目标 了解各种存储协议了解各种存储协议的主要区别 iSCSI协议是存储未来的发展之路123各种存储协议简介各种存储协议简介主机适配器SCSI ID 7SCSISCSI总线总线SCSI 阵列阵列ID 0SCSI 阵列阵列ID 5LUN 0LUN 0LUN 1LUN 1LUN 2LUN 2LUN 0LUN 0LUN 1LUN 1数据/地址总线控制信号常见SCSI接口有50、68、80针SCSISCSI（Small Computer System InterfaceSmall Computer System Interface，小型计算机系统接口），小型计算机系统接口）是一种为小型机研制的接口技术，用于主机与外部设备之间的连接。是一种为小型机研制的接口技术，用于主机与外部设备之间的连接。SCSI SCSI 的定义的定义SCSI-3SCSI-3是所有存储协议的基础，其它存储协议都用到是所有存储协议的基础，其它存储协议都用到SCSISCSI的指令集的指令集lSCSI-1SCSI-11986年ANSI标准，采纳了SASI接口（1979）；定义了硬盘、磁带和其它存储设备的物理接口、传输协议和标准指令集；lSCSI-2SCSI-21994年ANSI标准，SCSI-1的后续接口；提高了速度和总线带宽，支持多线程指令，增加了更多存储设备类型指令集；lSCSI-3SCSI-3更高的速度类型：Ultra-2/Ultra-160/Ultra-320；物理接口、传输协议和SCSI指令集分层。SCSI SCSI 历史历史SCSI架构模型特定设备指令集：包括磁盘设备的“SCSI块指令(SCSI Block Commands)”等基础指令集：所有SCSI设备都必须实现的“基础指令(SCSI Primary Commands)”SCSI传输协议：譬如iSCSI，FCP物理连接：譬如光纤通道，internet架构模型：定义了SCSI系统模型和各单元的功能分工特定设备指令集特定设备指令集基础指令集基础指令集SCSISCSI传输协议传输协议物理连接物理连接架架构构模模型型SCSI 标准框架Block Commands(e.g.,disk drive)(SBC,SBC-2)Reduced Block Commands(e.g.,disk drive)(RBC)Stream Commands(e.g.,tape drive)(SSC,SSC-2,SSC-3)Media Changer Commands(e.g.,jukebox)(SMC,SMC-2)Multi-Media Commands(e.g.,DVD)(MMC,MMC-2,MMC-3,MMC-4)Controller Commands(e.g.,RAID)(SCC-2)Object-Based Storage Device(OSD)ManagementServer Commands(MSC)Primary Commands(for all devices)(SPC,SPC-2,SPC-3)Architecture Model(SAM,SAM-2,SAM-3)SCSI Parallel Interface(SPI-2,SPI-3,SPI-4,SPI-5Related standards and technical reports(SDV,PIP,SSM,SSM-2,EPI)Serial Bus Protocol(SBP-2,SBP-3)IEEE 1394Fibre Channel Protocol(FCP,FCP-2,FCP-3)Fibre Channel(FC)SSA SCSI-3 Protocol(SSA-S3P)SSA-TL2 SSA-PH1 or SSA-PH2SCSI RDMA Protocol(SRP,SRP-2)InfiniBand(tm)iSCSIInternetSerial Attached SCSI(SAS,SAS-1.1)Enclosure Services(SES,SES-2)特定设备指令集特定设备指令集共享指令集共享指令集架构模型架构模型传输协议传输协议物理接口物理接口SCSI-3物理接口SCSI-3Class Driver(Tape Device Driver)SCSI-3Class Driver(Disk Device Driver)Interface-Independent Software Programming Interface(Miniport Interface,CAM,ASPI,IO)SCSI-3 FCPPort DriverSCSI-3 ParallelPort DriveriSCSI IPPort DriverSASPort DriverSCSI Serial Bus Protocol(SBP-2)Port DriverFibre ChannelPortSCSI ParallelPortEthernetPortSAS SerialPortIEEE-1394(Firewire)PortFibre ChannelPhysical I/FSCSI BUSFast/Wide/Ultra/etc.EthernetSerial Attached SCSIPhysical I/FFireWirePhysical I/FInitiator I/O System物理接口物理接口SCSI应用应用SCSI传输协议传输协议SCSI物理连接物理连接SCSI应用应用SCSI传输协议传输协议SCSI物理连接物理连接Initiator Initiator 设备设备Target Target 设备设备互连协议应用协议传输协议传输服务接口互连服务接口应用层应用层传输协议层传输协议层互连层互连层SCSISCSI发起端发起端-目标器模型目标器模型 特特 点点描描 述述优优点点与主机无关与主机无关工作在逻辑层而不是在设备层：工作在逻辑层而不是在设备层：支持数据块类型的逻辑地址；支持数据块类型的逻辑地址；数据以字节为单位进行传送；数据以字节为单位进行传送；采用通用指令集取代了专用的控制线采用通用指令集取代了专用的控制线多设备并行多设备并行具有总线仲裁、设备选择功能，设备与设备、设备与主机之具有总线仲裁、设备选择功能，设备与设备、设备与主机之间是一种双向对等关系，不是主从关系；间是一种双向对等关系，不是主从关系；对多任务操作系统如对多任务操作系统如UnixUnix、LinuxLinux、Windows NTWindows NT，可以获得，可以获得更高性能更高性能高带宽高带宽目前最快可以提供目前最快可以提供320MB/s320MB/s的带宽的带宽低系统开销低系统开销具有独立处理芯片，占用具有独立处理芯片，占用CPUCPU资源的比例相当小资源的比例相当小缺缺点点单单I/OI/O控制器控制器两个和多个两个和多个I/OI/O控制器无法共享一条控制器无法共享一条SCSISCSI总线，不能实现多链总线，不能实现多链路聚合，存在单一故障点路聚合，存在单一故障点地址短缺地址短缺SCSISCSI总线地址只有总线地址只有8 8或或1616个，无法接入更多的设备个，无法接入更多的设备传输距离短传输距离短单端单端SCSISCSI传输距离传输距离6 6米，差分米，差分SCSISCSI传输距离传输距离2525米。所有连接设米。所有连接设备只能放在统一地点备只能放在统一地点SCSISCSI的特点的特点SCSISCSI允许连接设备数量较少允许连接设备数量较少SCSISCSI连接设备距离非常有限连接设备距离非常有限 基于网络的基于网络的SCSISCSIFC SANFC SANIP SANIP SANFCPFCPiSCSIiSCSI如何解决如何解决基于网络的基于网络的SCSISCSIFC-1FC-1代码层代码层FC-0FC-0物理层物理层FC-2FC-2协议层协议层FC-3FC-3服务层服务层FC-4FC-4映射层映射层IPI3IPI3SCSISCSIHIPPIHIPPIIPIPSBCCSSBCCS802.2802.2ATMATM通道通道网络网络光纤通道是构建FC SAN的基础，是FC SAN系统的硬件接口和通信接口。FC可以通过构建帧来传输SCSI的指令、数据和状态信息单元。FCFC（光纤通道）（光纤通道）FCFC的三种拓扑结构的三种拓扑结构点对点点对点只能连接只能连接 2个设备个设备(直接连接直接连接)交换式交换式 Fabric最多支持最多支持1千千6百万个设备百万个设备(光纤通道交换机光纤通道交换机)Arbitrated Loop(仲裁环仲裁环)最多支持最多支持126个设备个设备(光纤集线器光纤集线器)普及普及!Fabric节点 N_PortF_PortF_PortE_PortE_PortFL_Port 节点N_Port交换机交换机 2交换机交换机 1 节点NL_Port 节点NL_PortG_PortFCFC端口类型端口类型服务器或存储设备：服务器或存储设备：N N端口端口NLNL端口端口FCFC交换机：交换机：F F端口端口FLFL端口端口E E端口端口GG端口端口FCFC特点特点不足不足构建维护成本高，时间长互操作性不强，FC协议具体实现上各个厂商有所不同FC SAN缺少统一管理标准FC理论上最长传输距离10公里左右，在互联网存储应用中会形成信息孤岛优势优势连接设备比SCSI多高带宽，低时延实现光纤和铜缆的无缝连接连接距离远远超出并行SCSI存储设备SCSI应用（文件系统、数据库）应用（文件系统、数据库）SCSI块指令块指令SCSI流指令流指令其他其他SCSI指令指令SCSISCSI指令、数据和状态指令、数据和状态iSCSI TCPIP以太网等以太网等iSCSIiSCSI协议栈协议栈liSCSI（Internet SCSI）把SCSI命令和块状数据封装在TCP中在IP网络中传输liSCSI作为SCSI的传输层协议，基本出发点是利用成熟的IP网络技术来实现和延伸SANiSCSIiSCSIiSCSI 发起端-目标器模型l发起端（Initiator）SCSI层负责生成CDB（命令描述符块），将CDB传给iSCSIiSCSI层负责生成iSCSI PDU（协议数据单元），并通过IP网络将PDU发给targetl目标器（Target）iSCSI层收到PDU，将CDB传给SCSI层SCSI层负责解释CDB的意义。必要时发送响应iSCSITCPSCSIIPLinkiSCSITCPSCSIIPLinkInitiatorTargetiSCSI的报文格式以太网头(14)IP头(20)TCP头(20)iSCSI（TCP数据）FCS源端口目的端口序列号确认号首部长度保留A P R SF窗口大小校验和紧急指针基本报头段(BHS，48字节)附加报头段（若有）头部校验（若有）数据段（若有）数据校验（若有）UiSCSI优点高可靠高可靠高扩展高扩展良好的标准化良好的标准化易管理，易管理，IPIP技术成熟，具备技术成熟，具备IPIP知识的专业技术人员多知识的专业技术人员多很低的安装成本和维护费用：建立在很低的安装成本和维护费用：建立在TCP/IPTCP/IP上上减少了异构网络和电缆：不需要特殊的减少了异构网络和电缆：不需要特殊的FCFC交换机交换机无距离限制，远程存储：异地数据交换、备份及容灾无距离限制，远程存储：异地数据交换、备份及容灾灵活的安全性和灵活的安全性和QoSQoS保证保证F FCC S SA AN N孤孤 岛岛 如如 何何 连连 接接，并并跨跨越越WWA AN N通过通过IP IP 网络网络 隧道方案隧道方案 FCP FCP 路由方案路由方案FCIPFCIPiFCPiFCPFC SAN的连接l应用场合两个FC SAN孤岛通过IP连接成一个大的FC SANl特点基于IP的FC隧道协议，将FC帧封装在TCP/IP上FCIP连接对IP网络是透明的，整个传输中只有FCIP网关需要知道FCIP的封装FCIPFCIP报文报文IP头TCP头TCP数据FCSSOFFC帧头SCSI数据CRC EOFFCIP头封装FCIP FCIP（FC over IPFC over IP）l应用场合光纤通道设备（无FC交换机）将该设备直接连接到IP网络上l特点FC消息和路由服务在iFCP网关处终结。网关将每个FC地址映射到一个IP地址具有故障隔离功能部署时需要iSNS服务器（通常集成在iFCP网关上）iFCPiFCP报文报文IP头TCP头FCSSOFFC帧头SCSI数据CRC EOFiFCP头映射FCFC地址映射到地址映射到IPIP地址地址iFCP(Internet FC)iFCP(Internet FC)FCIPFCIPFCIPFCIP隧道隧道iFCPiFCPiFCPiFCP多个多个SAN FabricSAN Fabric单个单个SAN FabricSAN FabricFCIPFCIP和和iFCPiFCP比较比较EthernetEthernet头头IPIP头头 TCPTCPFCIPFCIP头头S SOOF FFCFC帧头帧头Payload:SCSI Command in IUPayload:SCSI Command in IUCCR RCCE EOOF FF FCCS SFCIPFCIPS SOOF FFCFC帧头帧头Payload:SCSI Command in IUPayload:SCSI Command in IUCCR RCCE EOOF FSCSI-FCPSCSI-FCPEthernetEthernet头头IPIP头头 TCPTCPiFCPiFCP头头S SOOF FFCFC帧头帧头Payload:SCSI Command in IUPayload:SCSI Command in IUCCR RCCE EOOF FF FCCS SiFCPiFCPEthernetEthernet头头IPIP头头 TCPTCPiSCSIiSCSI头头FCFC帧头帧头Payload:SCSI Command in IUPayload:SCSI Command in IUF FCCS SiSCSIiSCSI几种存储协议报文结构比较几种存储协议报文结构比较 iSNS，即Internet存储名称服务，将光纤通道的即插即用功能引入到IP存储网络中，可以容易地在TCP/IP网络上实现iSCSI和光纤通道设备的自动发现、管理和配置。存储资源发现存储资源发现发现域和登录控制服务发现域和登录控制服务状态变化通知服务状态变化通知服务光纤通道和光纤通道和 iSCSI iSCSI 设备开放映射设备开放映射iSNS主要功能iSNS协议协议iSNSiSNS客户机客户机iSNSiSNS服务器服务器iSNSiSNS数据库数据库iSNS组成结构iSNSiSNS其其 它它 存存 储储 协协 议议InfiniBandInfiniBandAoEAoE 其它存储协议InfiniBand诞生背景传统的集群系统以计算节点为核心，性能差，结构复杂，扩展能力差需要一种开放、高带宽、低延迟、高可靠以及满足集群无限扩展能力的以交换为核心的体系架构InfiniBand InfiniBand 应运而生应运而生磁带库磁带库FC FC 磁盘阵列磁盘阵列以太网交换机以太网交换机管理管理LANLAN服务器集群服务器集群InfiniBandInfiniBand交换机交换机光纤通道交换机光纤通道交换机磁带库磁带库以太网交换机以太网交换机管理管理LANLAN服务器集群服务器集群FC FC 磁盘阵列磁盘阵列InfiniBand发展历程：两次浪潮19991999首次提出首次提出20042004年调整定位年调整定位l得到主流服务器生产链上厂商的一致追捧，但由于协议、软件支持、最初定位问题等，导致应用受到限制，包括Intel等厂商一度撤出投资l调整定位于存储网络、计算网络的应用，软件方面成立开源的OpenIB组织，甚至推出了IP over InfiniBand的协议转换，InfiniBand又开始得到欢迎InfiniBand体系架构lInfiniBandInfiniBand标准定义了一套用于系统标准定义了一套用于系统通信的多种设备，包括信道适配器、通信的多种设备，包括信道适配器、交换机和路由器交换机和路由器l信道适配器用于同其它设备的连接，信道适配器用于同其它设备的连接，包括主机信道适配器（包括主机信道适配器（HCAHCA）和目）和目标信道适配器（标信道适配器（TCATCA）l交换机是交换机是 InfiniBandInfiniBand结构中的基本组结构中的基本组件件l点到点的交换结构：解决了共享总线、点到点的交换结构：解决了共享总线、容错性和可扩展性问题容错性和可扩展性问题l具有物理层低功耗特点和箱外带宽连具有物理层低功耗特点和箱外带宽连接能力接能力CPUCPU链路链路网络网络链路链路链路链路链路链路链路链路目标目标TCATCA交换机交换机内存内存控制器控制器系统系统内存内存主机内部互联主机内部互联CPUCPUTCATCA目标目标HCAHCAxCAxCA路由器路由器xCAxCA路由器路由器CPUCPUxCA=HCA xCA=HCA 或或TCATCAInfiniBand协议分层结构l物理层：定义了三种速率的连接，分别为物理层：定义了三种速率的连接，分别为1X1X、4X4X和和12X12X，其信号单倍传输速率分别为，其信号单倍传输速率分别为2.52.5、1010和和30Gb/s30Gb/sl链路层：链路层与传输层处在链路层：链路层与传输层处在 IBAIBA的核心位置。的核心位置。提供了局部子系统中的信息包设计、点到点连提供了局部子系统中的信息包设计、点到点连接操作以及包交换等功能接操作以及包交换等功能l网络层：提供了信息包从一个子结构到另外一网络层：提供了信息包从一个子结构到另外一个子结构的路由机制个子结构的路由机制l传输层：传输层主要负责信息包的按序分发、传输层：传输层主要负责信息包的按序分发、分割、通道多路技术以及传输服务等；也负责分割、通道多路技术以及传输服务等；也负责处理数据包分段的发送、接收和重组处理数据包分段的发送、接收和重组物理层物理层链路层网络层网络层传输层传输层应用层应用层5 5层结构层结构l基于标准的协议由InfiniBand Trade Association共同设计了该开放标准l高速度目前Infiniband主流技术为DDR技术，所支持的吞吐量为5、20或60Gbps。下一代采用QDR，带宽最高可达120Gbps l远程直接内存存取功能该功能对于集群来说很适合，因为它可以通过一个虚拟的寻址方案，让服务器知道和使用其他服务器的部分内存，无需涉及操作系统的内核。l传输卸载远程直接内存存取能够帮助传输卸载，后者把数据包路由从OS转到芯片级，节省了处理器的处理负担InfiniBandInfiniBand的特点的特点AoElATA-Over-Ethernet：利用标准的以太网传输ATA磁盘命令。目前主要处于实验应用阶段，未商业化。l只需要三层协议栈l优势：l存储费用低廉l传输效率比较高l不足：l安全性差l只能在LAN环境内使用，没有路由能力PHYPHYEthernetEthernetAoEAoEIPIPTCPTCP从FC到FCoEMACMACFCoE MappingFCoE MappingFC-2FC-2FC-3FC-3FC-4FC-4FC-0FC-0（物理接口）（物理接口）FC-1FC-1（编码）（编码）FC-2FC-2（数据分发）（数据分发）FC-3FC-3（通用服务）（通用服务）FC-4FC-4（高层协议映射）（高层协议映射）PHYPHYFCFC协议层协议层（无改变）（无改变）IEEE 802.3IEEE 802.3（EthernetEthernet）从从FCFC到到FCoEFCoE没有质变！没有质变！SCSISCSI协议协议 FCFC协议协议iSCSIiSCSI协议协议AOEAOE协议协议InfinibandInfiniband协议协议接口技术接口技术SCSI光纤通道IPIPInfiniband接口类型接口类型并行串行串行并行串行适配器适配器SCSI卡FC HBAiSCSI HBA或以太网卡以太网卡HCA(主机端）TCA（目标端）目前最大速率目前最大速率320MB/s4Gb/s10Gb/s1Gb/s10Gb/s管理管理简单复杂简单简单简单兼容性兼容性好差好好较好存储协议的比较存储协议的比较iSCSI协议是存储未来的发展之路IPIP存储解决诸多难题存储解决诸多难题远程远程没有距离的限制，广域存储技术没有距离的限制，广域存储技术降低了系统的部署成本，管理成降低了系统的部署成本，管理成本本成本成本管理管理代表存储发展的未来。解决兼容代表存储发展的未来。解决兼容性、统一管性、统一管理的理的问题。问题。标准化标准化易于管理易于管理
