2022年IBMDS存储框架设计 .pdf

一.IBM DS4800 框架（Chassis）设计 IBM DS4800存储基础控制器单元分为5 个主要的 FRU（Field Replacement Units）组件.这些组件是2 个控制模块,2 个控制支持模块，和一个 interconnect 模块.这些控制器包含 XOR engines,处理器（processors）,和另一个用来处理I/O 的电子器件.控制器支持模块包含电源和风扇.interconnect 模块包含电池和可以热插拔的 midplane 模块。所有 5 个 FRUs 都是可热插拔的，能够在线更换，允许DS4800 用户实现在线时间最大化。从 FRUs 的组成和外观上，DS4800 和以前的 DS4000 架构有较大的不同，如果你比较 DS4800 和 DS4500 框架（chassis）设计,你会发现显著的区别.DS4800 的控制器位于控制器单元的后面，而DS4500 的控制器在前面.DS4800 的 Host-side 连接和 drive-side 连接现在集成到控制器内部，而不是像DS4500 位于分离的 minihubs 上.缓存备份电池现在位于interconnect 模块内部.Midplane 现在是热插拔的，位于 interconnect 模块内部.风扇和电源位于控制器支持模块内部，在DS4800 前部.通过减少 FRUs 的数目,DS4800 帮助简化了管理和维护的基本控制器单元的任务。名师资料总结-精品资料欢迎下载-名师精心整理-第 1 页，共 11 页 -图-2 DS4500 框架（Chassis）设计二.IBM DS4800 前部DS4800的前部包含两个控制器支持模块和 interconnect 模块.两个控制器支持模块是分别位于左边和右边的单元(FRUs).它们每个包含一个风扇和一个 375 W 的电源.为了替换风扇和电源，需要先拔掉控制器支持模块，再替换发生故障的部件。interconnect模块是位于两个控制器支持模块之间的单元(FRU)。interconnect模块包含缓存电池和新的可热插拔 midplane.当 interconnect 模块被拔掉,DS4800 会自动挂起控制器 B,切换所有的逻辑卷（LUNs）到控制器 A,继续工作。注释:当 interconnect 模块被拔掉的时候,尽管 DS4800 自动挂起控制器 B，把所有的 LUNs切换到控制器 A，但还是推荐最好在拔除interconnect 模块之前，先手动切换所有的LUNs 到控制器 A，且把控制器B 置于下线（offline）状态。当 interconnect模块被恢复原位,DS4800 便恢复到正常工作状态。然而,你必须手工重新分配 LUNs 到它们各自的控制器 (A 或 B),因为 DS4800 将不会自动为你做这项工作.所有在下图标出的部件都是热插拔的，且能被在线替换，从而保证不引起用户停机。名师资料总结-精品资料欢迎下载-名师精心整理-第 2 页，共 11 页 -图-3 DS4800的前部三.Interconnect 模块和电池组（battery pack）interconnect 模块在电源和风扇之间提供电子通讯路径，允许它们的电源来做load-share 和给缓存备份电池组充电。它包含两个缓存备份电池组.，每个电池组包含用于两个控制器缓存的电池.图-4 DS4800的interconnect 模块名师资料总结-精品资料欢迎下载-名师精心整理-第 3 页，共 11 页 -DS4800 电池组没有设置过期日期.当通过 LEDs 看到某个电池组出现问题，只需替换这个电池组，而不需同时替换两个电池组。当任何一个备份电池组发生故障，写缓存会被禁用（disabled），所以你应该尽快替换故障电池组，以便把由写缓存被禁用造成的影响降到最低。四.IBM DS4800 后部 DS4800 后部,两个控制器上下堆叠。控制器A 位于顶部，控制器 B 位于底部，且他们的位置朝向是互为颠倒的。控制器是可热插拔的，每个控制器都有两个 Ethernet RJ45 接口和一个串口（serial port.）一.IBM DS4800存储磁盘端口连线 IBM DS4800存储能连接最多16 个 EXP100(SATA)或 EXP710(FC).它全面支持 FC 和 SATA 扩展柜的混连，从而使用户拥有最大的灵活性。一般来说，当扩容 DS4800 时，最好把扩展柜均衡得分布在4 个 loop pairs 里。这将可以利用最大的drive-side 带宽。一个最大配置的 DS4800 应该有 4 个扩展柜在每个drive-side loop pair上.图-1 标示了一个 DS4800 带有 16 个 EXP710s.名师资料总结-精品资料欢迎下载-名师精心整理-第 4 页，共 11 页 -图-1 一个最大配置的 DS4800带有 16个 EXP710s 尽管我们推荐尽量把扩展柜分布到4 个 loops pairs(每个 loop pair 最多 4 个扩展柜),但我们仍然支持一个loop pair 最多 8 个扩展柜。这等于说兼容了DS4500 的配置原则(最多支持 2 个 loop pairs).注意:除了在一个drive loop pair里最多有8 个扩展柜的要求外，另一个限制条件是共享一个drive channel group 的两个 drive loop pairs最多刻可连8 个扩展柜。这意味着 loop pair#1/loop pair#2 组合在一起不能拥有最多超过8 个 EXP 扩展柜.所以，如果你放8 个 EXP 扩展柜在 loop pair#1,则你不能放任何的 EXP 扩展柜在 loop pair#2.同样的规则也适用于 loop pair#3 和 loop pair#4.如果你拥有 6 个EXP 扩展柜在 loop pair#3,则你不能放多于2 个 EXP 扩展柜在 loop pair#4.名师资料总结-精品资料欢迎下载-名师精心整理-第 5 页，共 11 页 -图-2 满配下的 DS4500 和 EXP710s如果你指只利用DS4800 的两个 drive-side loop pairs，而不是全部的4 个 drive-side loop pairs,最好使用 以下 loop pairs：Controller A,port 4/Controller B,port 1(loop pair#1);和 Controller A,port 2/Controller B,port 3(loop pair#3).这将会把 2 个 loop pairs 分布到 2 个 drive channel group pairs.而且,因为他们使用分离的drive channel groups,它们也不需要必须工作在相同的速率下。它们可以工作在或者 2 Gbps 或 4 Gbps 模式下.名师资料总结-精品资料欢迎下载-名师精心整理-第 6 页，共 11 页 -图-3 Drive-side 连接使用 loop-pairing methodology二.IBM DS4800存储磁盘端口连线示例（Drive-side cabling example）在本例中，DS4800 使用了全部 4 个 loop pairs,16个扩展柜均衡分布在4 个 loop pairs 里(每个 loop pairs里 4 个).如上图-1:1.从第一个扩展柜开始,属于 loop pair#1.用光纤连接 Controller A,port 4 到第一个扩展柜左边ESM 板的 IN port。2.在 loop pair#1里，用光纤连接第一个扩展柜左边ESM 板的 OUT port 到 第二个扩展柜左边ESM 板的IN port。3.对于 loop pair#1里的第 3 个和第 4 个扩展柜，重复第二步。4.用光纤连接第一个扩展柜右边ESM 板的 OUT port 到第二个扩展柜右边ESM 板的 IN port。5.对于 loop pair#1里的第 3 个和第 4 个扩展柜，重复第四步6.在 loop pair#1里，用光纤连接 Controller A,port 1到 第 4 个扩展柜右边ESM 板的 OUT port 这是连接loop pair#1步骤的最后一步。7.重复步骤1 7(使用下一组 drive-side loop pair ports)，对于第2，3，4 loop pairs。(每个 loop pairs有 4 个 EXP units).名师资料总结-精品资料欢迎下载-名师精心整理-第 7 页，共 11 页 -一.IBM DS4800存储扩展柜连接的两种方式IBM DS4800存储有两种方式添加扩展柜。当添加扩展柜的同时，增加了一个新的驱动器环路（drive loop pairs），我们叫做横向扩展（horizontal scaling）.相反地,当添加扩展柜到已有的驱动器环路上，我们叫做纵向扩展（vertical scaling）。当进行横向扩展时,试图把扩展柜尽量分布到所有的驱动器环路上，使扩展柜在各个驱动器环路上保持数量上的平衡.另外,尽量保持 LUNs 的分布也是横向的，这样可以和扩展柜的分布相匹配。纵向扩展可能会出现不平衡的情形.例如：如果你只使用两个环路(像 DS4500)并且添加 8 个 EXP710s 到每一个环路,你将不能通过扩展实现最优的配置。也可以通过纵向分布 LUNs 来配合 EXP710 的扩展.两种扩展模式都有相应的优点：1.横向扩展的优点 最大的可用性尽可能地把 LUNs 平均分布在4 个驱动器环路上,而不是 2 个环路.最大的带宽允许全面分布 LUNs(LUNs 使用 存在于 4 个驱动器环路上的HDDs)，从而利用最大可达 3,200 MB/sec 的带宽 (每个驱动器环路的最大带宽是 800 MB/sec).2.纵向扩展的优点 独占（Dedicated）带宽 把 LUNs 都放在一个驱动器环路上，确保它们拥有最大可到 800 MB/sec 的带宽.如果你把一个 LUN 分布在所有的 drive loops,则这个 LUN 必须和其他的 LUNs 来争抢带宽.这可能会造成性能的下降，然而,这会根据你的环境和工作负荷的不同而有变化。优化地利用 2/4 Gbps 的混合环境 -DS4800 能支持不同的驱动器环路各自拥有 2 Gbps 或 4 Gbps 的带宽.这将允许你可以使用最新的4 Gbps 的技术,但也可以升级兼容客户现有的2 Gbps 的环境.这种情形下，最好把你的跨扩展柜的 LUNs 置于相同的速率。所以，在一个混合有 2 和 4 Gbps 的环境，横向扩展不是一个推荐的做法.每个驱动器环路对（per loop pair）拥有 800 MB/sec 的带宽是指完全的4 Gbps 的环境下最大的带宽，这意味着你必须使用4 Gbps HDDs,4 Gbps EXP units,和 4 Gbps SFPs，如果你没有使用完全的4 Gbps 的名师资料总结-精品资料欢迎下载-名师精心整理-第 8 页，共 11 页 -组件，DS4800 的带宽只会工作在所有组件中最低速率组件的速率模式下。因为 DS4800 只支持 2 Gbps 和4 Gbps 的连接，不支持1 Gbps 的连接，所以混合组件的工作速率是2 Gbps。在一个驱动器环路对里，最好只使用一种速率的硬盘，即2 Gb HDDs 或 4 Gb HDDs。注意:你可以把横向扩展和纵向扩展结合起来，来达到更优化连接方案，下面是一些要遵循的原则：最多可有个驱动器环路对（drive-side loop pairs）在一个驱动器环路对里，最多只能有个 EXP 扩展柜 一个 DS4800 最多只能连接16 个 EXP 扩展柜 驱动器环路对（Loop Pair）#1 驱动器环路对（Loop Pair）#2 组合最多只能有个 EXP 扩展柜 驱动器环路对（Loop Pair）#驱动器环路对（Loop Pair#4 组合，最多只能有个 EXP 扩展柜 驱动器环路对（Loop Pair）#1 驱动器环路对（Loop Pair）#2 必须工作在相同的速率下(2 或 4 Gbps per loop)驱动器环路对（Loop Pair）#驱动器环路对（Loop Pair）#4 必须工作在相同的速率下(2 或 4 Gbps per loop)二.IBM DS4800存储扩展柜连接的两种方式示例我们首先来看一下有关横向扩展和纵向扩展的的示例，这个例子假设所有的驱动器通道组（drive channel groups）和它们的驱动器环路对（drive loop pairs）工作在相同的速率下。在下图-1 中，一个 DS4800 配有 8 个 EXP710s，并且采用的是横向扩展.每个驱动器环路对里的所有驱动器能利用的最大可达 800 MB/sec 的数据带宽.在这种情形下,4 组扩展柜（每组由2 个 EXP710s 组成，28 个驱动器)，每组拥有最大800 MB/sec 数据带宽.名师资料总结-精品资料欢迎下载-名师精心整理-第 9 页，共 11 页 -图-1 横向扩展DS4800，4个 four drive loop pairs，使用EXP710注意:EXP710 扩展柜目前还工作在 2 Gbps.当 4 Gbps EXP 扩展柜发布的时候，就可以获得 800 MB/sec的数据带宽.假定一个应用或一组应用需要 1,200 MB/sec的数据带宽，在以往的 DS4000 型号,有最大 2 个驱动器环路对来分发数据.这样一来,这样的带宽不能简单的获得,对于其它的 LUNs 很难共享剩余的带宽.如果采用DS4800 的 4 个驱动器环路对，你可以把这个LUN 分布在全部4 个驱动器环路对的硬盘上这样可以均衡负载，允许你来增加带宽去满足最重要的应用。另外，把这个LUN 分布在全部4 个驱动器环路对（而不是2个）可以提供比以往其他DS4000 型号更高的可用性。当有专用带宽（dedicated bandwidth）的需求出现时，纵向扩展有可能比横向扩展更能满足客户需要。把LUNs 只放在一个驱动器环路对上，来确保这些LUNs 只被这个特定的驱动器环路对影响。这意味着在这个驱动器环路对上的LUNs 可以获得专用的最大可达 800 MB/sec的带宽。把LUNs 分布到所有的驱动器环路对上允许你使用最大可达3,200 MB/sec的带宽，但是，这些 LUNs 必须和其他的LUNs 共享这些带宽。名师资料总结-精品资料欢迎下载-名师精心整理-第 10 页，共 11 页 -图-2 DS4800上纵向扩展使用2个 drive-side loop pairs在上图，你可以看到只有两个驱动器环路对被使用。纵向扩展的好处是LUNs 只在驱动器环路对上创建且有专用的带宽达800 MB/sec.你仍然可以得到全面的保护。对于较大的LUNs，纵向扩展还允许你在两个不同的驱动器环路对上使用不同的back-end带宽速率。这时，驱动器环路对#和驱动器环路对#必须工作在相同的速率下，驱动器环路对#3 和驱动器环路对#4 必须工作在相同的速率下。这是因为每个驱动器环路对的端口共享位于控制器A 和控制器 B 上相同的驱动器通道组（drive channel group）。在一个DS4800 上是有可能创建两对工作在不同速率下的驱动器环路对。例如，驱动器环路对#和驱动器环路对#工作在 4 Gbps 模式下，驱动器环路对#3 和驱动器环路对#4 工作在 2 Gbps 模式下。尽管这种不同速率下的工作模式在DS4800 里不被推荐，但是可以是实现的。1 Gbps 的连接在 DS4800 的扩展柜连接里不被支持。名师资料总结-精品资料欢迎下载-名师精心整理-第 11 页，共 11 页 -