BAT的故事(7)天蝎与Open Rack的楚河汉界.docx

《BAT的故事(7)天蝎与Open Rack的楚河汉界.docx》由会员分享，可在线阅读，更多相关《BAT的故事(7)天蝎与Open Rack的楚河汉界.docx（15页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、编者按：本文是数据中心2015技术报告的第6章BAT的故事的第七部 分，也是本章的最后一局部，点击底部“阅读原文”可阅读本章的全部内容。谢谢支持!开放的楚河汉界Open Rack证明了自己路线的正确，天蝎2.0也基本从善如流。原计划2013年 合并虽然没有实现，但天蝎2.0是2013年成型的，看起来2014年很有希望。 不过，个人认为，两个组织为了自身的开展，在2014年各做了一件非技术考虑, 甚至带有政治色彩的决定，使得合并基本成为泡影。从整个框架的角度来看，Open Rack看得比拟长远；而在具体的工程实现上， 实践证明天蝎工程精于效率，至少在供电布局这一大共性上，值得Open Rack

2、借鉴。复习一下Open Rack V1的供电布局：纵向上，分为3个供电区，每个供电区由3 OU (OpenU, 48mm)的供 电框(Power Shelf)和10 0U的IT设备空间(Innovation Zone,创新区)组 成；横向上，机架正后方有3根等距分布的铜排，严格说来，每根又被供电框 分为三段。3根铜排并不能提供冗余，因为规范不允许多根铜排给同一个设备供电，以免安 装在同一供电区的机箱之间产生有害的直流电(DC)再循环。实际上，这么设 计主要是为迁就第三代OCP服务器2 OU的高度上并排3个，各自从所对 应的铜排上取电。像。pen Vault这种全宽度的设备，也只从正中间的铜排上

3、取 电，风扇的布置还得避开左右两根铜排。如此说来，多出的2根铜排便有浪费的 嫌疑,不够Vanity Free。已经进入大批量生产阶段之后就更难了。OCP不愿意改，已经改过一次的天蝎 工程自然也不愿意再改，反复折腾供应商可不行。天蝎工程与Open Rack主要特征比照表天蝎L0Open Rack VI天蝎2.0Open Rack V2外部高(mm)210021002100/23002210宽(mm)600600600600深(mm)1200106712001067内部宽(mm)4835385385381U (mm)44.4548.046.548.0可用空间44 RU41 OU42/46 U41

4、OU空间 分配交换机1 RU2 OU*1-4 U3 OU节点高度1 RU2 OU1 U2 OU可用空间40 RU30 OU*36/40 U32 OU供电供电框高度3 RU3 组 / 9 OU3 U2 组 / 6 OU供电区数蚩2322铜排数蚩洞排/背板311 (3)铜排位置不固定等距分布左中散执方式尺寸(mm)系统风扇模组N/A节点内蚩风扇80(60)系统风扇模组140X38节点内置风扇 80(60)注：*代表默认交换机占用3U空间，红色字体代表需要注意的参数或改变 不过，即使统一了每U高度和铜排位置，天蝎整机柜和Open Rack的差异仍然 很大。天蝎整机柜的深度超出Open Rack达13

5、3mm, 一是为了容纳风扇墙，二 是加大IT设备的空间。Open Rack留给IT设备的深度为800mm,天蝎整机柜 又多了 50mm,加上设备内部没有风扇，这些空间至少可以多横置一排硬盘： Open Vault每U可以容纳15个硬盘，天蝎整机柜的(1U)冷存储节点那么可以 容纳18个硬盘，正好多3个。2 OU的Open Vault分为上下两层，每层以5x3的方式布置15个3.5英寸硬盘; 将Open Vault的SAS扩展器板（左下红色电路板）用基于Intel Atom处理器的 Honey Badger轻量级计算模块（左上绿色电路板）替换之后，形成类似天蝎冷 存储服务器（右）的产品。天蝎冷存

6、储服务器也基于Intel Atom处理器，优势是 在1U空间内容纳18个3.5英寸硬盘，如果改造成Open Vault式的JBOD,应 该可以安置19个硬盘（来源：张广彬拍摄整理） 不同的散热布局，也是导致天蝎整机柜与Open Rack的节点形态不同的主因。 由于内置风扇，Open Rack的节点尽量采用2（0）11设计，这样可以使用80mm 风扇，比40mm （1U）或60mm （1.5U）等较小直径的风扇更有效率。典型的 如Open Vault,基本上是把两层结构装在2 OU的机箱里面了。天蝎2.0整机柜中的两个半宽计算节点（1U2）,设计上完全可以把各自的2.5 英寸盘位去掉，做成1U3

7、。只是出于整机柜的供电能力考虑，没有这个需求而已 （来源：张广彬拍摄） 天蝎工程就没有这个顾虑，风扇尺寸是机柜的事，节点可以自由采用1U、2U乃 至4U （与Open Rack不同，不允许出现0.5U）的规格。1U通常可以到达更高 的密度，已成为天蝎2.0节点的事实标准。两种采用双路至强处理器的天蝎2.0计算存储均衡型节点，均可在不断电的情况 下拉出维护硬盘。联想的节点（左）支持14个3.5英寸硬盘，需整体拉出；浪 潮的节点（右）支持12个3.5英寸硬盘，硬盘托盘单独拉出维护。在宽度（21英寸）和高度（1U）既定的情况下，只能在深度上做文章，这又牵涉到强度 （来源：张广彬拍摄）所以，基于双路至

8、强的计算节点，天蝎整机柜每U可以容纳3个，2U即有6个, 而Open Rack只能做到每2 OU容纳3个。2（O）U的优势是往垂直方向开展， 可以放3.5英寸、PCIeSSD及更厚的GPGPU,具有更好的扩展性。2015年3 月10日举行的第六届OCP峰会上，Facebook联合Intel宣布了名为Yosem让e（优山美地）的工程，是在2OU、三分之一宽度（7英寸）的第三代OCP服务 器（Winterfell）基础上加以改造，拿掉原来的双路（2S）至强E5节点，换为4 个代号Mono Lake （优山美地的一个湖）的单路至强D-1500 soe节点。这样 的话，在同样的空间里，CPU的数量可以

9、翻一番从2个到4个，计算密度 就能追平天蝎的计算节点。当然，假设论CPU的运算性能，至强D-1500与E5-2600 v3相比还是有很大差距的。左为广达展出的四至强D节点服务器（YosemW）及单个至强D-1500服务器 （Mono Lake）,右边可见YosemW与第三代OCP服务器的渊源（来源：张 广彬拍摄）回顾OCP和天蝎工程的开展历史，不难发现：OCP是先有服务器，再开展到机 架；天蝎工程那么是先有整机柜，天蝎1.0基本没有定义服务器节点，2.0也只是 列出了一些建议和参考配置，具体设计和实现主要由客户和供应商决定。为了争 取客户，供应商在节点的密度上下了很大的功夫，每家都维护着多个不

10、尽相同的 SKU,节点的标准化工作基本处于刚起步的状态。反观OCP,很早就着手计算 与存储的解耦合，几乎与Open Rack同步开展了 JBOD工程Open Vaulto与BAT发起的天蝎工程不同,OCP从成立之初就将传统企业市场作为目标之一, 推出Open Rack之后那么致力于与EIA机架的转换，只整合供电也相对利于兼容 传统机架式服务器，相比之下天蝎整机柜将散热一并整合，机柜架构层面的颠覆 更为彻底。不过，从大的方向上来看，计算与存储解耦对在机架层面重新定义服 务器和争取传统企业客户都至关重要，毕竟不能指望传统企业客户像BAT 一样 按照自己的需求定制服务器节点，提供可自由组合的计算和存

11、储单元是必须具备 的手段。据悉，预计于2015年9月召开的开放数据中心2015峰会上将发布天蝎2.5, 以及天蝎3.0的愿景。早有传言说天蝎3.0会考虑计算与存储资源的解耦合及（机 柜层面）再耦合，希望也能听到针对传统企业市场的开展计划。第六届OCP峰会期间希捷（Seagate）展示基于其PCIe闪存卡和SMR硬盘的 Ceph解决方案，使用了 3台第三代OCP服务器（上）和1台Open Vault存储 （下）。可以看到每台OCP服务器都从对应的铜排上取电，而Open Vault只 从中间的铜排上取电，并不需要两边的铜排（如红色椭圆框中所示），其风扇也 像天蝎整机柜的风扇模组一样从后端维护（来源

12、：张广彬拍摄）3个供电区可以提高机架的供电能力，不过这种需求并不多见，反而限制了每个 供电区（10OU）和整机柜（30OU）的IT设备载荷能力。天蝎1.0贝1J将44U 的纵向空间，由中间用于部署交换机、PSU和RMC的4U空间一分为二，其中 PSU占3U空间，将铜排分为上下两段，各支持20U的服务器空间。浪潮SmartRack 4.0的RMC、PSU及交换机。天蝎2.0统一了定制PSU及RMC 的规格，交换机仍可以像天蝎1.0规定的那样与它们一起占用4U空间（来源： 张广彬拍摄） 在实际执行中，天蝎1.0整机柜的交换机也会被安装在机架顶部（Top of Rack, ToR） o Open R

13、ack阵营里，同样有Rackspace把供电框和交换机装在机架中 间、供电区分为上下两个，并且支持RMC （Remote Monitoring Controller,远 程监控控制器）这样颇具天蝎风格的实现。支持RMC且兼容Open Rack的供电框（来源：张广彬拍摄）到了天蝎2.0,干脆规定RMC位于供电框左侧，与PSU共占机柜中部的3U空 间，机柜下部空间（节点区1）固定为20U （此U非RU,后面再解释），上部 空间（节点区2）为19U （42U规格）或23U （46U规格），交换机数量为1-4 台，可部署在两个节点区的任意U位置。供电方式统一为1根铜排，位于机架 后方左侧（正面视角），

14、以尽量减小对风扇墙的阻挡。Open Rack V2的供电框仍是3 OU,但改为三上三下布局，即上面3个PSU为 主（反面图中右侧），下面3个BBU为从（反面图中左侧），2+1冗余。供电 框集成BBU （Battery Backup Unit,电池备份单元）消除了对单独电池柜（每6 个Rack配1个）的需求，BBU使用因特斯拉而闻名的18650柱状锂离子电芯, 性能也比电池柜的铅酸蓄电池更好，但要格外注重平安（来源：张广彬拍摄）2014年1月底召开的第五届OCP峰会上，公布了 Open Rack V2的进展，供 电布局向天蝎靠拢：铜排可以减至中间1根（或保存全部3根），供电区也划 为上下两个，但

15、供电框仍有2个（共6OU）,有居中相邻和（后来Facebook 采用的）相距16OU两种方案。只有中间1根铜排对Open Vault当然没有影响,安装在左右两侧的(第三代)OCP服务器怎么办？ Facebook提知名为Cubby 的“子机箱”(Sub-chassis)方案来补救，即把2 0U的机架内部空间切分为左中 右三份，统一由中间的铜排供电。Facebook的Cubby工程示意和实物效果。如果一个机架装满16个Cubby,成 本应该高于保存3根铜排的方案，复杂度更是个问题(来源：张广彬拍摄&整理) 不过，OCP方面对天蝎2.0把每U高度由原来的RackU (RU, 44.45mm)增 加到

16、46.5mm非常不解：要么保持RU不变，要么统一到0U的48mm,弄个居 中的46.5mm是什么意思？一方面，21英寸内宽的跨度过大，受重力影响，时间长了，节点中间部位的纵 向形变可能达2-3mm左右，如果还沿用19英寸内宽时的高度（RU）,使用较 久的节点可能会与下方的节点贴合在一起，难以拔出。因此，适当增加每U高 度,可以加厚底板，对抗变形，Open Rack采用0U也有这方面的考虑。经过 百度等方面的实践，认为在原有标准RU的基础上增加2mm就够了。百度Cloud Rack 2Q （天蝎2.0）整机柜服务器局部，注意中间的节点因缺乏厚 底板支撑，中部已出现肉眼可见的下垂（来源：张广彬拍摄

17、）另一方面，天蝎2.0统一采用140x38mm规格风扇，加上风扇盒等构成风扇模 组（Fan Tray）之后，高度与每U为46.5mm时的4U匹配很好，（48mmx4） 再加6mm略显勉强。不同的散热设计似乎是决定性的。同样2100mm高的机架，天蝎2.0为42U, Open Rack V1为41 OU,外表上看只损失1U。实际上，天蝎2.0把42U的空 间从下至I上戈分为20U+3U+16U+3U,中间3U的PSU和顶上3U的交换机都 自带风扇，另外36U正好安装9个（5+4）风扇模组，如果少掉1U,就要安装 1个3U的背板，感觉不太划算。联想天蝎2.0机柜的风扇模组(来源：张广彬拍摄)210

18、0mm机架面向租用或现有机房，供电基本不可能超过30A。2300mm机架 主要面向自建或合建机房(腾讯甚至希望50U以上，譬如52U的Dell DCS G5), 46U戈ij分为20U+3U+20U+3U,两个3U不解释，20U+20U形成对称的10个(5+5)散热区，“非常完美的布局”。不管天蝎U还是OpenU, 2300mm都只 能比2100mm多4U,如果2100mm是41 (O)U,那么2300mm也会遇到同样 的问题。具体设计上的分歧，各有各的道理，见仁见智。在我看来，每U高度这样的技 术问题，不是阻碍两个标准融合的首要原因。先是,第五届OCP峰会上，微软携开放云服务器(Open C

19、loud Server, OCS) 强势加盟，负责云和企业业务的副总裁Bill Laing直入OCP基金会董事会。从 技术角度讲，正如我在上一章所指出的，0cs更像是做成12U的天蝎1.0整机 柜，与Open Rack的差异比天蝎2.0实在大太多，却能立刻在OCP的服务器项 目中占有显要位置，足见技术上的“血缘”差异根本不是障碍。论采购量？ 2011年的BAT可能比不了，2014年的BAT加在一起，未必输给微 软；微软在传统企业市场的影响力更大？天蝎工程的核心人物中缺乏VP级别的代 表？都是可以摆到台面上的理由，但也都不是技术因素然后，天蝎工程成为开放数据中心委员会（ODCC）的组成局部，这是

20、一个基本 与OCP基金会对等的组织，而且带有政府色彩。经此一变，如果没有重大转机 出现，两个组织间的合作远比合并更为现实。殊途同归看未来谈到技术上的合作，OCP方面曾经希望与天蝎工程至少在两点上能达成一致： 首当其冲是每U的高度；其次是铜排的位置在左边没问题，能不能与Open Rack左边的那根铜排重合？200 mm. Cooling Zone850 mm. Server Zone150 mm, Cable ZoneHot Aisle of the DaU CtnttfCokt-Aisle Sid of the Data Center天蝎2.0 （左）与Open Rack （右）机柜等比例俯视图，中间是天蝎2.0铜排的 特写。据说，有厂商曾考虑把铜排旁边的“空地”也用来装硬盘Open Rack的 最后方全都留给了铜排（来源：根据台达资料和Open Rack规范整理）天蝎工程与Open Rack都志在机架级别重新定义服务器，两大标准间尽可能的 增强一致性肯定是好事。不过，之前一直保持沟通都没能达成一致，在天蝎2.0