交换

统一交换助力节省电力与冷却成本

您可以从中学到什么


在本白皮书中,一名思科客户比较使用基于Cisco Nexus® 5000系列交换机的思科®统一交换技术对数据中心扩展以支持1650台服务器,与使用独立LAN和SAN设计来实现相同目标在电力和冷却成本方面的差异。通过部署统一交换网络,客户节省41%的电力和冷却成本,每年可节省75,114美元。统一交换网络仅需要三分之一的网络适配器,能够大量减少所需的接入层交换机数量,可释放出能够容纳172台服务器的机柜空间。


概述


统一交换网络的时代已经来临,这为客户构建数据中心网络提供更多的选择。过去,企业在处理每一种流量类型时,需要使用诸如LAN和SAN等技术,以及进程间通信(IPC)机制,建立不同的物理网络。现在,Cisco Nexus 5000系列交换机能够支持在机柜一级进行I/O整合,通过服务器与接入层之间的同一链路传输LAN、SAN和IPC流量,并使用相同的驱动程序软件、管理软件和数据中心最佳实践来支持LAN和SAN。


这一应用说明阐述相比使用独立LAN和SAN设计,在接入层部署统一网络能够实现的电力和冷却成本节省。文章介绍一名思科客户在设计网络以扩展数据中心来支持1650台新服务器时取得的计算结果。在最初的设计方案中,客户计划为每一台服务器配备大量的接口和线缆,以支持多个LAN与SAN连接。在思科展示可作为独立LAN和SAN设计替代方案的统一交换网络之后,客户计算通过在机柜一级进行I/O整合能够实现的电力和冷却成本节省。这些结果显示采用统一交换网络能够带来出色优势。

  • 相比使用独立LAN和SAN设计所需的成本,通过整合网络的接入层和SAN聚合层,客户能够节省41%的电力和冷却成本。以1650台服务器和相关的支持性基础设施为基础进行计算,这即意味着每年可节省高达75,114美元。
  • 统一交换网络仅需要三分之一的网络适配器,不仅能够节省资本和运营开支,同时还可以消除大量潜在的故障点。
  • 统一交换网络在机柜方面仅需要三分之一的线缆和接入端口,将每台服务器的互联数量从9个减少为3个。


通过使用统一交换网络,网络基础设施功耗可降低60,216瓦特。以客户的每台服务器功耗为500瓦进行计算,这些节省能够再支持120台服务器,即现有服务器数量的7.2%。大多数组织都会选择部署更多计算资源,而不是更多网络设备。除了功耗节省之外,迁移到统一交换网络还能够带来更多优势:它可带来万兆以太网具备的全部优势,包括:

  • 从千兆以太网迁移到万兆以太网能够将带宽增加10倍。即使使用一个万兆以太网链路来替换多个千兆以太网连接,统一网络仍然能够为未来增长提供充足空间。通过保持快速增长并及时响应不断变化的业务情况,企业可以获得重要战略优势,有效保持其竞争力。
  • 统一交换网络支持“先布线、后使用(wire once, use later)”模式。在这一模式下,每一台服务器都将采用标准的万兆以太网,之后将根据需要,通过Cisco Nexus 5000系列交换机配置来支持LAN、SAN和IPC协议。用于统一网络的服务器可在以后轻松改变用途,而无须重新对机柜进行部署,或安装新的I/O适配器。
  • 统一交换网络拥有更少的故障点、更少需要维护的网元、以及更低的人为错误几率。所有这些最终可以显著提升可靠性和可用性。


服务器连接要求


一名思科客户计算在数据中心内部署1650台4机柜单元(4RU)服务器所需的成本。最初的计划是部署165个机柜,每个机柜上安装10台服务器。EoR 千兆以太网或光纤通道交换机负责提供所需的LAN和SAN连接。


如果使用传统的LAN和SAN架构,客户需要为每一台服务器提供九个数据连接,以实现以下目的(见图1):

  • 两个4 Gbps SAN连接,通过两个光纤通道主机总线适配器(HBA)提供;SAN必须能够支持每台服务器1.3 Gbps的持续数据速率
  • 两个针对生产网络的1 Gbps以太网连接,通过两个独立的网卡(NIC)提供;这一网络必须能够支持最低达1.2 Gbps的持续流量
  • 两个针对备份网络的1 Gbps以太网连接,通过两个NIC提供
  • 一个针对VMware Service Console的1 Gbps以太网连接,用于管理每一台服务器上使用的VMware ESX Server软件;这一连接通过服务器内建的板上局域网(LOM)端口提供
  • 一个针对VMkernel端口的1 Gbps以太网连接
  • 一个用于支持服务器“lights-out”(远程)管理功能的10/100-Mbps以太网连接;无论I/O是否统一,这一连接均为必须要求。因此在计算每一种网络设计的电力和冷却成本时,这一端口,以及用于支持该端口的交换机基础设施,被排除在外。


图 1. 如果使用传统LAN和SAN架构,每一台服务器将需要九条数据线缆和六个独立接口



本应用说明的以下部分详细比较独立LAN和SAN设计与统一交换网络架构,并计算在电力和冷却成本方面的差异。通过比较两种服务器配置,结论显而易见。随着服务器端口的减少,所需的上游网络基础设施也相应减少。相比千兆以太网,万兆以太网可提供更高的吞吐率和更低的延迟,能够在当今带来卓越性能的同时,为未来增长提供充足空间。线缆、交换机和适配器的减少,将可以使得网络更加可靠,并能够使用“先布线、后使用”的模式进行配置。


传统LAN和SAN模式所需的线缆、NIC和HBA的数量决定其成本和复杂性的居高不下。在这些方案中,必须为每台服务器安装和布置九条线缆。同时,企业还必须为这些服务器配置NIC和HBA,并提供相应的上行交换机端口和容量。如果每一个NIC耗电3瓦特,每一个HBA耗电5瓦特,以1650台服务器为基础计算时,即使是这些低功耗组件的耗电量,也达到36.3千瓦(kW)。


相比之下,基于万兆以太网的统一交换网络能够轻松满足每一台服务器的I/O要求,并在同一网络链路上传输LAN和SAN流量。统一交换网络的服务器端由融合网络适配器(CNA)提供支持。这一适配器能够为服务器操作系统带来一个4 Gbps光纤通道HBA和一个万兆以太网NIC,让统一交换网络成为一个透明的存在。这意味着服务器操作系统可以使用相同的接口和管理软件,同时CNA能够在万兆以太网链路上合并传输两种流量类型。当配置两个单端口CNA用于支持冗余时,每一台服务器也仅需要三条线缆:其中两条用于支持统一交换网络,一条用于支持服务器lights-out管理功能(见图2)。尽管现在的CNA在功耗方面要超过之前引述的独立组件,但本次分析中使用第二代CNA,根据制造商提供的数据其功耗仅为5瓦特。


图2. 使用统一交换网络(而非独立LAN和SAN设计)仅需要为每台服务器配备三条线缆和两个CAN



独立的局域网和存储域网络架构


传统上,支持各服务器的I/O和网络要求的方法是创建独立的并行局域网和存储域网络。每一个网络均有其各自的接入层、聚合层和核心层,并拥有足够数量的端口和上行带宽来处理各服务器的多条局域网和存储域网络线缆。


存储域网络架构


客户提议的存储域网络架构通过2个独立的SAN,可在每一台服务器与5个双端口光纤通道存储阵列之间建立连接(见图3):

  • 每台服务器配有一对4 Gbps光纤通道HBA。每个端口使用光纤连接,与每一SAN接入层中的6个第三方光纤通道交换机之一建立连接。一个端口连接到6个SAN A接入层交换机中的一个;另一个端口连接到6个SAN B接入层交换机中的一个。
  • 12个接入层交换机中的每一个交换机通过55条8 Gbps光纤通道链路,连接到SAN核心。
  • SAN核心包含4个交换机,每2个支持一个SAN。每个核心交换机通过80个4 Gbps光纤通道连接,与客户由五个光纤通道存储阵列组成的集合相连接。


该存储网络支持每服务器端口平均1.55Gbps的持续吞吐率。它需要16个光纤通道交换机和共4280条光纤线缆。


图3. 提议的独立SAN架构在其接入层和核心层使用16个第三方交换机



局域网架构


提议的局域网架构使用Cisco Catalyst® 6500系列交换机提供千兆以太网连接吞吐率。每台服务器为生产网络和备份网络分别提供有2块网卡,并使用LOM连接来支持服务器VMkernel和VMware Service Console连接。基础局域网用于支持独立的存储和备份网络:

  • 每台服务器的2个生产局域网卡与成对的2个接入层Cisco Catalyst 6500系列交换机中的一个相连接。
  • 每台服务器的VMkernel和VMware Service Console端口与接入层相连接。
  • 每台服务器的2个备份局域网卡与一对备份网络接入层交换机中的一个相连接。
  • 生产网络和备份网络接入层各包含8对互联的Cisco Catalyst 6500系列交换机。
  • 生产局域网聚合层通过一对Cisco Catalyst 6500系列交换机提供支持,这对交换机以对等方式进行互联。这些交换机配有思科ACE应用控制引擎模块,并直接连接到局域网核心。
  • 备份局域网聚合层通过一对Cisco Catalyst 6500系列交换机提供支持,它们与备份设备相连。
  • 服务器Lights-out管理端口与Cisco Catalyst 3750系列交换机相连(未显示)。


接入层和聚合层(不包括Lights-out管理)使用总共34个Cisco Catalyst 6500系列交换机。


图4. 提议的独立局域网架构分为两个并行网络:一个用于生产,一个用于备份



统一交换网络架构


思科提议的替代架构使用统一交换网络来将所有LAN和SAN流量从服务器传送到接入层中的Cisco Nexus 5020交换机(图5)。统一交换网络通过以太网光纤通道(FCoE)传送光纤通道流量。FCoE采用一种基于标准的直接方法将光纤通道整合在以太网之中。LAN和SAN流量均通过基于以太网标准的通用统一交换网络进行传输。这些标准包括IEEE数据中心桥接,后者定义一组以太网扩展,可增强网络通过同一物理链路传送多个数据流的能力。


图5. 思科提议的统一网络使用Cisco Nexus 5020交换机来在机柜一级整合I/O,能够使每一台服务器减少6条线缆,也不再需要独立的SAN接入层交换机。



简化的服务器配置


统一交换网络可简化各服务器的I/O配置。6个网卡和HBA被2个单端口CNA所取代,可支持万兆以太网和FCoE连接到接入层交换机。以前每台服务器共需要9条线缆,现在只需3条即可。所有I/O(Lights-out管理除外)均通过万兆以太网链路传输,由此可提高速度并为未来流量增长留出充足空间。


采用统一交换网络的接入层


接入层由两组Cisco Nexus 5020交换机(每组55台)组成,取代独立LAN和SAN设计所需的整个SAN接入层,以及32台Cisco Catalyst 6500系列交换机。Cisco Nexus 5020交换机在服务器之间以及服务器与聚合层之间提供低延迟10 Gbps以太网和FCoE连接。它们可接受来自服务器的FCoE流量,并通过本机光纤通道连接到SAN聚合层。这些交换机成对部署,以保持光纤通道连接模式:每个接入层交换机只能连接到2个SAN中的一个。


每个交换机配有40个支持万兆以太网和FCoE端口的固定端口,并通过两个可提供光纤通道能力的扩展模块得以增强。一个扩展模块通过小型可插拔(SFP)连接器提供8个4 Gbps光纤通道链路。另一个扩展模块通过SFP连接器提供4个4 Gbps光纤通道链路,并通过SFP+连接器提供4个10 Gbps以太网链路。交换机连接能力具体如下:

  • 每台服务器通过万兆直接连接铜缆连接两个Cisco Nexus 5020交换机。这一低成本布线解决方案集成收发器和Twinax线缆,以实现低功耗和低延迟。
  • 每个交换机通过两个万兆以太网光纤连接分别连接到两个聚合层交换机。这一配置实现7.5:1的收敛比,能够在接入层与聚合层之间的每个服务器链路上支持1.33 Gbps的持续流量。每交换机的端口配置可空出总共10个万兆以太网端口,用于未来扩展。
  • 每个交换机配有12个到SAN聚合层的4 Gbps光纤通道连接。连接到服务器的两个交换机各与SAN A或SAN B连接,其12个上行链路分布在一个SAN的4个聚合层交换机上。该配置支持2.5:1的收敛比,能够在每个服务器链路与SAN聚合层之间实现高达1.6 Gbps的持续带宽。


LAN聚合层


LAN聚合层由两个Cisco Nexus 7000系列交换机组成,每个交换机辅以Cisco Catalyst 6500系列,以支持服务模块。该客户使用思科ACE控制模块。


SAN聚合层


SAN聚合层由两组Cisco MDS 9513 Multilayer Director(每组4个)组成。每个Director可接受来自接入层的165个4 Gbps光纤通道连接,然后通过40个4 Gbps光纤通道连接到客户的5个存储系统。该配置总共可向存储设备提供320个4 Gbps连接,或者每秒1.28TB(Tbps)的吞吐率。


Pod物理设计


布线折衷考虑建议接入层交换机采用机柜架顶(top-of-rack)配置代替千兆以太网环境中典型的列末(EoR)配置。虽然10GBASE-T布线可用于支持万兆环境的列末(EoR)配置,但其延迟和功耗明显高于Cisco Nexus 5000系列交换机支持的光缆和铜缆解决方案。Cisco Nexus 5020交换机支持万兆直接连接铜缆解决方案,可用于长达7米的距离,是单机柜或多机柜配置中服务器到交换机连接的理想之选。要支持更长的距离,例如从接入层到聚合层,交换机可支持能够扩展到300米的多模、短距光纤。


万兆直接连接铜缆解决方案的优势,以及客户服务器密度,都倾向于采用基于pod的机柜配置。3个分别能够放置10台服务器的48RU机柜,每个配置有2个接入层交换机提供支持(见图6)。每台服务器连接到pod中的2个交换机之一,在万兆直连铜缆解决方案最长7米的线缆距离范围内可保持良好性能。从每个pod,8条光缆连接到局域网聚合层,24个光纤通道连接到SAN聚合层。总共55个pod提供有充足的空间,能部署1650台服务器。


Cisco Nexus 5000系列交换机设计用于服务器机柜部署。它们采用纵向(front-to-back)冷却方式,并且能够从前面板访问所有可维护组件。所有电源和网络连接均位于交换机后部,与相连的服务器网络接口相邻。


机柜顶交换机配置可使用原本不会放置服务器的机柜空间。在此基础之上,企业将无需再部署多个机柜来放置列末交换设备,从而可大幅节省数据中心空间。在本客户案例中,仅接入层交换空间,pod配置就减少480RU,相当于10个机柜位置(32个Cisco Catalyst 6500系列交换机)。


图6. 基于Pod的模式使用机柜顶交换机,相比列末模式可节省480RU,支持使用低成本、低延迟和低功耗布线方案



统一交换网络助力电力与冷却成本节省


通过测试统一交换网络的使用情况,思科客户计算得出相比采用接入层和SAN聚合层设备,可实现41%的电力和冷却成本节省。每年可节省75,115美元,5年共可节省375,575美元。这些金额通过使用厂商功耗计算器预估的功耗,乘以客户的电力成本每千瓦时(kWH)0.0712美元,计算得出。客户侧重于计算独立网络与统一网络间的差别。表1对相关结果进行归纳总结,具体如下:

  • 统一交换网络可使每台服务器减少4块网卡。按每块网卡3瓦计算,共可节省19,800瓦。
  • 统一交换网络使用单一端口、单一应用专用集成电路(ASIC)、第二代融合网络适配器替代光纤通道HBA。功耗预估每个5瓦(由制造商提供),属于平等交换。
  • 对于每台服务器,不再需要6个上行网络端口,每端口可节省9瓦。减少的端口包括4个使用独立网卡的端口和2个以前使用的内建端口。在计算电力成本节省时,假定在接入层使用Cisco Catalyst 6500系列交换机提供千兆以太网连接。这一变更共可节省89,100瓦。
  • 针对Cisco Nexus 5020服务器,提供有10个千兆上行端口,每台服务器2个,总功耗为480瓦。这些交换机会使网络的功耗增加52,800瓦。
  • Cisco Nexus 5020交换机作为局域网和存储域网络接入层,能够减少12个SAN边缘交换机。此外,加之第三方的SAN核心设计与使用Cisco MDS 9513 Multilayer Director的思科设计之间的功耗变化,又可节省4116瓦。


表1. 按组件对比计算电力成本节省,每年可节省电力成本78,308美元


统一交换网络中减少的组件 电力成本节省(瓦)
每服务器4个网卡,每网卡额定功率3瓦 19,800
每服务器6个千兆以太网接入层端口,每交换机端口9瓦(4个网卡和2个LOM网络连接) 89,100
增加110个Cisco Nexus 5020交换机的总功耗,每台交换机480瓦 –52,800
减少12个第三方SAN边缘交换机,用Cisco MDS 9513 Multilayer Director替代SAN聚合层(净电力节省如右侧所示) 4,116
总体直接电力节省 60,216
基于电源使用效率(PUE)指标为2.0时计算得出的电力和冷却成本节省 120,432
每年千瓦时 1,054,984 kWH
基于每千瓦时0.712美元计算得出的每年客户节省总额 75,114美元


直接电力节省为60,216瓦,当考虑到冷却成本及其它数据中心低效现象时,节省值将会更大。电源使用效率(PUE)是总设施电力(按电表测量数)除以IT设备负荷的比率。总设施电力要显著高于IT负荷,因为它包括冷数据中心所用的电力,配电方面存在的低效现象包括不间断电源、照明和湿度控制方面的损失等。


The Green Grid开展的一项调查显示,许多数据中心拥有3.0的PUE,表明每提供给IT设备1瓦就需要3瓦的电力(《The Green Grid数据中心电源效率测量标准:PUE和DCiE》;在http://www.thegreengrid.org/gg_content上提供)。该组织引用调查结果指出,通过适当的数据中心设计可实现2.0的PUE。客户在计算中使用2.0的PUE,因此通过避免数据中心开销,实际节省的数额应该为60,216瓦的两倍。这即意味着每年可节省超过1兆瓦时,或者节省75,114美元。


节省的不只是电力和冷却成本


尽管客户关注的是通过在接入层实施统一交换网络所实现的电力和冷却成本节省,但通过比较这两种模式,我们很容易发现许多其它方面的节省:

  • 虽然没有评估总体资本成本的节省,但客户注意到,单是不用为每台服务器购买4个千兆以太网适配器这一项,就能为公司节省1,254,000美元。
  • 在服务器机柜中同时放置Cisco Nexus 5020交换机可节省480RU,通过减少SAN边缘交换机可节省210RU。总共690RU可容纳172台服务器,从而为未来的扩展留出充足的空间。
  • 直接电力节省能够再支持120台服务器(每台500W),从而可支持将服务器数量增加7.2%。


结论


从独立的局域网和SAN设计迁移到统一交换网络是一项战略性转移,可实现电力和冷却成本的节省,使数据中心能够分配更多能源预算来支持服务器,以便为客户提供更出色的应用支持。


客户计算得出的41%的电力和冷却成本节省,每年能够节省75,114美元。如果客户使用统一交换网络来部署一个包含10,000台服务器的数据中心,每年可节省455,236美元,根据客户当地的电价水平,这一数字还可能更大。


电力节省只是众多优势中的其中一个。从千兆以太网迁移到基于万兆以太网的统一交换网络,可减少需要的网卡数量,同时提升网络密集型应用的性能。由于统一交换网络使用单一融合的网络适配器来支持所有I/O,它可实现“先布线,后使用”的部署方法,每台服务器可以进行完全相同的配置,并根据需要支持FCoE等特性。这种方法可简化基础设施、降低成本并缩短部署时间。更简单的基础设施意味着更出色的可靠性,因为需要维护和可能导致故障的适配器、线缆、交换机端口和交换机数量减少。


电力和冷却成本节省使统一网络倍受关注。统一交换网络的额外优势使Cisco Nexus 5000系列成为一个能够带来出色商业成果的产品线。


了解更多信息


如需了解有关Cisco Nexus 5000系列交换机的更多信息,请访问http://www.cisco.com/go/nexus5000


联系我们