统一阵列:思科数据中心网络创新

您可以从中学到什么


统一阵列支持诸如IEEE数据中心桥接(Data Center Bridging)增强等全新概念,改进以太网稳定性,并通过网络整合降低总体运营成本,以及提高网络响应能力。通过阅读本文,您可以了解到思科在数据中心网络的创新及满足全新应用要求方面所做的努力。同时,您还可以了解到统一阵列如何能够满足下一代数据中心以太网的要求。


简介


以太网是连接数据中心资源的主要网络选择。它无处不在,全球的网络工程师和开发人员都对它有着深刻的了解。同时以太网还在漫长的时间里击败了种种竞争技术,成为数据中心网络环境无可替代的主要选择。应用方面的新需求对网络基础设施提出了更多的功能要求,导致企业需要针对不同的应用部署多个不同的网络。在企业数据中心内,通常会部署一个以太网来支持IP流量,部署一或两个存储域网络(SAN)来支持光纤通道存储流量,并部署一个InfiniBand网络来支持高性能集群计算(图1)。部署和管理三类截然不同的网络会给企业带来高昂的投资和运营成本,因此企业迫切希望在一个统一的阵列上实现整合。


图1. 三类截然不同的数据中心网络



通过对这三类网络进行仔细技术评估,我们发现以太网能够满足我们对所有三类网络的大多数要求,但它同时也需要一些额外的功能。IEEE数据中心桥接为以太网提供了基于标准的增强功能,支持将多个网络基础设施整合到一个统一阵列上。


IEEE数据中心桥接是一个以太网架构扩展集合,专门用于改进和扩展以太网在数据中心的联网和管理作用。IEEE数据中心桥接主要有两个特征,第一个为以太网扩展,支持在统一阵列上进行I/O整合,并在整个阵列上单独传输不同类型的流量;第二个为支持无掉包服务,从而可通过无损阵列传输那些要求保证送达的流量。


网络整合可为企业带来的优势之一是成本节省。而且以太网基础设施的运营将更加简单,并能够充分利用以太网工程师现有的技能,减少所需的管理工具,同时缩短新网络的启动时间。此外,整合的数据中心网络还可提供它所取代的Layer 2网络的全部现有功能。对于以太网,这包括支持组播和广播流量、VLAN、链路聚合等;对于光纤通道,这包括提供所有光纤通道服务,如分区和命名服务器,以及支持虚拟SAN (VSAN)、VSAN间路由(IVR)等。


数据中心网络的演进


如今,应用将网络用作一种资源,这种方式促使以太网不断发展,数据中心网络不断演进。对于网络的要求已经改变,它不再仅仅用于传统的客户机-服务器交易。例如,服务器集群的部署不断增加,导致服务间流量随之不断增长。同时,网格计算也进一步增加了服务器间流量。增加的定期存储备份要求导致SAN上的服务器群与存储设备之间的流量明显增加。此外,存储设备间的免服务器备份现已非常普遍,这也导致磁盘间和磁盘-磁带间的流量不断增加。如今,数据中心流量要在多方之间进行转移,包括从客户机到服务器、服务器到服务器、服务器到存储设备、以及存储设备到存储设备等。


这些趋势显著增加了总体流量,同时流量模式的变更也导致更加依赖于网络来提供支持服务器集群应用所需的吞吐率。现在,应用性能和网络性能均为企业测量的目标,这意味着带宽和延迟都非常重要。同时,所发送流量的类型也存在区别。客户机到服务器和服务器到服务器交易涉及短暂的突发性传输。而大多数服务器到存储设备和纯存储应用要求长期、稳定的讯息流。这就要求网络架构非常灵活,并且具备出色网络智能,以支持、发现和响应网络情况的变化。


应用处理丢包的能力也存在差异。丢包对不同协议的影响有所不同,应用会以不同的方式做出响应:一些应用可以容忍这一情况,通过重新发送所丢数据包得以恢复。以太网能够支持这些情况,但其它应用不能容忍任何丢包情况,要求保证端到端传输没有丢包。通过以太网传输的光纤通道流量就是要求无丢包服务的一个典型示例。为了使以太网能够满足应用的无丢包要求,企业需要制定一种方法来通过以太网提供无损服务。IEEE数据中心桥接的流量管理扩展提供了这一能力。


数据中心网络还必须能够支持大型的平面设计。随着数据中心网络不断扩展,以及客户增添越来越多的服务器和交换机,原本已经非常庞大的现有扁平式第二层网络正在变得更加庞大,并且这一趋势已成为一种普遍现象。


其它网络整合选择


以太网不是数据中心网络整合的唯一选择,但相比其他选择,它具有明显的优势。光纤通道要求在网络拥塞情况下仍保持无丢包情况的可靠传输服务,避免进行重新传输。以太网需要解决如何在本机通过以太网传输光纤通道流量,同时确保无丢包。基于优先级的流量控制(PFC)支持无损以太网,以太网光纤通道(FCoE)支持本机光纤通道封装。


iSCSI


基于以太网的IP小型计算机系统接口(iSCSI)被视为光纤通道的替代选择,支持整合通过以太网传输的块存储。尽管iSCSI越来越普遍应用于许多存储应用中,特别是在中小企业(SMB)中,但是仍然没有超过或取代光纤通道在大型企业的关键存储媒介传输中的广泛采用地位。究其原因,可能是企业不愿意将关键存储媒介传输交给无法保证无丢包服务的以太网基础设施。iSCSI没有取代光纤通道的另一个原因在于,iSCSI不支持SAN管理员所依赖的本机光纤通道服务或工具。


有人认为,单从性能上看,仅仅增添万兆以太网就可让iSCSI取代FCoE。从这个角度看,当FCoE通过万兆以太网进行传输时,也可获得更高的速度。对于光纤通道来说,数据的可靠性和完整性比链路的速度更重要;因此,无损以太网能力将会极具吸引力。最后,iSCSI面临的另一个挑战是,TCP/IP开销会增加服务器上CPU的利用率。iSCSI依赖于TCP/IP提供可靠、有序的存储流量。TCP/IP卸载引擎一直被应用于网络适配器硬件,但这种方法会增加接口的成本,需要特殊的应用专用集成电路(ASIC)。


InfiniBand


InfiniBand也被定位为数据中心网络整合的潜在替代技术。InfiniBand要求低延迟。尽管InfiniBand提供有到光纤通道和以太网的网关,它仍要求构建另一个并行网络,但由于以太网遍布如此广泛,IT部门不太可能将其基于以太网的基础设施迁移到InfiniBand上。这样做无法实现经济高效性,因为会增加扩建,需要更多的管理开销,而且如果不对以太网IP网络人员针对InfiniBand进行广泛的培训,他们也将无法提供高效的运营支持。InfiniBand面对的另一个障碍是,不同的InfiniBand子集之间缺乏互联性。随着数据中心的扩展以及需要共享资源,InfiniBand子集将需要利用目前尚不存在的InfiniBand路由器进行互联。万兆以太网是比10-Gbps InfiniBand更高的带宽标准。由于InfiniBand使用10位来对8位数据进行编码,线速率会有20%的损失,这就将数据链路层的有用带宽限制在了8Gbps。万兆以太网能够发送10Gbps的出色吞吐率,达到万兆以太网链路的实际线速率。


考虑到在当今所有服务器集群中有80%是通过以太网基础设施运行,最可能的选择就是,能够增强以太网来服务于更大比例的服务器集群和网格计算应用。为万兆以太网创建远程直接内存存取(RDMA)驱动程序是一个似乎不可避免的发展之路。具备高吞吐率和低延迟,且能够直接连接内存资源的以太网是当前的必需。同时,IEEE数据中心桥接提供的无损传输服务也会使服务器集群应用受益。


IEEE数据中心桥接


IEEE数据中心桥接设计用于充分利用传统以太网的优势,通过增添多种关键扩展功能来为数据中心网络提供下一代基础设施,同时提供在Cisco Data Center 3.0架构中所设想的统一阵列。本文后面部分将简要介绍IEEE数据中心桥接,并描述该架构的各个主要组成部分如何能够帮助构建起一个强大的以太网,以满足当今日益增长的应用要求和未来的数据中心网络需求。


基于优先级的流量控制:IEEE 802.1Qbb


链路共享对于I/O整合至关重要。要想成功实现链路共享,一种流量类型的大规模流量猝发不能影响其它流量类型,一种流量类型的大量排队不能争用其它流量类型的资源,并且对一种流量类型的优化不能造成其它流量类型的短小讯息出现明显延迟。以太网暂停机制可用于控制一种流量类型对另一种流量类型的影响。基于优先级的流量控制(PFC)是对暂停机制的一种增强(图2)。


图2. 基于优先级的流量控制



当前以太网暂停选择会阻止一条链路上的所有流量;本质上来讲,它会暂停整条链路。PFC可以在物理链路上创建8个独立的虚拟链路,并允许单独暂停和重启其中任意一条链路。这一方法使网络能够为单个虚拟链路创建无丢包类别的服务,使其能够与同一接口上的其它流量类型共存。PFC允许为8个不同的虚拟链路执行差别服务质量(QoS)策略。当使用内部交换机阵列仲裁程序时,PFC也可发挥主要作用,将入站端口与出站端口资源连接在一起(参见本文后面部分的“无损阵列”;IEEE 802.1Qbb和http://www.ieee802.org/1/files/public/docs2007/new-cm-barrass-pause-proposal.pdf)。


增强传输选择:IEEE 802.1Qaz


PFC能够在一个物理链路上创建8个截然不同的虚拟链路类型,这对于在每个虚拟链路内定义不同的流量类别非常有利。同一PFC IEEE 802.1p类别中的流量可以进行分组,在各组内区别对待。增强传输选择(ETS)能够根据带宽分配、低延迟或尽力服务(best effort)提供优先级划分处理,从而在各组内进行流量类别分配。网络接口控制器(NIC)扩展了虚拟链路概念,提供有虚拟接口队列,每一个流量类别可获得一个。每个虚拟接口队列负责管理为其流量组分配的带宽,但是可以灵活动态地管理该组内的流量。例如,面向IP流量类别的虚拟链路3可能拥有高优先级指定和同一类别内的尽力服务,虚拟链路3类别与其它流量类别共享整个链路的一部分。ETS支持对同一优先级类别的流量进行区别,来创建优先级组(图3)。


当今的IEEE 802.1p实施根据优先级规定了严格的队列调度安排。利用ETS,针对队列的灵活无丢包调度程序可以根据IEEE 802.1p流量类别和各优先级组内指定的流量处理层级来划分流量优先级。通过实施ETS,能够在同一优先级类别中对不同流量进行区分对待(参见IEEE 802.1Qaz http://www.ieee802.org/1/pages/802.1az.html)。


图3. 增强的传输选择



数据中心桥接交换协议


数据中心桥接交换(DCBX)协议是一种由思科、Nuova和英特尔公司共同开发的发现与能力交换协议,供IEEE数据中心桥接用于发现对等配置,并在符合DCB要求的桥接之间交换配置信息(图4)。IEEE数据中心桥接的以下参数可与DCBX进行交换(参见http://www.ieee802.org/1/files/public/docs2008/az-wadekar-dcbcxp-overview-rev0.2.pdf):


  • ETS中的优先级组
  • PFC
  • 拥塞通告
  • 应用
  • 逻辑链路断开
  • 网络接口虚拟化

图4. 数据中心桥接交换协议



拥塞通告:IEEE 802.1Qau

拥塞通告属于流量管理,通过指示速率限制器来调整引起拥塞的流量,可将拥塞限制到网络边缘。IEEE 802.1Qau工作组接受了思科的拥塞通告提议,后者定义了一种架构来积极管理流量,以避免流量拥塞。


该工作组是在拥塞点测量拥塞情况,如果遇到拥塞,则会在反应点进行速率限制或背压加载,来调整流量并减少拥塞对网络其它部分造成的影响。在该架构中,聚合层交换机可以向两个接入层交换机发送控制帧,要求它们节制流量(图5)。这一方法可保持网络核心的完整性,只会影响引起拥塞的网络部分,即接近拥塞起源地的部分(参见IEEE 802.1Qau http://www.ieee802.org/1/pages/802.1au.html)。


图5. 拥塞通告



思科统一阵列相关标准和增强特性


除了IEEE数据中心桥接以外,Cisco Nexus数据中心交换机还具有其它增强特性,如基于标准的第二层多路径和以太网光纤通道(FCoE),以及无损阵列等,可支持构建统一阵列。下文简要介绍了这些概念。


第二层多路径


当前,等成本多路径路由在第三层执行。标准机构提议了多种替代选择,以在第二层实现等成本多路径功能。大量链路的透明互联(TRILL)是IETF标准机构中提议的解决方案,最短路径桥接(IEEE 802.1Qat)正在接受IEEE的评估。


第二层多路径(L2MP)在节点间支持多条并行路径,可提高等分带宽,进而提高互联网络的带宽,降低延迟。根据大型服务器群的流量模式,L2MP将可以增强这些网络的性能。备用等成本路径间的流量负载均衡,将可以提高应用性能和网络永续性。带有L2MP的IEEE数据中心桥接将支持在节点间使用所有可用的连接,消除单路径限制,并支持数据中心运营商进行动态拓扑变更,而不必担心增减路径时产生的融合影响。


I/O整合


万兆以太网的不断扩展支持服务器与交换网络之间混合使用多种流量类型。IEEE数据中心桥接扩展(PFC、ETS、DCBX和拥塞通告)使万兆以太网连接能够同时支持多种流量类型,保持各自的流量处理方法。利用这些扩展,同一个万兆以太网链路还将能够支持光纤通道存储流量,为FCoE流量提供无丢包能力。在支持FCoE的服务器上整合I/O,可使所有主机通过通用统一阵列访问存储资源。


服务器架构的变更也同样影响着到统一阵列的迁移。采用Peripheral Component Interconnect Express (PCI-Express)替代PCI和PCI-X,使服务器能够克服PCI总线的瓶颈。这一根本性变更让服务器可以充分发挥万兆以太网接口的最大性能。同时,服务器正在使用更高密度的芯片、四核和多处理器平台,因而对服务器的入站和出站带宽提供了更高要求。随着单一服务器上开始出现多个处理器、内核和虚拟机,万兆以太网将会得到更广泛的采用,同时管理多种流量类型的方法对于在更大型整合I/O连接上进行流量共享将有着至关重要的作用。


整合的I/O链路能够在单一线缆上向统一阵列传输多协议流量。统一阵列是一种多用途以太网传输,能够通过同一接口和同一交换机阵列同时发送IP和光纤通道流量,并保持不同的服务类别。具体使用案例包括多协议传输、FCoE和基于低延迟以太网的RDMA等。


图6. 统一阵列



当一款产品实施了所需的基于IEEE数据中心桥接标准的规范后,它应能够兼容其它实施了相同规范集的产品。数据中心桥接端点(主机、目标、服务器等)的最低要求是PFC、ETS和DCBX。除了IEEE数据中心桥接外,具备思科数据中心桥接能力的交换机还支持无损交换机间阵列架构,能够提供无丢包服务和L2MP。


无损阵列


尽管IEEE数据中心桥接内没有明确规定,数据中心交换机也必须提供无损架构,以确保无损传输服务类别不会丢帧。要支持FCoE,无损阵列是必需条件,以确保存储流量不会丢包。要创建具备多协议支持的无损以太网阵列,需要两个要素:基于优先级的暂停机制(PFC)和智能交换机阵列仲裁机制,后者能够将入站端口流量与出站端口资源结合起来,支持任何暂停要求。


当今以太网中的标准暂停机制可停止链路上的所有流量类型。PFC是I/O整合的关键,它可在同一物理链路上创建多达8条独立的逻辑链路,支持单独暂停这8种流量类型中的任意一种,同时允许其它流量类型无中断通过。PFC使用基于优先级的暂停机制来选择一条物理链路上要暂停的IEEE 802.1p流量类型。针对差别流量类型调用暂停的能力,使流量能够通过单一接口进行整合。


PFC可在每条逻辑链路上提供一个无丢包选择,并能够停止单独的逻辑流量类型。PFC(以及标准暂停机制)可实现无损链路,但这不足以使网络实现无损阵列。除了链路上的无丢包服务外,需要一种办法来在整个使用PFC的交换机间阵列中关联入站端口暂停行为与出站端口资源。要使网络实现无损特性,每个交换机需要关联入站链路资源与出站链路资源。通过逻辑关联出站端口资源可用性与入站端口流量,可支持进行仲裁来帮助确保没有丢包,而这也是无损交换机阵列架构定义的主要目标。这种无损以太网交换机间阵列行为可提供所需的无丢包服务,模拟在当前光纤通道交换机中看到的缓冲区信用管理系统。


以太网光纤通道(FCoE)


要通过以太网传输光纤通道存储流量或者任何其它要求无损服务的应用,并实现统一阵列,需要无损服务类别。光纤通道存储流量要求无丢包能力。无丢包流量类别可使用IEEE数据中心桥接和无损以太网交换机阵列来创建。


FCoE协议可通过以太网映射本机光纤通道帧,而与本机以太网转发模式无关。它允许在进行I/O整合的同时,保存所有光纤通道设备。


INCITS T11 已经制定针对FCoE的标准。该小组强制要求采用无损以太网来支持FCoE。尽管标准暂停机制(以及PFC)实现了无损链路,但仅靠暂停或PFC还不足以实现网络无损特性。为了实现网络无损,每个交换机需要关联入站链路的缓冲区与出站链路的缓冲区,并且将它们与暂停实施相结合。这是一种平台架构能力,与采用的协议无关。Cisco® Nexus 5000系列交换机提供了这一能力,而且Cisco® Nexus 7000系列交换机也将提供这种无损网络能力。


统一阵列主要设计用于增强数据中心网络,大部分增强特性将在数据中心采用的思科产品中提供。由于统一阵列拥有大量组件,包括IEEE数据中心桥接和IETF TRILL等,部分增强特性很可能会增添到特定平台中。此外,并非所有IT部门都想通过融合的以太网运行无损服务或者部署统一阵列,在这些情况下,传统以太网将会像今天一样继续进行部署。


结论


统一阵列可提供能够满足当今Cisco Data Center 3.0愿景的架构。以太网是能够支持多种流量类型的单一融合阵列的不二选择。以太网凭借在全球数据中心的广泛部署,已建立了丰富的工程和运营专业知识。FCoE是针对统一阵列的第一个使用案例。IEEE数据中心桥接扩展可提供无损以太网能力,满足光纤通道的无丢包要求。


通过以太网阵列创建无损服务可使FCoE、RDMA、iSCSI和实时视频等应用受益,确保能够在混有其它竞争应用的无丢包虚拟链路上获得交付保证。L2MP创新可使任何数据中心以太网受益,而无论是否融合了SAN流量。采用L2MP带来的更高带宽和更低延迟将可为所有应用带来更高性能。思科提供的一系列下一代交换机具备IEEE数据中心桥接扩展、无损能力、以及L2MP,这些交换机包括Cisco Nexus 7000和Cisco Nexus 5000系列,它们是数据中心统一阵列架构中不可或缺的组成部分。


通过这些全新数据中心创新技术,IT部门可获得多种优势,包括:一种全新的部署方法,在同一网络阵列上通过以太网整合I/O,而不再是支持独立的网络;一种在以太网上提供无损流量类别的方法;以及使用等成本第2层多路径提供更高等分流量支持,更有效地利用节点间带宽。随着业务发展,IT部门可以很方便通过统一阵列技术实现在整合的端口、链路和交换机阵列上实现各种流量的传输和灵活部署。


了解更多信息


请访问
IEEE数据中心桥接: http://www.cisco.com/en/US/netsol/ns783/index.html
优先级流量控制IEEE 802.1Qbb: http://www.ieee802.org/1/pages/802.1bb.html
增强传输选择IEEE 802.1Qaz: http://www.ieee802.org/1/pages/802.1az.html
拥塞通告IEEE 802.1Qau: http://www.ieee802.org/1/pages/802.1au.html
DCBX说明: http://www.ieee802.org/1/files/public/docs2008/az-wadekar-dcbcxp-overview-rev0.2.pdf


相关标准 IETF大量链路的透明互联(TRILL):http://www.ietf.org/html.charters/trill-charter.html