思科数据中心产品

利用思科服务器矩阵交换机降低设备投入

思科系统®公司新推出的服务器阵列交换机(SFS)系列和VframeTM阵列管理软件能够帮助企业数据中心客户降低设备投入和运营成本。这份白皮书将重点介绍怎样利用SFS建立统一阵列,从而减少设备投入,因为通过外设适配器、电缆和交换机端口,统一阵列能够将每台服务器的成本降低2100~9500美元。对于怎样在SFS之上添加VFrame,以便创建高性能计算环境,从而降低运营支出的问题,思科将在其它文章中阐述。

思科SFS和VFrame产品适用于具有以下需求的客户:

  • 需要用最经济有效的方式建立可以扩展、基于标准的服务器集群
  • 在机架式或刀片服务器的I/O密度或性能方面遇到了问题
  • 需要建立灵活的企业计算环境或网格

如何通过服务器交换机节约成本

具体方法是,利用服务器交换机建立统一阵列,使每台服务器需要的所有IP、存储和集群通信都能通过一条或两条(用于提供冗余)InfiniBand连接执行(图1)。而传统架构是让每台服务器都使用专用的LAN以太网连接、SAN光纤通道连接和集群互联。

思科新型数据中心交换技术,构建出一个统一的阵列环境,包括Cisco SFS 3000系列多阵列服务器交换机、Cisco SFS 7000系列InfiniBand服务器交换机、以太网到InfiniBand和光纤通道到InfiniBand网关,以及主机通道适配器(HCA)。

图1 传统I/O与统一阵列I/O的比较

传统I/O与统一阵列I/O的比较

在服务器被视为同时需要IP(以太网)和块存储(光纤通道)连接的可重复配置的无状态计算资源的高性能计算环境中,统一阵列架构尤为实用。这样的连接根据系统上运行的应用而变化。在传统环境中,Web服务器可能只需要IP连接,中端的I/O密集型数据库环境则可能在每台服务器需要2~4条以太网连接和2~4条光纤通道连接。而在统一阵列环境中,这些要求都可以通过1~2条InfiniBand连接满足。

如果阵列中包含数百或数千台服务器,统一阵列的成本和简洁的优势将更加明显。事实上,如果不采用阵列结构,甚至根本不可能建立超大型企业计算环境或网格。下图显示的是采用了统一阵列架构的高性能计算数据中心。该中心采用了多个构建块,每块大约包含500台服务器。所有服务器都通过一条InfiniBand方式与SFS 7000交换机连接,通过它可访问所有客户端、应用集群和存储数据。客户采用这种可扩展架构的原因是这种架构成本低、性能好、结构简单。

图2 金融服务数据中心采用的统一阵列

金融服务数据中心采用的统一阵列

实现成本节约的因素

采用统一阵列之后,据估计,每台服务器大约能够节省2100~9500美元的联网成本。例如,在256节点组成的集群中,如果每台服务器能够从使用两条以太网连接和两条光纤通道连接改成使用两条InfiniBand连接,每台服务器就能够节省2100美元(图3),整个数据中心则能够节省530,000美元(图6)。统一阵列实现成本节约的因素如下。

不再需要为每台服务器配备单独的光纤通道和以太网适配器

2端口10Gbps Cisco InfiniBand HCA的价格远低于1000美元,但它可以取代服务器上的多个光纤通道(HBA)和以太网(NIC)适配器。截止到本文撰写之日,HBA的两端口(如Qlogic 2342)价格为1800美元;在零配件市场上,NIC的两端口(Intel pro 1000/MT)价格为180美元。前两个以太网端口一般是免费内置于主板上的。

统一阵列中的多台服务器共用光纤通道和以太网交换机端口

在统一阵列中,光纤通道和以太网I/O能够满足整个服务器集群的平均整体要求,而不是每台服务器的峰值要求。每台服务器都拥有一条InfiniBand HCA,通过Cisco SFS 3012多阵列服务器交换机上的中央InfiniBand到光纤通道和InfiniBand到以太网网关访问Cisco MDS系列和Cisco Catalyst®交换机端口共享池。由于通常只有一小部分主机服务器以最高速度使用IP或块存储连接,因此,总需求可以在多个网关之间实现平衡。

超额使用率将影响总成本,因为它是确定汇聚层需要多少交换机端口的依据。在传统架构中,无论是以太网交换机还是光纤通道交换机,服务器接入端口数与汇聚端口数之间的典型比率都为6: 1。在统一阵列结构中,服务器InfiniBand端口数和中央网关端口数之间采用可变的比率。对于一般的计算环境,客户可以选择6: 1;对于I/O密集度低的企业计算环境,则可以放松到16: 1(见图7中的实例)。比值越大,节约的资金就越多。

图4和图5所示是传统结构和统一阵列结构的拓扑实例。在统一阵列结构中,接入层利用Cisco SFS交换机创建,交换机通过Cisco SFS 3012机箱上的I/O网关上行连接到共享光纤通道和以太网。

使用更小尺寸的服务器机型或刀片服务器

在某些情况下,由于统一阵列能够减少每台服务器使用的I/O适配器和外设控制器接口(PCI)插槽数,因而能够转而使用更小、更便宜的服务器机型。在传统架构中需要使用很多独立PCI插槽的I/O密集型应用,就可以采取这种改进方法。例如,应用可以从每台服务器配备7个PCI插槽、价格为7000~13,000美元的4机架单元服务器,改为使用配有2~3个PCI插槽,价格为3000~5000美元的1、2机架单元服务器或刀片服务器。

如果转向多核心处理器、PCI-Express和高密度机箱和刀片机型,则只能增强高性能I/O的重要性,通过少量连接为服务器提供足够的I/O。

传统结构与统一阵列结构的单服务器成本比较如图3所示。比较的成本包括服务器适配器(网络接口卡[NIC]、HBA和HCA)、Cisco Catalyst®交换机、Cisco MDS系列交换机和Cisco SFS交换机。比较时,采用的是256节点的单服务器成本,其中每种情况的I/O水平各不相同。另外,我们还假定服务器主板中已经内置了两个以太网NIC。

图3 传统结构与统一阵列结构的单服务器成本比较

传统结构与统一阵列结构的单服务器成本比较

配置实例

下面的配置图显示了在数据中心内连接256台服务器的两种方式。图4显示的是提供以太网和光纤通道连接的传统两层拓扑,共包含256台服务器,每台服务器都与以太网和光纤通道端口相连,服务器连接总数为1024条。该配置假定接入层和汇聚层之间Cisco MDS和Cisco Catalyst交换机的超额使用率为6: 1。

图4 采用传统结构建立数据中心

采用传统结构建立数据中心

图5显示的是如何使用统一阵列架构连接上述256台服务器。每台服务器都与Cisco SFS 7000系列边缘交换机上的InfiniBand端口双连接,并通过SFS 3012网关实现对Cisco Catalyst和Cisco MDS网络的集中访问,服务器连接总数为512条。该配置假定在中央Cisco SFS 3012机箱内,上行连接到Cisco MDS和Cisco Catalyst网络的InfiniBand服务器端口与InfiniBand到光纤通道和InfiniBand到以太网网关端口之间的超额使用率为6: 1。

为最大程度地降低成本,这种配置使用了小型24端口Cisco SFS 7000系列边缘交换机。如果想减少交换机机箱的数量,也可以使用96端口Cisco SFS 7000系列交换机构建阵列。

图5 采用统一阵列架构建立数据中心

采用统一阵列架构建立数据中心

成本比较实例

下面的计算使用了思科开发的工具,这种工具可以比较传统架构与统一阵列架构的配置和成本(如果想使用该工具,可以向思科数据中心产品专家咨询)。利用这个工具,用户可以创建各种“类型”和数量的服务器,其中每种类型都可以使用不同等级的传统I/O。这个工具可以帮助用户计算每种方法中适配器、电缆和交换机端口的成本。注意,由于每位客户所处的环境和使用的成本基数不同,因此,计算结果只能起定性作用。

图6显示的是图4和图5配置的基线成本比较结果(单位:美元)。在传统架构中,只有一种服务器,每台服务器与两个千兆以太网端口和两个光纤通道端口相连,网络中的超额使用率为6: 1。在统一阵列架构中,每台服务器与两个InfiniBand端口相连,中央InfiniBand网关中的超额使用率为6: 1。

图6 基线成本比较

基线成本比较

图7所示是以太网和光纤通道网关超额使用率放松到16: 1的情况,总网络成本呈下降趋势。在这种配置中,十六台服务器共用千兆以太网和光纤通道网关端口。如果数据中心的每台服务器都需要IP和块存储,但I/O使用率不如图6中的配置那么高,就适合使用这种配置。

图7 SFS网关中较高级别的I/O共享的成本优势

SFS网关中较高级别的I/O共享的成本优势

图8显示的是每台服务器转而使用四条千兆以太网连接和四条光纤通道连接之后成本节约的增加情况。中端应用,例如对存储要求较高的数据库可能需要这种I/O的水平的提高。

图8 高I/O环境的成本优势

传统架构与统一阵列架构的比较

图9所示是具有两级传统服务器I/O的数据中心:32台高I/O连接服务器(每台四个千兆以太网端口和四个光纤通道端口)和128台低I/O连接服务器(每台两个以太网端口和两个光纤通道端口)。这种混合结构常见于I/O密集型服务器(数据库服务器除外)较少、非I/O密集型应用或Web服务器较多的多层应用环境中。在统一阵列架构中,每台服务器仍然使用两个10Gbps InfiniBand端口。

图9 混合服务器I/O环境中的成本优势

性能问题

InfiniBand性能是统一阵列架构的主要优势,它能够将多条独立的光纤通道和以太网服务器连接合并成一条或两条InfiniBand连接。这种性能来自于InfiniBand提供的原始吞吐率和延迟(低于5us)。思科InfiniBand产品系列包括10Gbps InfiniBand服务器适配器(HCA)和30Gbps交换机间链路,在2006年,这些产品的速度还将继续提高。目前,双端口PCI-Express HCA能够支持高达20Gbps的低端网络吞吐率。这些产品提供铜线连接和光纤连接,用户可以根据需要选购。

换言之,利用Cisco SFS InfiniBand连接能够大大提高光纤通道和以太网的性能。通过SFS阵列和I/O网关,在PCI-Express InfiniBand相连的服务器和光纤通道存储阵列之间运行的InfiniBand封装光纤通道(SRP)的通信方式,吞吐率已高达600~800Mbps(4.8~6.4Gbps)。在本案例中,服务器在存储阵列与本地磁盘之间使用的是Linux原始I/O设备。SFS配置包括两个2端口光纤通道到InfiniBand网关,以便将光纤通道流量桥接到InfiniBand阵列。提高吞吐率的瓶颈是阵列上的存储控制器,而不是InfiniBand链路或HCA服务器适配器。

在企业计算环境中,如果通过Cisco VFrame 服务器虚拟化软件管理的Cisco SFS交换机,能够通过InfiniBand阵列,通过网络启动的方式启动大量无状态的服务器。到本文发表时,利用这种方法已经能够在大约5分钟的时间内,从共享的SAN存储启动128台服务器。

对于IP连接,当NetPIPE和InfiniBand IP在通过PCI-Express InfiniBand服务器适配器连接的服务器上运行时,吞吐率可达400Mbps(3.2Gbps)。

了解更多信息

如需查看更多有关怎样利用Cisco SFS和VFrame建立统一阵列的文档和建议,请与思科SFS销售专家联系。

  • 统一阵列成本节约模型(Excel电子数据表)
  • VFrame成本节约模型(Excel电子数据表)
  • “VFrame通过数据中心虚拟化降低TCO”(书面)
  • “服务器交换机介绍:使企业计算成为现实”(书面)
  • “行业标准InfiniBand数据中心阵列应运而生”(书面)

联系我们