交换机 : Cisco Nexus 5000 系列交换机

FlexPod和FCoE与VPC和NetApp存储设备配置示例

2015 年 8 月 28 日 - 机器翻译
其他版本: PDFpdf | 英语 (2015 年 4 月 23 日) | 反馈

简介

本文在虚拟端口信道(VPC)配置里略述连结5000交换机的配置到NetApp存储设备为了达到在以太网(FCoE)的光纤信道。

贡献用Marcin Latosiewicz, Cisco TAC工程师。

先决条件

要求

思科建议您有知识统一计算系统(UCS)和连结5000。

使用的组件

本文档中的信息基于以下软件和硬件版本:

  • 2x连结5548 -运行NXOS 5.2。呼叫的bdsol-n5548-05和-06-。
  • 2x UCS 6248结构互联(FIs) -运行2.2软件。呼叫的bdsol-6248-03-、A和B。
  • 2x NetApp 3220 -运行版本8.1。呼叫的bdsol-3220-01-、A和B。

本文档中的信息都是基于特定实验室环境中的设备编写的。本文档中使用的所有设备最初均采用原始(默认)配置。如果您使用的是真实网络,请确保您已经了解所有命令的潜在影响。

配置

注意:使用命令查找工具仅限注册用户)可获取有关本部分所使用命令的详细信息。

网络图

所有在本文的图表在https://www.draw.io/的凹道io创建。

物理网络

此配置被认为是一简单参考。它使用单条链路,即使被提及的端口通道可以容易地扩展以更多链路提供更多带宽。

在UCS FIs和连结5000s之间有在每一侧的仅单条链路。

在每连结5000和每NetApp之间也有一条链路一定对对应的VPCs。

逻辑VSAN视图

在这种情况下, VSAN 70使用结构的右侧的左侧和VSAN 80。

VLAN 970和980分别为FCoE VLAN。

配置

此设置复杂性的多数集中连结5000平台。UCS和NetApp配置是相当直接的。

连结5000

此配置有很多相似性对与FCoE NPV附加的UCS配置示例的连结5000 NPIV FCoE

启用功能

在两连结5000s :

feature npiv
feature fcoe
feature lacp

创建虚拟存储区域网络(VSAN)

bdsol-n5548-05

vsan database
vsan 70

bdsol-n5548-06

vsan database
vsan 80

添加新的VLAN运载FCoE流量

bdsol-n5548-05

vlan 970
  fcoe vsan 70

bdsol-n5548-06

vlan 980
  fcoe vsan 80

物理连通性配置

这类配置允许您有FCoE,并且另一个VLAN输入了单个中继。

在这种情况下VPCs运载VLAN 3380,配置作为在NetApp侧的网络文件系统VLAN如被看到的以后。

配置从bdsol-n5548-05被采取。

配置VPC对NetAppB

interface Ethernet1/5
switchport mode trunk
switchport trunk allowed vlan 970,3380
spanning-tree port type edge trunk
channel-group 105 mode active

interface port-channel105
switchport mode trunk
switchport trunk allowed vlan 970,3380
vpc 105

配置VPC对NetApp

interface Ethernet1/6
switchport mode trunk
switchport trunk allowed vlan 970,3380
spanning-tree port type edge trunk
channel-group 106 mode active

interface port-channel106
switchport mode trunk
switchport trunk allowed vlan 970,3380
vpc 106

配置那导致UCS的端口通道

interface Ethernet1/3
switchport mode trunk
switchport trunk allowed vlan 970
spanning-tree port type edge trunk
spanning-tree bpdufilter enable
channel-group 103 mode active

interface port-channel103
switchport mode trunk
switchport trunk allowed vlan 970

此配置在bdsol-n5548-06交换机反射。唯一的差异是VLAN 980是输入的中继和没有970。

创建并且绑定VSAN配置

即然物理连通性配置,最近配置的虚拟光纤信道(VFC)接口应该一定到以前创建的端口通道。 

注意:此配置适合于对UCS,当在结构终端主机模式时运行,不是光纤信道(FC)交换。当您运行在您的UCS时的FC交换模式,请切记更改从默认中继结构(TF)的VFC模式到建立中继的E_port (TE)。

bdsol-n5548-05对NetApp的配置

interface vfc105
bind interface port-channel105
switchport trunk allowed vsan 70
no shutdown

interface vfc105
bind interface port-channel105
switchport trunk allowed vsan 70
no shutdown

bdsol-n5548-05对UCS的FCoE配置

interface vfc103
bind interface port-channel103
switchport trunk allowed vsan 70
no shutdown

按照本文简介所述,此配置表示在端口通道的单条链路在UCS和连结交换机之间。它使用供仅参考并且可以对另外的链路被延伸。

先前配置在bdsol-n5548-06反射。唯一的更改是使用VSAN 80而不是VSAN 70。

对等体林克端口通道

在此配置中结构的每侧只有一FCoE VLAN。那些VLAN不将建立中继在连结5000s之间。

从属在配置标准和最佳实践,这可以完成:

  • 其他不更改-,因为他们不可能建立中继的VLAN在两连结5000s没有创建。那些VLAN将被看到在“VLAN下错误-禁止在中继”。
  • 从中继删除VLAN通过except命令交换端口Trunk允许的VLAN
  • 请明确地提及哪些VLAN允许-不提及FCoE VLAN。

添加VFCs到VSAN数据库

最近配置的VFCs被添加到VSAN数据库。

bdsol-n5548-05

vsan database
vsan 70 interface vfc103
vsan 70 interface vfc105
vsan 70 interface vfc106

bdsol-n5548-06

vsan database
vsan 80 interface vfc103
vsan 80 interface vfc105
vsan 80 interface vfc106

QoS 配置

此配置保持一非常简单QoS配置文件,含义作为参考。

为了(PFC)将启用的优先级流量控制,允许损失更少的发射为FCoE是必要的, QoS配置需要配比。

在这种情况下仅使用两类。一FC/FCoE的和一个允许巨型帧的NFS流量的。

bdsol-n5548-05# show running-config ipqos

class-map type qos class-fcoe

class-map type queuing class-fcoe
match qos-group 1

class-map type network-qos class-fcoe
match qos-group 1

policy-map type network-qos jumbo
class type network-qos class-fcoe
pause no-drop
mtu 2158
class type network-qos class-default
mtu 9216
multicast-optimize
system qos
service-policy type network-qos jumbo
service-policy type queuing input fcoe-default-in-policy
service-policy type queuing output fcoe-default-out-policy
service-policy type qos input fcoe-default-in-policy

UCS管理器

分步指南显示的您如何设置FCoE uplink端口可以在UCS FCoE上行链路配置示例找到。

如上所述,在本例中只将使用单条链路,但是此配置可以对在端口信道的多条链路被扩展。

端口信道配置

前一个示例显示UCS的观点。结构的每侧有端口信道,第2,根据端口ethernet1/21。

在本例中唯一的VSAN存在是70和80的,因此它是安全假设他们是那个建立中继。

bdsol-6248-03-A(nxos)# show vlan fcoe 

Original VLAN ID        Translated VSAN ID      Association State
----------------        ------------------      -----------------

      970                       70               Operational
      4048                      1                Operational


interface Ethernet1/21
description UF: UnifiedUplink
pinning border
switchport mode trunk
switchport trunk native vlan 4049
switchport trunk allowed vlan 1,970,4048-4049
udld disable
channel-group 2 mode active
no shutdown


interface port-channel2
description UF: UnifiedUplink
switchport mode trunk
switchport trunk native vlan 4049
switchport trunk allowed vlan 1,970,4048-4049
pinning border
speed 10000

VLAN 970通过端口通道2.建立中继。

QoS 配置

如被提及,在连结5000的QoS配置里一端到端QoS配置允许PFC工作。

在此实验室环境示例中,仅两类启用。运载巨型帧的默认组(MTU 9216)和FC类。

这匹配什么在上一个步骤的连结侧配置。其他类存在,但是不已启用。

NetApp

在此示例NetApp在7模式操作。

关于怎样的一分步指南设置NetApp侧可以在NetApp存储设备部署指南找到。

许可证

至少FCP (FC/FCoE)许可证应该是存在为了使FCoE工作。

配置

FCoE VLAN任何地方在NetApp不需要被添加。他们在FCoE协商VLAN发现阶段将发现。

如被提及以前,在连结5000配置时NFS由同样uplink端口也处理。

bdsol-3220-01-A> rdfile /etc/rc
ifgrp create lacp dvif -b ip e1a e1b
vlan create dvif 3380
ifconfig e0M `hostname`-e0M flowcontrol full netmask 255.255.255.128 partner
e0M mtusize 1500
ifconfig dvif-3380 `hostname`-dvif-3380 netmask 255.255.255.0 partner dvif-3380
mtusize 9000 trusted
route add default 10.48.43.100 1
routed on

配置显示LACP portchannel (ifgroup)从接口e1a和e1b创建和VLAN的3380虚拟接口被添加。 

从GUI的相同的配置显示: 

接口组配置 

bdsol-3220-01-A> ifgrp status
default: transmit 'IP Load balancing', Ifgrp Type 'multi_mode', fail 'log'
dvif: 2 links, transmit 'IP Load balancing', Ifgrp Type 'lacp' fail 'default'
Ifgrp Status Up Addr_set
up:
e1a: state up, since 28Sep2014 00:48:23 (142+11:23:01)
mediatype: auto-10g_twinax-fd-up
flags: enabled
active aggr, aggr port: e1b
input packets 766192514, input bytes 2560966346135
input lacp packets 410301, output lacp packets 410438
output packets 615632, output bytes 81875375
up indications 9, broken indications 5
drops (if) 0, drops (link) 1
indication: up at 28Sep2014 00:48:23
consecutive 0, transitions 14
e1b: state up, since 28Sep2014 00:48:22 (142+11:23:02)
mediatype: auto-10g_twinax-fd-up
flags: enabled
active aggr, aggr port: e1b
input packets 246965410, input bytes 702882508932
input lacp packets 410301, output lacp packets 410442
output packets 615646, output bytes 81876343
up indications 9, broken indications 5
drops (if) 0, drops (link) 2
indication: up at 28Sep2014 00:48:22
consecutive 0, transitions 15

验证

使用本部分可确认配置能否正常运行。

命令输出解释程序工具仅限注册用户)支持某些 show 命令。请使用Output Interpreter Tool为了查看show命令输出分析。

因为他们对此配置,是中央的验证和在连结附近排除故障本文中心的部分5000交换机。 

检查VFC接口的状态

bdsol-n5548-05# show int vfc 105
vfc105 is trunking
Bound interface is port-channel105
Hardware is Ethernet
Port WWN is 20:68:00:2a:6a:28:68:7f
Admin port mode is F, trunk mode is on
snmp link state traps are enabled
Port mode is TF
Port vsan is 70
Trunk vsans (admin allowed and active) (70)
Trunk vsans (up) (70)
Trunk vsans (isolated) ()
Trunk vsans (initializing) ()
1 minute input rate 0 bits/sec, 0 bytes/sec, 0 frames/sec
1 minute output rate 0 bits/sec, 0 bytes/sec, 0 frames/sec
65 frames input, 6904 bytes
0 discards, 0 errors
65 frames output, 9492 bytes
0 discards, 0 errors

上一个输出在VFC显示VSAN 70上并且建立中继,并且在预计模式的确运行- TF。

验证NetApp,并且UCS登录结构 

检查在交换机的flogi数据库。

bdsol-n5548-05# show flogi database 
--------------------------------------------------------------------------------
INTERFACE        VSAN    FCID           PORT NAME               NODE NAME       
--------------------------------------------------------------------------------
vfc103           70    0xa00020  22:c8:54:7f:ee:f2:d6:bf 20:46:54:7f:ee:f2:d6:81
vfc105           70    0xa00000  50:0a:09:81:98:fd:66:a5 50:0a:09:80:88:fd:66:a5
                           [bdsol-3220-01-B-1a]
vfc106           70    0xa00001  50:0a:09:81:88:fd:66:a5 50:0a:09:80:88:fd:66:a5
                           [bdsol-3220-01-A-1a]

上一个输出显示每VFC有登陆的一个设备。这在一个非常基本设置预计。

万一有疑惑,您能检查在UCS侧的状态。在终端主机模式可以使用NPV设备。

bdsol-6248-03-A(nxos)# show npv status
npiv is enabled
disruptive load balancing is disabled
External Interfaces:
====================
Interface: vfc713, State: Trunking
VSAN: 1, State: Waiting For VSAN Up
VSAN: 70, State: Up, FCID: 0xa00020

注意FCID (0xa00020)在NPV匹配连结交换机看到的那个。

VSAN1不在中继亦不配置,因此可以忽略。这是VFC 713的验证在UCS的。

bdsol-6248-03-A(nxos)# show interface vfc 713
vfc713 is trunking (Not all VSANs UP on the trunk)
Bound interface is port-channel2
Hardware is Ethernet
Port WWN is 22:c8:54:7f:ee:f2:d6:bf
Admin port mode is NP, trunk mode is on
snmp link state traps are enabled
Port mode is TNP
Port vsan is 1
Trunk vsans (admin allowed and active) (1,70)
Trunk vsans (up) (70)
Trunk vsans (isolated) ()
Trunk vsans (initializing) (1)
1 minute input rate 2523680 bits/sec, 315460 bytes/sec, 163 frames/sec
1 minute output rate 1114056 bits/sec, 139257 bytes/sec, 69 frames/sec
134861480 frames input, 159675768364 bytes
0 discards, 0 errors
405404675 frames output, 792038498124 bytes
0 discards, 0 errors

此输出显示VSAN 70上,并且端口在NPV模式(NP)的Port节点运行。因为UCS在终端主机主机模式,运行这预计。

NetApp

如被提及以前,此设置在7模式运行。集群模式命令也许不同的。

在接口的FCP状态是:

bdsol-3220-01-A> fcp topology show
Switches connected on adapter 1a:

   Switch Name: bdsol-n5548-05
Switch Vendor: Cisco Systems, Inc.
Switch Release: 5.2(1)N1(1b)
Switch Domain: 160
    Switch WWN: 20:46:00:2a:6a:28:68:41
    Port Count: 5
(...)

Switches connected on adapter 1b:

   Switch Name: bdsol-n5548-06
Switch Vendor: Cisco Systems, Inc.
Switch Release: 5.2(1)N1(1b)
Switch Domain: 35
    Switch WWN: 20:50:00:2a:6a:28:6e:41
    Port Count: 5

故障排除

本部分提供的信息可用于对配置进行故障排除。

命令输出解释程序工具仅限注册用户)支持某些 show 命令。请使用Output Interpreter Tool为了查看show命令输出分析。

配置的功能

检查保证所有必需的功能启用。

bdsol-n5548-05# show feature | i npiv|fcoe|lacp
fcoe 1 enabled
fcoe-npv 1 disabled
lacp 1 enabled
npiv 1 enabled

VLAN和VSAN配置

检查FCoE VLAN的存在,并且发送的地方。

show vlan fcoe
show vlan id X

结构的左侧的一示例显示此处:

bdsol-n5548-05# show vlan fcoe 
Original VLAN ID        Translated VSAN ID      Association State
----------------        ------------------      -----------------
      970                       70               Operational

bdsol-n5548-05# show vlan id 970
VLAN Name                             Status    Ports
---- -------------------------------- --------- -------------------------------
970  VLAN0970                         active    Po1, Po103, Po105, Po106, Po107
                                                Po202, Po203, Po204, Eth1/3
                                                Eth1/5, Eth1/6, Eth1/7, Eth1/8

VLAN 970存在和建立中继对在配置里概述的端口,以及确认运载VSAN 70。

生成树和FCoE VLAN

FCoE VLAN是特殊情况,并且不应该存在生成树。

bdsol-n5548-05# show spanning-tree vlan 970
Spanning tree instance(s) for vlan does not exist.

特殊情况为多个生成树存在和FCoE VLAN。MST实例需要创建为了运载FCoE VLAN和没有其他VLAN。请参阅MST实例关于双重结构FCoE部署

VPC和FCoE VLAN

在前一个示例中, FCoE VLAN在VPCs被添加,并且VPCs在两个不同的设备。建立中继的配置为每VPC是有些不同的。

FCoE VLAN不会出现作为在VPC一致性检查的允许VLAN。 

bdsol-n5548-05# show vpc consistency-parameters vpc 105

    Legend:
        Type 1 : vPC will be suspended in case of mismatch

Name                        Type  Local Value            Peer Value             
-------------               ----  ---------------------- -----------------------
Shut Lan                    1     No                     No                    
STP Port Type               1     Default                Default               
STP Port Guard              1     None                   None                  
STP MST Simulate PVST       1     Default                Default               
lag-id                      1     [(1, 2-a0-98-40-ba-fa, [(1, 2-a0-98-40-ba-fa,
                                   1, 0, 0), (7f9b,       1, 0, 0), (7f9b,     
                                  0-23-4-ee-be-35, 8069, 0-23-4-ee-be-35, 8069,
                                   0, 0)]                 0, 0)]               
mode                        1     active                 active                
Speed                       1     10 Gb/s                10 Gb/s               
Duplex                      1     full                   full                  
Port Mode                   1     trunk                  trunk                 
Native Vlan                 1     1                      1                     
MTU                         1     1500                   1500                  
Admin port mode             1                                                  
Allowed VLANs               -     3380                   3380                  
Local suspended VLANs       -     -                      -                     

这预计。

为了验证FCoE VLAN建立中继,请验证单个接口的中继。 

bdsol-n5548-05# show interface port-channel 105 trunk 

--------------------------------------------------------------------------------
Port          Native  Status        Port
              Vlan                  Channel
--------------------------------------------------------------------------------
Po105         1       trunking      --

--------------------------------------------------------------------------------
Port          Vlans Allowed on Trunk
--------------------------------------------------------------------------------
Po105         970,3380

--------------------------------------------------------------------------------
Port          STP Forwarding
--------------------------------------------------------------------------------
Po105         3380

如被提及, FCoE VLAN不参加生成树并且不是可视作为STP转发VLAN。然而他们将出现作为中继。 

优先级流量控制状态

优先级流量控制为FCoE opertaion是关键的。为了有可操作的PFC, QoS配置应该匹配端对端。

为了验证a的状态每接口上:。 

bdsol-n5548-05# show interface ethernet 1/3 priority-flow-control 
============================================================
Port Mode Oper(VL bmap) RxPPP TxPPP
============================================================
Ethernet1/3 Auto On (8) 2852 13240218

上一个输出显示PFC是可操作的(),并且那每优先级暂停(PPP)帧接收并且传送。

对于一张设备视图管理员能输入show int优先级流控制命令:

bdsol-n5548-05# show int priority-flow-control 
============================================================
Port Mode Oper(VL bmap) RxPPP TxPPP
============================================================

Ethernet1/1 Auto Off 4 0
Ethernet1/2 Auto Off 4 0
Ethernet1/3 Auto On (8) 2852 13240218
Ethernet1/5 Auto On (8) 0 0
Ethernet1/6 Auto On (8) 0 0
(...)

在本文, Ethernet1/3, 1/5和1/6概述的接口,有可操作的PFC启用和。

VSAN成员关系

对应的配置的VFCs需要是正确VSAN的部分。此示例显示已配置的虚拟接口是正确VSAN的一部分。

bdsol-n5548-05# show vsan membership 
vsan 1 interfaces:
    fc2/15           

vsan 70 interfaces:
    fc2/16            vfc103            vfc105            vfc106           

FCoE开始 

FCoE发起协议通过几个步骤为了启动链路在终端主机和交换机之间。 

协议在FCoE发起协议描述。

什么是重要记住是适当地启动接口的那,两三另外操作需要如此图表所示发生。 

而FCF是交换机, Enode是端节点。 

为了验证从其中一个的步骤设备,可以使用fcoe_mgr (FCoE管理器)设备。 在这种情况下它是vfc 105。 

bdsol-n5548-05# show platform software fcoe_mgr info interface vfc 105

vfc105(0x841e4c4), if_index: 0x1e000068, VFC RID vfc105
FSM current state: FCOE_MGR_VFC_ST_PHY_UP
PSS Runtime Config:-
Type: 3
Bound IF: Po105
FCF Priority: 128 (Global)
Disable FKA: 0
PSS Runtime Data:-
IOD: 0x00000000, WWN: 20:68:00:2a:6a:28:68:7f
Created at: Sat Sep 27 22:45:05 2014

FC Admin State: up
Oper State: up, Reason: down
Eth IF Index: Po105
Port Vsan: 70
Port Mode: F port
Config Vsan: 70
Oper Vsan: 70
Solicits on vsan: 70
Isolated Vsan:
FIP Capable ? : TRUE
UP using DCBX ? : FALSE
Peer MAC : 00:c0:dd:22:79:39
PSS VN Port data:-
FC ID 0xA00000 -
vfc index 503316584 vfc name vfc105
vsan id 70
enode_mac 00:c0:dd:22:79:39
vfc wwn 50:0a:09:81:98:fd:66:a5

在输出前继续…

输出包含一些个有用的信息。它验证当前状态,显示实际约束在VFC和portchannel和VFC的实际状态之间在VSAN的。在接口出来前,它显示在图表中概述的区别状态之间的转变。VLAN发现进行,并且允许VFC出来的FIP垦请接收并且被回答。

输出的继续….

17) FSM:<vfc105> Transition at 554094 usecs after Sat Sep 27 22:48:06 2014
Previous state: [FCOE_MGR_VFC_ST_PHY_UP]
Triggered event: [FCOE_MGR_VFC_EV_BRING_UP]
Next state: [FSM_ST_NO_CHANGE]

18) FSM:<vfc105> Transition at 685820 usecs after Sat Sep 27 22:48:07 2014
Previous state: [FCOE_MGR_VFC_ST_PHY_UP]
Triggered event: [FCOE_MGR_VFC_EV_FIP_VLAN_DISCOVERY]
Next state: [FSM_ST_NO_CHANGE]

19) FSM:<vfc105> Transition at 686781 usecs after Sat Sep 27 22:48:07 2014
Previous state: [FCOE_MGR_VFC_ST_PHY_UP]
Triggered event: [FCOE_MGR_VFC_EV_FIP_SOLICITATION]
Next state: [FSM_ST_NO_CHANGE]

Curr state: [FCOE_MGR_VFC_ST_PHY_UP]

知道和常见问题

那里与数据中心网络解决方案技术支持中心团队看到再发生的FCoE配置的两三知道和常见问题。

  • 中继协议-中继协议需要是UP。
    bdsol-n5548-05# show trunk protocol 

    Trunk Protocol is enabled.
  • NetApp 8.2.2和连结5500/5600那运行NX-OS 7.x软件。在那本文写入时候,在这两个版本之间的已知的问题存在并且由思科和NetApp是在调查中。NX-OS版本6.x和5.x良好工作与NetApp 8.2.2。

相关信息


相关的思科支持社区讨论

思科支持社区是您提问、解答问题、分享建议以及与工作伙伴协作的论坛。


Document ID: 118811