使用VPC和NetApp存储配置FlexPod和FCoE

简介

本文档介绍Nexus 5000在虚拟端口通道(VPC)配置中连接到NetApp存储，以实现以太网光纤通道(FCoE)。

先决条件

要求

思科建议您了解统一计算系统(UCS)和Nexus 5000。

使用的组件

本文档中的信息基于以下软件和硬件版本：

• 2个Nexus 5548 — 运行NXOS 5.2。称为bdsol-n5548-05和–06-。
• 2个UCS 6248交换矩阵互联(FI) — 运行2.2软件。称为bdsol-6248-03-、A和B。
• 2x NetApp 3220 — 运行版本8.1。称为bdsol-3220-01-、A和B。

本文档中的信息都是基于特定实验室环境中的设备编写的。本文档中使用的所有设备最初均采用原始（默认）配置。如果您的网络处于活动状态，请确保您了解所有命令的潜在影响。

背景信息

本文档介绍如何在NetApp存储中配置Nexus 5000交换机的虚拟端口通道(VPC)配置，以实现以太网光纤通道(FCoE)。

配置

网络图

本文档中的所有图都是使用App Diagrams创建的。

物理网络

此配置旨在作为简单参考。它使用单条链路，即使提到的端口通道可以轻松地扩展为多条链路，从而提供更多带宽。 

在UCS FI和Nexus 5000之间，每端只有一条链路。 在每个Nexus 5000和每个NetApp之间还有一个链接绑定到关联的VPC。

逻辑VSAN视图

在这种情况下，VSAN 70用于交换矩阵的左侧，VSAN 80用于右侧。 VLAN 970和980分别是FCoE VLAN。

平台配置

这种设置的大部分复杂性集中在Nexus 5000平台上。UCS和NetApp的配置非常简单。

Nexus 5000

此配置与Nexus 5000 NPIV FCoE与FCoE NPV连接的UCS配置示例有许多相似之处。

启用功能

在两台Nexus 5000上：

feature npiv
feature fcoe
feature lacp

创建虚拟存储区域网络(VSAN)

bdsol-n5548-05

vsan database
 vsan 70

bdsol-n5548-06

vsan database
 vsan 80 

添加新的VLAN以传输FCoE流量

bdsol-n5548-05

vlan 970
  fcoe vsan 70

bdsol-n5548-06

vlan 980
  fcoe vsan 80

物理连接配置

此类型的配置允许将FCoE和另一个VLAN承载在单个TRUNK中。在本例中，VPC承载VLAN 3380，在NetApp端上配置为网络文件系统(NFS)VLAN，如后所述。

配置取自bdsol-n5548-05。

将VPC配置为NetApp-B:

interface Ethernet1/5
 switchport mode trunk
 switchport trunk allowed vlan 970,3380
 spanning-tree port type edge trunk
 channel-group 105 mode active

interface port-channel105
 switchport mode trunk
 switchport trunk allowed vlan 970,3380
 vpc 105

将VPC配置为NetApp-A:

interface Ethernet1/6
 switchport mode trunk
 switchport trunk allowed vlan 970,3380
 spanning-tree port type edge trunk
 channel-group 106 mode active

interface port-channel106
 switchport mode trunk
 switchport trunk allowed vlan 970,3380
 vpc 106

配置通向UCS的端口通道：

interface Ethernet1/3
 switchport mode trunk
 switchport trunk allowed vlan 970
 spanning-tree port type edge trunk
 spanning-tree bpdufilter enable
 channel-group 103 mode active

interface port-channel103
 switchport mode trunk
 switchport trunk allowed vlan 970

此配置反映在bdsol-n5548-06交换机上。唯一的区别是VLAN 980在TRUNK中传输，而不是970。

创建和绑定VSAN配置

现在配置了物理连接，新配置的虚拟光纤通道(VFC)接口必须绑定到以前创建的端口通道。 

注意：此配置适用于UCS在交换矩阵终端主机模式而非光纤通道(FC)交换模式下运行时。在UCS上运行FC交换模式时，请记住将VFC模式从默认中继交换矩阵(TF)更改为中继E_port(TE)。

NetApp的bdsol-n5548-05配置：

interface vfc105
 bind interface port-channel105
 switchport trunk allowed vsan 70
 no shutdown

interface vfc106
 bind interface port-channel106
 switchport trunk allowed vsan 70
 no shutdown

UCS的bdsol-n5548-05 FCoE配置：

interface vfc103
 bind interface port-channel103
 switchport trunk allowed vsan 70
 no shutdown

如本文档的简介所述，此配置描述了UCS和Nexus交换机之间的端口通道中的单个链路。它仅供参考，可以扩展到其他链路。

之前的配置反映在bdsol-n5548-06上。唯一的更改是使用VSAN 80而不是VSAN 70。

对等链路端口通道

在此配置中，交换矩阵的每一端只有一个FCoE VLAN。VLAN无法在Nexus 5000之间中继。

根据配置标准和最佳实践，可通过以下方式完成此操作：

• 无其他更改 — 由于两个Nexus 5000上未创建VLAN，因此不能中继它们。这些VLAN显示在“Vlan Err-disabled on Trunk”下。
• 通过switchport trunk allowed vlan except命令从中继删除VLAN。
• 明确提及允许哪些VLAN — 请勿提及FCoE VLAN。

将VFC添加到VSAN数据库

新配置的VFC将添加到VSAN数据库中。

bdsol-n5548-05:

vsan database
 vsan 70 interface vfc103
 vsan 70 interface vfc105
 vsan 70 interface vfc106

bdsol-n5548-06:

vsan database
 vsan 80 interface vfc103
 vsan 80 interface vfc105
 vsan 80 interface vfc106

服务质量(QoS)配置

此配置有一个简单的QoS配置文件，用作参考。

要启用优先级流量控制(PFC)，从而允许FCoE所需的无损失传输，QoS配置需要匹配。

在本例中，只使用两个类。一个用于FC/FCoE，一个用于NFS流量，允许超巨型帧。

bdsol-n5548-05# show running-config ipqos

class-map type qos class-fcoe

class-map type queuing class-fcoe
 match qos-group 1

class-map type network-qos class-fcoe
 match qos-group 1

policy-map type network-qos jumbo
 class type network-qos class-fcoe
  pause no-drop
  mtu 2158
 class type network-qos class-default
  mtu 9216
  multicast-optimize
system qos
 service-policy type network-qos jumbo
 service-policy type queuing input fcoe-default-in-policy
 service-policy type queuing output fcoe-default-out-policy
 service-policy type qos input fcoe-default-in-policy

UCS 管理器

有关说明如何设置FCoE上行链路的分步指南，请参阅UCS FCoE上行链路配置示例。

如前所述，在本示例中，只使用单个链路，但是此配置可以扩展到端口通道中的多个链路。

端口通道配置

上一个示例显示了UCS的视角。交换矩阵的每一端都有一个端口通道，2号基于端口ethernet1/21。

在本示例中，仅存在70和80个VSAN，因此可以安全地假设它们是中继的VSAN。

bdsol-6248-03-A(nxos)# show vlan fcoe 

Original VLAN ID        Translated VSAN ID      Association State
----------------        ------------------      -----------------

      970                       70               Operational
      4048                      1                Operational


interface Ethernet1/21
 description UF: UnifiedUplink
 pinning border
 switchport mode trunk
 switchport trunk native vlan 4049
 switchport trunk allowed vlan 1,970,4048-4049
 udld disable
 channel-group 2 mode active
 no shutdown


interface port-channel2
 description UF: UnifiedUplink
 switchport mode trunk
 switchport trunk native vlan 4049
 switchport trunk allowed vlan 1,970,4048-4049
 pinning border
 speed 10000

VLAN 970通过端口通道2中继。

QoS 配置

如前所述，在Nexus 5000上的QoS配置中，端到端QoS配置允许PFC工作。

在本示例中，仅启用两个类。传输巨型帧(MTU 9216)的默认类和FC类。

这与之前步骤中Nexus端上配置的配置相匹配。存在其他类，但未启用。

NetApp

在本示例中，NetApp在7模式下运行。 有关如何设置NetApp端的分步指南，请参阅NetApp存储部署指南。

许可证

必须至少存在FCP(FC/FCoE)许可证，才能使FCoE正常工作。

配置

FCoE VLAN不需要添加到NetApp上的任何位置。它们在FCoE协商的VLAN发现阶段被发现。

如前所述，在Nexus 5000配置期间，NFS也通过同一上行链路处理。

bdsol-3220-01-A> rdfile /etc/rc
ifgrp create lacp dvif -b ip e1a e1b
vlan create dvif 3380
ifconfig e0M `hostname`-e0M flowcontrol full netmask 255.255.255.128 partner
 e0M mtusize 1500
ifconfig dvif-3380 `hostname`-dvif-3380 netmask 255.255.255.0 partner dvif-3380
 mtusize 9000 trusted 
route add default 10.48.43.100 1
routed on

配置显示，LACP portchannel(ifgroup)从接口e1a和e1b创建，并且添加了VLAN 3380的虚拟接口。 

GUI中的相同配置显示： 

接口组配置 

bdsol-3220-01-A> ifgrp status
default: transmit 'IP Load balancing', Ifgrp Type 'multi_mode', fail 'log'
dvif: 2 links, transmit 'IP Load balancing', Ifgrp Type 'lacp' fail 'default'
  Ifgrp Status Up Addr_set 
 up:
 e1a: state up, since 28Sep2014 00:48:23 (142+11:23:01)
  mediatype: auto-10g_twinax-fd-up
  flags: enabled
  active aggr, aggr port: e1b
  input packets 766192514, input bytes 2560966346135
  input lacp packets 410301, output lacp packets 410438
  output packets 615632, output bytes 81875375
  up indications 9, broken indications 5
  drops (if) 0, drops (link) 1
  indication: up at 28Sep2014 00:48:23
  consecutive 0, transitions 14
 e1b: state up, since 28Sep2014 00:48:22 (142+11:23:02)
  mediatype: auto-10g_twinax-fd-up
  flags: enabled
  active aggr, aggr port: e1b
  input packets 246965410, input bytes 702882508932
  input lacp packets 410301, output lacp packets 410442
  output packets 615646, output bytes 81876343
  up indications 9, broken indications 5
  drops (if) 0, drops (link) 2
  indication: up at 28Sep2014 00:48:22
  consecutive 0, transitions 15

确认

注意：只有注册的思科用户才能访问内部思科工具和信息。

使用本部分可确认配置能否正常运行。 Cisco CLI分析器支持某些show命令。要查看对 show 命令输出的分析，请使用思科 CLI 分析器。

本文档的“验证和故障排除”部分围绕Nexus 5000交换机展开，因为它们是此配置的核心部分。 

检查VFC接口的状态

bdsol-n5548-05# show int vfc 105
vfc105 is trunking
 Bound interface is port-channel105
 Hardware is Ethernet 
 Port WWN is 20:68:00:2a:6a:28:68:7f
 Admin port mode is F, trunk mode is on
 snmp link state traps are enabled
 Port mode is TF
 Port vsan is 70
 Trunk vsans (admin allowed and active) (70)
 Trunk vsans (up) (70)
 Trunk vsans (isolated) ()
 Trunk vsans (initializing) ()
 1 minute input rate 0 bits/sec, 0 bytes/sec, 0 frames/sec
 1 minute output rate 0 bits/sec, 0 bytes/sec, 0 frames/sec
 65 frames input, 6904 bytes
 0 discards, 0 errors
 65 frames output, 9492 bytes
 0 discards, 0 errors

之前的输出显示VSAN 70已启动，并在VFC上建立中继，并且它确实在预期模式 — TF下运行。

验证NetApp和UCS已登录交换矩阵 

检查交换机上的浮点数据库。

bdsol-n5548-05# show flogi database 
--------------------------------------------------------------------------------
INTERFACE        VSAN    FCID           PORT NAME               NODE NAME       
--------------------------------------------------------------------------------
vfc103           70    0xa00020  22:c8:54:7f:ee:f2:d6:bf 20:46:54:7f:ee:f2:d6:81
vfc105           70    0xa00000  50:0a:09:81:98:fd:66:a5 50:0a:09:80:88:fd:66:a5
                           [bdsol-3220-01-B-1a]
vfc106           70    0xa00001  50:0a:09:81:88:fd:66:a5 50:0a:09:80:88:fd:66:a5
                           [bdsol-3220-01-A-1a]

上一个输出显示每个VFC都有一个设备登录。这在非常基本的设置中是预期的。

如有疑问，您可以在UCS端检查状态。在终端主机模式下，可以使用NPV设施。

bdsol-6248-03-A(nxos)# show npv status
npiv is enabled
disruptive load balancing is disabled
External Interfaces:
====================
Interface: vfc713, State: Trunking
 VSAN: 1, State: Waiting For VSAN Up
 VSAN: 70, State: Up, FCID: 0xa00020

注:NPV中的FCID(0xa00020)与Nexus交换机看到的值匹配。

VSAN1未在TRUNK上启动或未配置，因此可以忽略。以下是在UCS上验证VFC 713。

bdsol-6248-03-A(nxos)# show interface vfc 713
vfc713 is trunking (Not all VSANs UP on the trunk)
 Bound interface is port-channel2
 Hardware is Ethernet 
 Port WWN is 22:c8:54:7f:ee:f2:d6:bf
 Admin port mode is NP, trunk mode is on
 snmp link state traps are enabled
 Port mode is TNP
 Port vsan is 1
 Trunk vsans (admin allowed and active) (1,70)
 Trunk vsans (up) (70)
 Trunk vsans (isolated) ()
 Trunk vsans (initializing) (1)
 1 minute input rate 2523680 bits/sec, 315460 bytes/sec, 163 frames/sec
 1 minute output rate 1114056 bits/sec, 139257 bytes/sec, 69 frames/sec
 134861480 frames input, 159675768364 bytes
 0 discards, 0 errors
 405404675 frames output, 792038498124 bytes
 0 discards, 0 errors

此输出显示VSAN 70处于工作状态，该端口在NPV模式(NP)下的节点端口中运行。这是预期结果，因为UCS在终端主机模式下运行。

NetApp

如前所述，此设置以7模式运行。cluster mode命令可以不同。

接口上的FCP状态为：

bdsol-3220-01-A> fcp topology show
Switches connected on adapter 1a:

   Switch Name: bdsol-n5548-05
 Switch Vendor: Cisco Systems, Inc.
Switch Release: 5.2(1)N1(1b)
 Switch Domain: 160
    Switch WWN: 20:46:00:2a:6a:28:68:41
    Port Count: 5
(...)

Switches connected on adapter 1b:

   Switch Name: bdsol-n5548-06
 Switch Vendor: Cisco Systems, Inc.
Switch Release: 5.2(1)N1(1b)
 Switch Domain: 35
    Switch WWN: 20:50:00:2a:6a:28:6e:41
    Port Count: 5

故障排除

本部分提供的信息可用于对配置进行故障排除。 Cisco CLI分析器支持某些show命令。要查看对 show 命令输出的分析，请使用思科 CLI 分析器。

注意：只有思科注册用户才能访问内部工具和信息。

配置的功能

检查以确保所有必需功能都已启用。

bdsol-n5548-05# show feature | i npiv|fcoe|lacp
 fcoe 1 enabled 
 fcoe-npv 1 disabled
 lacp 1 enabled 
 npiv 1 enabled 

VLAN和VSAN配置

检查FCoE VLAN的存在及其发送位置。

show vlan fcoe
show vlan id X

交换矩阵左侧的示例如下所示：

bdsol-n5548-05# show vlan fcoe 
Original VLAN ID        Translated VSAN ID      Association State
----------------        ------------------      -----------------
      970                       70               Operational

bdsol-n5548-05# show vlan id 970
VLAN Name                             Status    Ports
---- -------------------------------- --------- -------------------------------
970  VLAN0970                         active    Po1, Po103, Po105, Po106, Po107
                                                Po202, Po203, Po204, Eth1/3
                                                Eth1/5, Eth1/6, Eth1/7, Eth1/8

VLAN 970存在并已中继到配置中列出的端口，并确认它承载VSAN 70。

生成树和FCoE VLAN

FCoE VLAN是特殊情况，不能在生成树中存在。

bdsol-n5548-05# show spanning-tree vlan 970
 Spanning tree instance(s) for vlan does not exist.

多生成树(MST)和FCoE VLAN存在特殊情况。需要创建MST实例以传输FCoE VLAN，而不是其他VLAN。请参阅双交换矩阵FCoE部署的MST实例。

VPC和FCoE VLAN

在前面的示例中，FCoE VLAN添加在VPC上，而VPC位于两个不同的设备上。每个VPC的中继配置略有不同。

FCoE VLAN无法在VPC一致性检查中显示为允许的VLAN。 

bdsol-n5548-05# show vpc consistency-parameters vpc 105

    Legend:
        Type 1 : vPC will be suspended in case of mismatch

Name                        Type  Local Value            Peer Value             
-------------               ----  ---------------------- -----------------------
Shut Lan                    1     No                     No                    
STP Port Type               1     Default                Default               
STP Port Guard              1     None                   None                  
STP MST Simulate PVST       1     Default                Default               
lag-id                      1     [(1, 2-a0-98-40-ba-fa, [(1, 2-a0-98-40-ba-fa,
                                   1, 0, 0), (7f9b,       1, 0, 0), (7f9b,     
                                  0-23-4-ee-be-35, 8069, 0-23-4-ee-be-35, 8069,
                                   0, 0)]                 0, 0)]               
mode                        1     active                 active                
Speed                       1     10 Gb/s                10 Gb/s               
Duplex                      1     full                   full                  
Port Mode                   1     trunk                  trunk                 
Native Vlan                 1     1                      1                     
MTU                         1     1500                   1500                  
Admin port mode             1                                                  
Allowed VLANs               -     3380                   3380                  
Local suspended VLANs       -     -                      -                     

这是预期结果。

为了检验FCoE VLAN是否已中继，请检验每个接口的中继。 

bdsol-n5548-05# show interface port-channel 105 trunk 

--------------------------------------------------------------------------------
Port          Native  Status        Port
              Vlan                  Channel
--------------------------------------------------------------------------------
Po105         1       trunking      --

--------------------------------------------------------------------------------
Port          Vlans Allowed on Trunk
--------------------------------------------------------------------------------
Po105         970,3380

--------------------------------------------------------------------------------
Port          STP Forwarding
--------------------------------------------------------------------------------
Po105         3380

如前所述，FCoE VLAN不参与生成树，并且不可作为STP转发VLAN查看。但是，它们可以显示为中继。 

优先级流量控制状态

优先级流量控制对于FCoE的运行至关重要。要使PFC正常运行，QoS配置必须端到端匹配。

要逐个接口检验状态，请执行以下操作：

bdsol-n5548-05# show interface ethernet 1/3 priority-flow-control 
============================================================
Port Mode Oper(VL bmap) RxPPP TxPPP 
============================================================
Ethernet1/3 Auto On (8) 2852 13240218

上一个输出显示PFC工作正常（开启），并且已接收和传输每优先级暂停(PPP)帧。

对于设备范围的视图，管理员可以输入show int priority-flow-control命令：

bdsol-n5548-05# show int priority-flow-control 
============================================================
Port Mode Oper(VL bmap) RxPPP TxPPP 
============================================================

Ethernet1/1 Auto Off 4 0 
Ethernet1/2 Auto Off 4 0 
Ethernet1/3 Auto On (8) 2852 13240218 
Ethernet1/5 Auto On (8) 0 0 
Ethernet1/6 Auto On (8) 0 0 
(...)

本文档中概述的接口（Ethernet 1/3、1/5和1/6）启用了PFC且运行正常。

VSAN成员

关联的已配置VFC必须是正确的VSAN的一部分。此示例显示已配置的虚拟接口是正确VSAN的一部分。

bdsol-n5548-05# show vsan membership 
vsan 1 interfaces:
    fc2/15           

vsan 70 interfaces:
    fc2/16            vfc103            vfc105            vfc106           

FCoE启动 

FCoE启动协议要启动终端主机和交换机之间的链路，需要经过几个步骤。 

请务必记住，要正确启用接口，需要执行如下图所示的几个不同操作。 

Enode是终端节点，而FCF是交换机。 

要验证其中一台设备的步骤，可以使用fcoe_mgr（FCoE管理器）工具。 在本例中为vfc 105。 

bdsol-n5548-05# show platform software fcoe_mgr info interface vfc 105

vfc105(0x841e4c4), if_index: 0x1e000068, VFC RID vfc105 
 FSM current state: FCOE_MGR_VFC_ST_PHY_UP
 PSS Runtime Config:-
 Type: 3
 Bound IF: Po105
 FCF Priority: 128 (Global)
 Disable FKA: 0
 PSS Runtime Data:-
 IOD: 0x00000000, WWN: 20:68:00:2a:6a:28:68:7f
 Created at: Sat Sep 27 22:45:05 2014

FC Admin State: up
 Oper State: up, Reason: down
 Eth IF Index: Po105
 Port Vsan: 70
 Port Mode: F port
 Config Vsan: 70
 Oper Vsan: 70
 Solicits on vsan: 70
 Isolated Vsan: 
 FIP Capable ? : TRUE
 UP using DCBX ? : FALSE
 Peer MAC : 00:c0:dd:22:79:39
 PSS VN Port data:-
 FC ID 0xA00000 -
 vfc index 503316584 vfc name vfc105 
 vsan id 70 
 enode_mac 00:c0:dd:22:79:39
 vfc wwn 50:0a:09:81:98:fd:66:a5

输出将继续。

输出包含一些有用的信息。它验证当前状态，显示VFC和portchannel之间的实际绑定以及VSAN上VFC的实际状态。它显示接口启动前图中所示的不同状态之间的转换。执行VLAN发现并接收和应答FIP请求，从而允许VFC启动。

继续前一项产出：

17) FSM:<vfc105> Transition at 554094 usecs after Sat Sep 27 22:48:06 2014
 Previous state: [FCOE_MGR_VFC_ST_PHY_UP]
 Triggered event: [FCOE_MGR_VFC_EV_BRING_UP]
 Next state: [FSM_ST_NO_CHANGE]

18) FSM:<vfc105> Transition at 685820 usecs after Sat Sep 27 22:48:07 2014
 Previous state: [FCOE_MGR_VFC_ST_PHY_UP]
 Triggered event: [FCOE_MGR_VFC_EV_FIP_VLAN_DISCOVERY]
 Next state: [FSM_ST_NO_CHANGE]

19) FSM:<vfc105> Transition at 686781 usecs after Sat Sep 27 22:48:07 2014
 Previous state: [FCOE_MGR_VFC_ST_PHY_UP]
 Triggered event: [FCOE_MGR_VFC_EV_FIP_SOLICITATION]
 Next state: [FSM_ST_NO_CHANGE]

 Curr state: [FCOE_MGR_VFC_ST_PHY_UP]

已知和常见问题

数据中心网络解决方案技术支持中心团队认为的FCoE配置存在一些已知和常见的问题。

• 中继协议 — 中继协议需要启用。

bdsol-n5548-05# show trunk protocol 

Trunk Protocol is enabled.

• 运行NX-OS 7.x软件的NetApp 8.2.2和Nexus 5500/5600。在撰写文档时，这两个版本之间存在一个已知问题，思科和NetApp正在对此进行调查。NX-OS版本6.x和5.x与NetApp 8.2.2配合使用时运行良好。

相关信息

• 接口模式（端口说明）
• 思科技术支持和下载