Ejemplo de Configuración de FlexPod y FCoE con VPC y NetApp Storage
Contenido
Introducción
Este documento describe la configuración del switch Nexus 5000 en una configuración de Virtual Port Channel (VPC) en un almacenamiento NetApp para lograr Fibre Channel over Ethernet (FCoE).
Prerequisites
Requirements
Cisco recomienda que conozca Unified Computing System (UCS) y Nexus 5000.
Componentes Utilizados
La información que contiene este documento se basa en las siguientes versiones de software y hardware.
- 2 Nexus 5548: ejecuta NXOS 5.2. Llamados bdsol-n5548-05 y -06-.
- 2 Fabric Interconnects (FI) UCS 6248: ejecuta el software 2.2. Llamados bdsol-6248-03-, A y B.
- 2 x NetApp 3220 - ejecuta la versión 8.1. Llamados bdsol-3220-01-, A y B.
The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. If your network is live, make sure that you understand the potential impact of any command.
Configurar
Diagrama de la red
Todos los diagramas de este documento se crearon en la página https://www.draw.io/.
Red física
Esta configuración está pensada para ser una referencia simple. Utiliza links individuales aunque los canales de puerto mencionados pueden ampliarse fácilmente con más links para proporcionar más ancho de banda.
Entre las FI de UCS y el Nexus 5000 hay un único enlace en cada lado.
Entre cada Nexus 5000 y cada NetApp también hay un link enlazado a los VPC correspondientes.
Vista lógica de VSAN
En este caso, VSAN 70 se utiliza para el lado izquierdo del fabric y VSAN 80 para el lado derecho.
Respectivamente, las VLAN 970 y 980 son las VLAN FCoE.
Configuraciones
La mayor parte de la complejidad de esta configuración se concentra en la plataforma Nexus 5000. La configuración de UCS y NetApp es bastante sencilla.
Nexus 5000
Esta configuración tiene muchas similitudes con el ejemplo de configuración de UCS conectado a NPV FCoE NPIV de Nexus 5000.
Habilitar las funciones
En ambos Nexus 5000:
feature npiv
feature fcoe
feature lacp
Creación de la red de área de almacenamiento virtual (VSAN)
bdsol-n5548-05
vsan database
vsan 70
bdsol-n5548-06
vsan database
vsan 80
Agregar nuevas VLAN para transportar tráfico FCoE
bdsol-n5548-05
vlan 970
fcoe vsan 70
bdsol-n5548-06
vlan 980
fcoe vsan 80
Configuración de conectividad física
Este tipo de configuración permite que FCoE y otra VLAN se lleven en un único tronco.
En este caso, los VPC llevan VLAN 3380, configurada como VLAN de sistema de archivos de red (NFS) en el lado de NetApp como se ve más adelante.
La configuración se toma de bdsol-n5548-05.
Configuración de VPC a NetApp-B
interface Ethernet1/5
switchport mode trunk
switchport trunk allowed vlan 970,3380
spanning-tree port type edge trunk
channel-group 105 mode active
interface port-channel105
switchport mode trunk
switchport trunk allowed vlan 970,3380
vpc 105
Configuración de VPC a NetApp-A
interface Ethernet1/6
switchport mode trunk
switchport trunk allowed vlan 970,3380
spanning-tree port type edge trunk
channel-group 106 mode active
interface port-channel106
switchport mode trunk
switchport trunk allowed vlan 970,3380
vpc 106
Configuración del canal de puerto que lleva a UCS
interface Ethernet1/3
switchport mode trunk
switchport trunk allowed vlan 970
spanning-tree port type edge trunk
spanning-tree bpdufilter enable
channel-group 103 mode active
interface port-channel103
switchport mode trunk
switchport trunk allowed vlan 970
Esta configuración se refleja en el switch bdsol-n5548-06. La única diferencia es que la VLAN 980 se transporta en trunks y no en 970.
Creación y enlace de la configuración VSAN
Ahora que se ha configurado la conectividad física, las interfaces de canal de fibra virtual (VFC) recientemente configuradas deben enlazarse a los canales de puerto creados anteriormente.
configuración de bdsol-n5548-05 en NetApp
interface vfc105
bind interface port-channel105
switchport trunk allowed vsan 70
no shutdown
interface vfc106
bind interface port-channel106
switchport trunk allowed vsan 70
no shutdown
configuración FCoE de bdsol-n5548-05 para UCS
interface vfc103
bind interface port-channel103
switchport trunk allowed vsan 70
no shutdown
Como se mencionó en la introducción a este documento, esta configuración representa un único link en el canal de puerto entre los switches UCS y Nexus. Se utiliza sólo como referencia y se puede ampliar a enlaces adicionales.
La configuración anterior se refleja en bdsol-n5548-06. El único cambio es utilizar VSAN 80 en lugar de VSAN 70.
Canal de puerto de enlace de par
En esta configuración, cada lado del fabric tiene sólo una VLAN FCoE. Estas VLAN no se deben truncar entre los Nexus 5000.
En función de los estándares de configuración y las prácticas recomendadas, esto puede completarse mediante:
- No hay cambios adicionales; puesto que las VLAN no se crean en ambos Nexus 5000, no se pueden conectar en trunking. Esas VLAN se verán en "Vlans Err-disabled on Trunk".
- Quite las VLAN del tronco a través del comando switchport trunk allowed vlan excepto.
- Mencione explícitamente qué VLAN están permitidas -no mencione las VLAN FCoE.
Agregue los VFC a la base de datos VSAN
Los VFC recién configurados se agregan a la base de datos VSAN.
bdsol-n5548-05
vsan database
vsan 70 interface vfc103
vsan 70 interface vfc105
vsan 70 interface vfc106
bdsol-n5548-06
vsan database
vsan 80 interface vfc103
vsan 80 interface vfc105
vsan 80 interface vfc106
Configuración de QoS
Esta configuración mantiene un perfil de QoS muy simple, que se define como referencia.
Para habilitar el control de flujo de prioridad (PFC), que permite la transmisión sin pérdidas necesaria para FCoE, la configuración de QoS debe coincidir.
En este caso, sólo se utilizan dos clases. Uno para FC/FCoE y otro para tráfico NFS que permite tramas gigantes.
bdsol-n5548-05# show running-config ipqos
class-map type qos class-fcoe
class-map type queuing class-fcoe
match qos-group 1
class-map type network-qos class-fcoe
match qos-group 1
policy-map type network-qos jumbo
class type network-qos class-fcoe
pause no-drop
mtu 2158
class type network-qos class-default
mtu 9216
multicast-optimize
system qos
service-policy type network-qos jumbo
service-policy type queuing input fcoe-default-in-policy
service-policy type queuing output fcoe-default-out-policy
service-policy type qos input fcoe-default-in-policy
UCS Manager
Una guía paso a paso que muestra cómo configurar enlaces ascendentes FCoE se puede encontrar en el Ejemplo de Configuración de Uplink FCoE de UCS.
Como se mencionó anteriormente, en este ejemplo sólo se utilizará un link único, pero esta configuración se puede extender a varios links en un canal de puerto.
Configuración del canal de puerto
El ejemplo anterior muestra el punto de vista de UCS. Cada lado del fabric tiene un canal de puerto, el número 2, basado en el puerto ethernet1/21.
En este ejemplo, los únicos VSAN que existen son 70 y 80, por lo que es seguro asumir que son los que están troncales.
bdsol-6248-03-A(nxos)# show vlan fcoe
Original VLAN ID Translated VSAN ID Association State
---------------- ------------------ -----------------
970 70 Operational
4048 1 Operational
interface Ethernet1/21
description UF: UnifiedUplink
pinning border
switchport mode trunk
switchport trunk native vlan 4049
switchport trunk allowed vlan 1,970,4048-4049
udld disable
channel-group 2 mode active
no shutdown
interface port-channel2
description UF: UnifiedUplink
switchport mode trunk
switchport trunk native vlan 4049
switchport trunk allowed vlan 1,970,4048-4049
pinning border
speed 10000
La VLAN 970 se conecta a través del canal de puerto 2.
Configuración de QoS
Como se mencionó, en la configuración de QoS en el Nexus 5000, una configuración de QoS de extremo a extremo permite que funcione la PFC.
En este ejemplo de entorno de laboratorio, sólo se habilitan dos clases. La clase predeterminada que transporta tramas jumbo (MTU 9216) y la clase FC.
Esto coincide con lo que se configuró en el lado Nexus en los pasos anteriores. Hay otras clases presentes, pero no habilitadas.
NetApp
En este ejemplo, NetApp funciona en modo 7.
Se puede encontrar una guía paso a paso sobre cómo configurar el lado de NetApp en la Guía de Implementación de Almacenamiento de NetApp.
Licencia
Debe haber al menos la licencia FCP (FC/FCoE) para que FCoE funcione.
Configuración
No es necesario agregar las VLAN FCoE en ninguna parte de NetApp. Se detectarán en la etapa de detección de VLAN de la negociación FCoE.
Como se mencionó anteriormente, durante la configuración de Nexus 5000, el NFS también se maneja mediante los mismos enlaces ascendentes.
bdsol-3220-01-A> rdfile /etc/rc
ifgrp create lacp dvif -b ip e1a e1b
vlan create dvif 3380
ifconfig e0M `hostname`-e0M flowcontrol full netmask 255.255.255.128 partner
e0M mtusize 1500
ifconfig dvif-3380 `hostname`-dvif-3380 netmask 255.255.255.0 partner dvif-3380
mtusize 9000 trusted
route add default 10.48.43.100 1
routed on
La configuración muestra que el portchannel LACP (ifgroup) se crea desde la interfaz e1a y e1b y se agrega la interfaz virtual para la VLAN 3380 .
La misma configuración de la GUI muestra:
Configuración del grupo de interfaces
bdsol-3220-01-A> ifgrp status
default: transmit 'IP Load balancing', Ifgrp Type 'multi_mode', fail 'log'
dvif: 2 links, transmit 'IP Load balancing', Ifgrp Type 'lacp' fail 'default'
Ifgrp Status Up Addr_set
up:
e1a: state up, since 28Sep2014 00:48:23 (142+11:23:01)
mediatype: auto-10g_twinax-fd-up
flags: enabled
active aggr, aggr port: e1b
input packets 766192514, input bytes 2560966346135
input lacp packets 410301, output lacp packets 410438
output packets 615632, output bytes 81875375
up indications 9, broken indications 5
drops (if) 0, drops (link) 1
indication: up at 28Sep2014 00:48:23
consecutive 0, transitions 14
e1b: state up, since 28Sep2014 00:48:22 (142+11:23:02)
mediatype: auto-10g_twinax-fd-up
flags: enabled
active aggr, aggr port: e1b
input packets 246965410, input bytes 702882508932
input lacp packets 410301, output lacp packets 410442
output packets 615646, output bytes 81876343
up indications 9, broken indications 5
drops (if) 0, drops (link) 2
indication: up at 28Sep2014 00:48:22
consecutive 0, transitions 15
Verificación
Use esta sección para confirmar que su configuración funciona correctamente.
El Analizador de Cisco CLI (solo clientes registrados) admite determinados comandos show. Utilice el Analizador de Cisco CLI para ver un análisis de los resultados del comando show.
Las secciones Verificar y Resolver Problemas de este documento se centran en los switches Nexus 5000, ya que son fundamentales para esta configuración.
Verifique el estado de las interfaces VFC
bdsol-n5548-05# show int vfc 105
vfc105 is trunking
Bound interface is port-channel105
Hardware is Ethernet
Port WWN is 20:68:00:2a:6a:28:68:7f
Admin port mode is F, trunk mode is on
snmp link state traps are enabled
Port mode is TF
Port vsan is 70
Trunk vsans (admin allowed and active) (70)
Trunk vsans (up) (70)
Trunk vsans (isolated) ()
Trunk vsans (initializing) ()
1 minute input rate 0 bits/sec, 0 bytes/sec, 0 frames/sec
1 minute output rate 0 bits/sec, 0 bytes/sec, 0 frames/sec
65 frames input, 6904 bytes
0 discards, 0 errors
65 frames output, 9492 bytes
0 discards, 0 errors
La salida anterior muestra que VSAN 70 está activo y se conecta a la VFC y que efectivamente funciona en el modo esperado - TF.
Verifique que NetApp y UCS hayan iniciado sesión en el fabric
Verifique la base de datos flogi en los switches.
bdsol-n5548-05# show flogi database
--------------------------------------------------------------------------------
INTERFACE VSAN FCID PORT NAME NODE NAME
--------------------------------------------------------------------------------
vfc103 70 0xa00020 22:c8:54:7f:ee:f2:d6:bf 20:46:54:7f:ee:f2:d6:81
vfc105 70 0xa00000 50:0a:09:81:98:fd:66:a5 50:0a:09:80:88:fd:66:a5
[bdsol-3220-01-B-1a]
vfc106 70 0xa00001 50:0a:09:81:88:fd:66:a5 50:0a:09:80:88:fd:66:a5
[bdsol-3220-01-A-1a]
La salida anterior muestra que cada VFC tiene un dispositivo conectado. Esto se espera en una configuración muy básica.
En caso de duda, puede comprobar el estado en el lado de UCS. En el modo de host extremo se puede utilizar la función NPV.
bdsol-6248-03-A(nxos)# show npv status
npiv is enabled
disruptive load balancing is disabled
External Interfaces:
====================
Interface: vfc713, State: Trunking
VSAN: 1, State: Waiting For VSAN Up
VSAN: 70, State: Up, FCID: 0xa00020
Observe que el FCID (0xa00020) en el VPN coincide con el observado por el switch Nexus.
VSAN1 no está activo en el tronco ni configurado, por lo que se puede ignorar. A continuación se muestra la verificación del VFC 713 en UCS.
bdsol-6248-03-A(nxos)# show interface vfc 713
vfc713 is trunking (Not all VSANs UP on the trunk)
Bound interface is port-channel2
Hardware is Ethernet
Port WWN is 22:c8:54:7f:ee:f2:d6:bf
Admin port mode is NP, trunk mode is on
snmp link state traps are enabled
Port mode is TNP
Port vsan is 1
Trunk vsans (admin allowed and active) (1,70)
Trunk vsans (up) (70)
Trunk vsans (isolated) ()
Trunk vsans (initializing) (1)
1 minute input rate 2523680 bits/sec, 315460 bytes/sec, 163 frames/sec
1 minute output rate 1114056 bits/sec, 139257 bytes/sec, 69 frames/sec
134861480 frames input, 159675768364 bytes
0 discards, 0 errors
405404675 frames output, 792038498124 bytes
0 discards, 0 errors
Esta salida muestra que VSAN 70 está activo y que el puerto funciona en el puerto de nodo en modo NPV (NP). Esto se espera ya que UCS funciona en el modo host de host final.
NetApp
Como se mencionó anteriormente, esta configuración se ejecuta en modo 7. El comando cluster mode podría ser diferente.
El estado de FCP en las interfaces es:
bdsol-3220-01-A> fcp topology show
Switches connected on adapter 1a:
Switch Name: bdsol-n5548-05
Switch Vendor: Cisco Systems, Inc.
Switch Release: 5.2(1)N1(1b)
Switch Domain: 160
Switch WWN: 20:46:00:2a:6a:28:68:41
Port Count: 5
(...)
Switches connected on adapter 1b:
Switch Name: bdsol-n5548-06
Switch Vendor: Cisco Systems, Inc.
Switch Release: 5.2(1)N1(1b)
Switch Domain: 35
Switch WWN: 20:50:00:2a:6a:28:6e:41
Port Count: 5
Troubleshoot
En esta sección encontrará información que puede utilizar para solucionar problemas de configuración.
Analizador Cisco CLI (registrado solo clientes) admite ciertas show comandos. Use el comando Analizador Cisco CLI para ver un análisis de show resultado del comando.
Características configuradas
Asegúrese de que todas las funciones necesarias estén activadas.
bdsol-n5548-05# show feature | i npiv|fcoe|lacp
fcoe 1 enabled
fcoe-npv 1 disabled
lacp 1 enabled
npiv 1 enabled
Configuración de VLAN y VSAN
Verifique la existencia de la VLAN FCoE y dónde se envía.
show vlan fcoe
show vlan id X
Aquí se muestra un ejemplo para el lado izquierdo del fabric:
bdsol-n5548-05# show vlan fcoe
Original VLAN ID Translated VSAN ID Association State
---------------- ------------------ -----------------
970 70 Operational
bdsol-n5548-05# show vlan id 970
VLAN Name Status Ports
---- -------------------------------- --------- -------------------------------
970 VLAN0970 active Po1, Po103, Po105, Po106, Po107
Po202, Po203, Po204, Eth1/3
Eth1/5, Eth1/6, Eth1/7, Eth1/8
La VLAN 970 existe y se conecta a los puertos descritos en la configuración, así como la confirmación de que transporta la VSAN 70.
VLAN de árbol de extensión y FCoE
Las VLAN FCoE son un caso especial y no deben existir en el árbol de expansión.
bdsol-n5548-05# show spanning-tree vlan 970
Spanning tree instance(s) for vlan does not exist.
Existe un caso especial para VLAN de árbol de extensión múltiple (MST) y FCoE. Se debe crear una instancia de MST para transportar las VLAN de FCoE y no otras VLAN. Vea Instancias MST para implementaciones FCoE de doble fabric.
VLAN VPC y FCoE
En el ejemplo anterior, las VLAN FCoE se agregan a los VPC y los VPC están en dos dispositivos diferentes. La configuración para el trunking es ligeramente diferente para cada VPC.
Las VLAN FCoE no se mostrarán como VLAN permitidas en la verificación de consistencia de VPC.
bdsol-n5548-05# show vpc consistency-parameters vpc 105
Legend:
Type 1 : vPC will be suspended in case of mismatch
Name Type Local Value Peer Value
------------- ---- ---------------------- -----------------------
Shut Lan 1 No No
STP Port Type 1 Default Default
STP Port Guard 1 None None
STP MST Simulate PVST 1 Default Default
lag-id 1 [(1, 2-a0-98-40-ba-fa, [(1, 2-a0-98-40-ba-fa,
1, 0, 0), (7f9b, 1, 0, 0), (7f9b,
0-23-4-ee-be-35, 8069, 0-23-4-ee-be-35, 8069,
0, 0)] 0, 0)]
mode 1 active active
Speed 1 10 Gb/s 10 Gb/s
Duplex 1 full full
Port Mode 1 trunk trunk
Native Vlan 1 1 1
MTU 1 1500 1500
Admin port mode 1
Allowed VLANs - 3380 3380
Local suspended VLANs - - -
Esto se espera.
Para verificar que las VLAN de FCoE estén truncadas, verifique el trunking por interfaz.
bdsol-n5548-05# show interface port-channel 105 trunk
--------------------------------------------------------------------------------
Port Native Status Port
Vlan Channel
--------------------------------------------------------------------------------
Po105 1 trunking --
--------------------------------------------------------------------------------
Port Vlans Allowed on Trunk
--------------------------------------------------------------------------------
Po105 970,3380
--------------------------------------------------------------------------------
Port STP Forwarding
--------------------------------------------------------------------------------
Po105 3380
Como se mencionó, las VLAN FCoE no participan en el árbol de expansión y no son visibles como VLAN de reenvío STP. Sin embargo, aparecerán como enlaces troncales.
Estado de control de flujo de prioridad
El control de flujo de prioridad es crucial para el funcionamiento de FCoE. Para que la PFC esté operativa, la configuración de QoS debe coincidir de extremo a extremo.
Para verificar el estado por interfaz:.
bdsol-n5548-05# show interface ethernet 1/3 priority-flow-control
============================================================
Port Mode Oper(VL bmap) RxPPP TxPPP
============================================================
Ethernet1/3 Auto On (8) 2852 13240218
La salida anterior muestra que la PFC está operativa (On) y que las tramas por pausa prioritaria (PPP) se han recibido y transmitido.
Para una vista de todo el dispositivo, el administrador puede ingresar el comando show int priority-flow-control:
bdsol-n5548-05# show int priority-flow-control
============================================================
Port Mode Oper(VL bmap) RxPPP TxPPP
============================================================
Ethernet1/1 Auto Off 4 0
Ethernet1/2 Auto Off 4 0
Ethernet1/3 Auto On (8) 2852 13240218
Ethernet1/5 Auto On (8) 0 0
Ethernet1/6 Auto On (8) 0 0
(...)
Las interfaces descritas en este documento, Ethernet 1/3, 1/5 y 1/6, tienen PFC habilitado y operativo.
Pertenencia a VSAN
Los VFC configurados correspondientes deben formar parte de la VSAN adecuada. Este ejemplo muestra que las interfaces virtuales configuradas forman parte de la VSAN correcta.
bdsol-n5548-05# show vsan membership
vsan 1 interfaces:
fc2/15
vsan 70 interfaces:
fc2/16 vfc103 vfc105 vfc106
Inicio de FCoE
El protocolo de inicio de FCoE pasa por varios pasos para activar el link entre el host final y el switch.
El protocolo se describe en el Protocolo de Iniciación FCoE.
Lo que es importante recordar es que, para activar la interfaz correctamente, es necesario realizar un par de acciones diferentes, como se describe en este diagrama.
Enode es un nodo final, mientras que FCF es el switch.
Para verificar los pasos de uno de los dispositivos, se puede utilizar la función fcoe_mgr (FCoE manager). En este caso es vfc 105.
bdsol-n5548-05# show platform software fcoe_mgr info interface vfc 105
vfc105(0x841e4c4), if_index: 0x1e000068, VFC RID vfc105
FSM current state: FCOE_MGR_VFC_ST_PHY_UP
PSS Runtime Config:-
Type: 3
Bound IF: Po105
FCF Priority: 128 (Global)
Disable FKA: 0
PSS Runtime Data:-
IOD: 0x00000000, WWN: 20:68:00:2a:6a:28:68:7f
Created at: Sat Sep 27 22:45:05 2014
FC Admin State: up
Oper State: up, Reason: down
Eth IF Index: Po105
Port Vsan: 70
Port Mode: F port
Config Vsan: 70
Oper Vsan: 70
Solicits on vsan: 70
Isolated Vsan:
FIP Capable ? : TRUE
UP using DCBX ? : FALSE
Peer MAC : 00:c0:dd:22:79:39
PSS VN Port data:-
FC ID 0xA00000 -
vfc index 503316584 vfc name vfc105
vsan id 70
enode_mac 00:c0:dd:22:79:39
vfc wwn 50:0a:09:81:98:fd:66:a5
Antes de continuar con la salida...
El resultado contiene algunos datos útiles. Verifica el estado actual, muestra el enlace real entre VFC y portchannel y el estado real de VFC en el VSAN. Muestra las transiciones entre los diferentes estados descritos en el diagrama antes de que aparezca la interfaz. Se realiza la detección de VLAN y se recibe y contesta la solicitud de FIP, lo que permite que aparezca el VFC.
Continuación del resultado....
17) FSM:<vfc105> Transition at 554094 usecs after Sat Sep 27 22:48:06 2014
Previous state: [FCOE_MGR_VFC_ST_PHY_UP]
Triggered event: [FCOE_MGR_VFC_EV_BRING_UP]
Next state: [FSM_ST_NO_CHANGE]
18) FSM:<vfc105> Transition at 685820 usecs after Sat Sep 27 22:48:07 2014
Previous state: [FCOE_MGR_VFC_ST_PHY_UP]
Triggered event: [FCOE_MGR_VFC_EV_FIP_VLAN_DISCOVERY]
Next state: [FSM_ST_NO_CHANGE]
19) FSM:<vfc105> Transition at 686781 usecs after Sat Sep 27 22:48:07 2014
Previous state: [FCOE_MGR_VFC_ST_PHY_UP]
Triggered event: [FCOE_MGR_VFC_EV_FIP_SOLICITATION]
Next state: [FSM_ST_NO_CHANGE]
Curr state: [FCOE_MGR_VFC_ST_PHY_UP]
Problemas conocidos y comunes
El equipo del Data Center Networking Solutions Technical Assistance Center considera que se han producido de nuevo un par de problemas conocidos y comunes con la configuración de FCoE.
- Trunk Protocol - El protocolo trunk necesita estar activo.
bdsol-n5548-05# show trunk protocol
Trunk Protocol is enabled. - NetApp 8.2.2 y Nexus 5500/5600 que ejecutan el software NX-OS 7.x. En el momento en que se escribió el documento, existe un problema conocido entre estas dos versiones que está siendo investigado por Cisco y NetApp. Las versiones 6.x y 5.x de NX-OS funcionan bien con NetApp 8.2.2.
Información Relacionada
ComentariosContacte a Cisco
- Abrir un caso de soporte
- (Requiere un Cisco Service Contract)