Configuración de FCoE entre el adaptador VIC en el servidor en rack UCS y el switch Nexus 5500

Introducción

Este documento describe cómo configurar la conectividad de Fibre Channel over Ethernet (FCoE) entre los adaptadores de tarjeta de interfaz virtual (VIC) instalados en los servidores en rack Cisco Unified Computing System (UCS) y los switches Nexus de Cisco serie 5500 (Nexus 5K). Dos topologías de ejemplo incluyen dispositivos Cisco Fabric Extender (FEX) y una topología de muestra no.

Prerequisites

Requirements

Cisco recomienda que tenga conocimiento sobre estos temas:

• Switches de la serie Cisco Nexus 5500
• Servidor en rack Cisco UCS: configuración de Cisco Integrated Management Controller (CIMC)
• Comprensión básica de FCoE

Esta configuración existe en el entorno:

• La matriz de red de área de almacenamiento (SAN) se configura para proporcionar acceso a números de unidad lógica (LUN) para adaptadores de bus de host virtuales (vHBA) en la tarjeta VIC de Cisco.
• Cisco Nexus versión 5.1(3)N1(1a) o posterior se instala en los switches Cisco Nexus 5K.
• Las licencias necesarias se instalan en los switches Nexus 5K.

Consulte la guía de configuración de cada dispositivo de hardware específico para obtener información sobre limitaciones y compatibilidad.

Componentes Utilizados

La información que contiene este documento se basa en las siguientes versiones de software y hardware.

• Servidor Cisco UCS C220 M3 con VIC 1225
• Paquete de firmware CIMC 1.5.4
• Nexus 5548UP con versión 6.0(2)N2(1)
• Modelo FEX: Nexus 2232PP

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. If your network is live, make sure that you understand the potential impact of any command.

Overview

Esta es una descripción general del proceso de configuración:

1. Para una nueva configuración, realice la configuración básica en los switches Nexus 5K. Puede omitir este paso si agrega un servidor a una red existente.
2. Configure el adaptador VIC en el servidor UCS.
3. Configure los switches Nexus 5K en función de su topología.

El servidor se puede implementar en una de estas tres topologías:

• Topología 1: canal de puerto virtual (vPC) configurado en los switches Nexus 5K y puertos de adaptador de red convergente (CNA) conectados directamente a un switch Nexus 5K
• Topología 2: FEX conectado a un switch Nexus 5K en modo directo y CNA conectado a puertos FEX
• Topología 3 - FEX conectado a un switch Nexus 5K en modo vPC mejorado y CNA conectado a puertos FEX

El documento proporciona configuraciones de ejemplo para la conectividad FCoE para cada topología.

Notas:

Use la Command Lookup Tool (clientes registrados solamente) para obtener más información sobre los comandos usados en esta sección.

La herramienta de interpretación de información de salida (disponible para clientes registrados únicamente) admite ciertos comandos show. Utilice la herramienta para ver una análisis de información de salida del comando show.

Paso 1: Configurar nueva configuración

Aunque este documento se centra en la configuración de FCoE en los adaptadores VIC y los switches Nexus 5K, también incluye la configuración básica necesaria en el vPC y de las funciones de FCoE para garantizar su integridad.

La topología de este ejemplo utiliza Virtual Storage Area Network (VSAN) 100 y VSAN 200 como dos fabrics SAN. Estos VSAN se crean en el lado A y el lado B del switch Nexus 5K y se asignan a las VLAN 100 y 200 de FCoE, respectivamente.

Para una nueva configuración, este procedimiento describe cómo realizar la configuración básica en los switches Nexus 5K:

1. Habilite las funciones necesarias (protocolo de detección de capa de enlace [LLDP], protocolo de control de agregación de enlaces [LACP], FCoE, FEX, vPC) en los switches Nexus 5K. Vea Configuración de Funciones Requeridas para ver un ejemplo de este paso.
2. Complete la configuración básica de vPC:
   
   1. Cree el dominio vPC.
   2. Cree los enlaces keepalive del par vPC.
   3. Configure los links de par vPC. Consulte Configuración básica de vPC para ver un ejemplo de cómo realizar los pasos 1-3 y cómo habilitar el vPC en ambos switches Nexus 5K.
   4. Cree el vPC o reutilice los canales de puerto.
   5. Verifique el vPC.
3. Configure los VSAN. Vea Configuración de VSAN para ver un ejemplo de este paso.

Nota: Puede omitir estos pasos si agrega un servidor a una red existente; Proceda al Paso 2: Configure el servidor UCS y el adaptador VIC.

Configuración de las funciones necesarias

5548-switch# configure terminal
5548-switch(config)# feature lldp
5548-switch(config)# feature lacp 
5548-switch(config)# feature fcoe
5548-switch(config)# feature fex
5548-switch(config)# feature vpc
5548-switch(config)# end

Configuración básica de vPC

5548-switch# configure terminal
5548-switch(config)# vpc domain 150
5548-switch (config-vpc-domain)# peer-keepalive destination <peer-switch-ip> 
   source <source-ip> vrf management
5548-switch(config-vpc-domain)# interface port-channel 150
5548-switch(config-if)# switchport mode trunk
5548-switch(config-if)# vpc peer-link
5548-switch(config-if)# no shut

Configuración de VSAN

5548-switch-A # configure terminal
5548-switch-A(config)# vsan database
5548-switch-A(config-vsan-db)#vsan 100
5548-switch-A(config)#exit

5548-switch-A(config)#vlan 100
5548-switch-A(config-vlan)#fcoe vsan 100

5548-switch-B # configure terminal
5548-switch-B(config)#vsan database
5548-switch-B(config-vsan-db)#vsan 200
5548-switch-B(config)#exit

5548-switch-B(config)#vlan 200
5548-switch-B(config-vlan)#fcoe vsan 200

Paso 2: Configuración del servidor UCS y del adaptador VIC

Configure el adaptador VIC en el servidor UCS. Este procedimiento describe cómo aplicar esta configuración a todos los adaptadores VIC de Cisco (P81E o VIC 1225 o VIC 1225T):

1. Utilice la utilidad de actualización de host para actualizar el firmware de los componentes de hardware del servidor a la última versión. Asegúrese de actualizar el firmware VIC.
2. De forma predeterminada, el adaptador VIC funciona en modo Ethernet clásica (CE) y se configura con dos controladores de interfaz de red virtual (vNIC) y dos vHBA. Cada uno de estos vNIC y vHBA está vinculado a una interfaz física DCE de enlace ascendente; es decir, fc0 está conectado al puerto DCE 0 de enlace ascendente y fc1 está conectado al puerto DCE 1 de enlace ascendente del adaptador:
   
   
3. Encienda el servidor y observe que los detalles del adaptador VIC se rellenan en la sección de inventario.
4. Haga clic en la pestaña vHBAs y seleccione una interfaz vHBA (fc0 o fc1).
5. Haga clic en Properties (Propiedades) y, a continuación, configure las propiedades de FCoE en el adaptador VIC. Asegúrese de definir el ID de VLAN FCoE en el campo de texto VLAN predeterminada:
   
   
   
   Si planea arrancar desde la SAN, marque la casilla FC SAN Boot y agregue el WWPN de destino a la tabla de inicio:
   
   
6. Reinicie el servidor para que los cambios de configuración surtan efecto.

Paso 3: Configuración de switches Nexus 5K para diferentes topologías

El servidor se puede implementar en una de las tres topologías. Esta sección describe cómo configurar los switches Nexus 5K en función de su topología.

Las pautas de configuración comunes para las tres topologías son:

1. La interfaz de canal de fibra virtual (VFC) se enlaza a un puerto miembro (interfaz Ethernet física) del canal de puerto.
2. Los puertos de switch están en modo troncal y la VLAN FCoE se configura como una VLAN no nativa.
3. El tipo de árbol de expansión de los puertos de switch se configura para que se conecten al servidor como tronco de borde.

Este documento proporciona configuraciones de ejemplo para el Fabric A; debe realizar una configuración similar en el otro switch para el Fabric B.

Topología 1: Puertos CNA directamente conectados al switch Nexus 5K

Overview

En esta situación, los switches Nexus 5K se encuentran en el vPC y los puertos CNA del servidor están conectados directamente a ambos switches Nexus 5K. Este procedimiento describe la configuración para esta topología:

1. Asocie la interfaz Ethernet a la nueva interfaz de canal de puerto.
2. Configure el canal de puerto como troncal con la VLAN FCoE etiquetada y asocie el canal de puerto con la ID de vPC.
3. Cree la interfaz VFC y conéctela al miembro del canal de puerto (interfaz Ethernet).
4. Asocie la interfaz VFC a la ID de VSAN correspondiente. Vea Ejemplo de configuración en un lado del switch Nexus 5K para ver un ejemplo de los pasos 1-4.
5. Repita los pasos 1-4 para configurar el lado B del switch Nexus 5K.
6. Verifique la Configuración.

Ejemplo de configuración en un lado del switch Nexus 5K

N5548UP-A(config)# int eth 1/1
N5548UP-A(config-if)# channel-group 1
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit
N5548UP-A# configure terminal 
N5548UP-A(config)# interface port-channel 1
N5548UP-A(config-if)# switchport mode trunk
N5548UP-A(config-if)# switchport trunk native vlan 10
N5548UP-A(config-if)# switchport trunk allowed vlan 10,100
N5548UP-A(config-if)# spanning-tree port type edge trunk
N5548UP-A(config-if)# vpc 1
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit
N5548UP-A(config)# int vfc 1
N5548UP-A(config-if)# bind interface ethernet 1/1
N5548UP-A(config-if)# switchport trunk allowed vsan 100
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exitN5548UP-A(config)# vsan database
N5548UP-A(config-vsan-db)# vsan 100 interface vfc 1
N5548UP-A(config-vsan-db)# end 

Verificación

N5548UP-A# show run int port-channel 1 membership

interface port-channel 1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 spanning-tree port type edge trunk
 speed 10000
 vpc 1
 interface Ethernet1/1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 channel-group 1
 
N5548UP-A# show run int vfc 1
interface vfc1
 bind interface Ethernet1/1
 switchport trunk allowed vsan 100
 no shutdown

Topología 2: FEX conectado al switch Nexus 5K en modo directo y CNA conectado a puertos FEX

Overview

En esta situación, el FEX se conecta al switch Nexus 5K en modo directo y el CNA se conecta a los puertos FEX. Este procedimiento describe la configuración para esta topología:

Configuración de FEX directa:

1. Asigne una ID de FEX.
2. Asocie la interfaz Ethernet con el nuevo ID de interfaz de canal de puerto y configure el nuevo canal de puerto con los parámetros de fabric FEX. Vea Ejemplo de Configuración para ver un ejemplo de los Pasos 1-2.
   
   Configuración de vPC host:
   
   
3. Asocie las interfaces de host FEX (HIF) con el nuevo ID de interfaz de canal de puerto y configure los parámetros de canal de puerto.
4. Asocie el canal de puerto HIF a la interfaz vPC.
5. Cree la interfaz VFC y conéctela al puerto miembro (Ethernet) del canal de puerto host. Consulte Configuración de vPC de host para ver un ejemplo de los pasos 3-5.
6. Verifique la Configuración.

Repita los pasos 1-4 en el lado B del switch Nexus 5K y utilice el mismo número de interfaz vPC en el canal de puerto HIF.

Configuración de muestra:

N5548UP-A# configure terminal 
N5548UP-A(config)# fex 101
N5548UP-A(config-fex)# exit

N5548UP-A(config)# interface ethernet 1/5 - 6
N5548UP-A(config-if-range)# channel-group 210
N5548UP-A(config-if-range)#no shut
N5548UP-A(config-if-range)# exit

N5548UP-A(config)# interface port-channel 210
N5548UP-A(config-if)# switchport mode fex-fabric
N5548UP-A(config-if)# fex associate 101 
N5548UP-A(config-if)#no shut
N5548UP-A(config-if)# exit

Configuración de vPC de host

<---Create HIF port-channel-->

N5548UP-A(config-if)# interface ethernet 101/1/1
N5548UP-A(config-if)# channel-group 1
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

<---Configure port-channel parameters-->

N5548UP-A(config)# interface port-channel 1
N5548UP-A(config-if)#switchport mode trunk
N5548UP-A(config-if)# switchport trunk native vlan 10
N5548UP-A(config-if)# switchport trunk allowed vlan 10,100
N5548UP-A(config-if)# spanning-tree port type edge trunk 
N5548UP-A(config-if)# vpc 10
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

<---Create vfc interfvace and bind to port-channel (Ethernet interface)-->

N5548UP-A(config)# int vfc 1
N5548UP-A(config-if)# bind interface ethernet 101/1/1
N5548UP-A(config-if)# switchport trunk allowed vsan 100
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

<---Associate vfc interface to corresponding VSAN ID-->

N5548UP-A(config)# vsan database
N5548UP-A(config-vsan-db)# vsan 100 interface vfc 1
N5548UP-A(config-vsan-db)# end

Verificación

N5548UP-A# show run int port-channel 210 membership

interface port-channel210
 switchport mode fex-fabric
 fex associate 101

interface Ethernet1/5
 switchport mode fex-fabric
 fex associate 101
 channel-group 210

interface Ethernet1/6
 switchport mode fex-fabric
 fex associate 101
 channel-group 210

N5548UP-A# show int fex
 Fabric Fabric Fex FEX 
Fex Port Port State Uplink Model Serial 
---------------------------------------------------------------
101 Eth1/5 Active 1 N2K-C2232PP-10GE SSI142602QN
101 Eth1/6 Active 2 N2K-C2232PP-10GE SSI142602QN

N5548UP-A# show run int port-channel 1 membership

interface port-channel 1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 spanning-tree port type edge trunk
 speed 10000
 vpc 10

interface Ethernet101/1/1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 channel-group 1

N5548UP-A# show run int vfc 1
interface vfc1
 bind interface Ethernet101/1/1
 switchport trunk allowed vsan 100
 no shutdown

Topología 3: FEX conectado al switch Nexus 5K en modo vPC mejorado y CNA conectado a puertos FEX

Overview

En esta situación, el FEX se conecta al switch Nexus 5K en el modo vPC mejorado y el CNA se conecta a los puertos FEX.

El tráfico SAN Fabric A (FCoE VLAN 100) se asocia con FEX 101/un lado del switch Nexus 5000. El tráfico SAN Fabric B (FCoE VLAN 200) se asocia al lado FEX 102/B del switch Nexus 5K.

Para un canal de puerto host de dos miembros, debe configurar los puertos HIF en ambos dispositivos FEX en ambos switches Nexus 5K; es decir, se requieren un total de cuatro configuraciones de puerto HIF.

Este procedimiento describe la configuración para esta topología:

Activo - Configuración de FEX Activo:

1. Asigne la ID de FEX.
2. Agregue la palabra clave 'fcoe' bajo un solo FEX en cada switch Nexus 5K para habilitar el aislamiento de fabric SAN.
3. Cree el canal de puerto de fabric de FEX.
4. Repita los pasos 1 y 3 para el otro FEX en el mismo switch Nexus 5K.
5. Repita los pasos 1-4 en el lado B del switch Nexus 5K. Vea Active - Active FEX Configuration y FCoE Keyword en FEX 102 en el lado B del switch Nexus 5K para ver un ejemplo.
   
   Configuración de vPC host:
   
   
6. Cree la interfaz de canal de puerto y configure las VLAN necesarias.
7. Configure el puerto HIF (la interfaz FEX conectada a CNA) en ambos FEX y permita la VLAN FCoE y las VLAN Ethernet, y luego asocie el puerto HIF con el ID de canal de puerto del host creado en el Paso 6.
8. Cree la interfaz VFC y conéctela al puerto miembro (Ethernet) del canal de puerto host.
9. Repita los pasos 6-8 en el lado B del switch Nexus 5K y utilice el mismo ID de interfaz de canal de puerto del host. Vea Configuración de vPC de host para ver un ejemplo.
   
   Configuración de la interfaz VFC:
   
   
10. Cree la interfaz VC y enlaza la interfaz con el puerto miembro del canal de puerto (HIF).
11. Asigne la interfaz VFC a la VSAN adecuada.
12. Repita los pasos 10-11 en el lado B del switch Nexus 5K. Vea Configuración de VFC para ver un ejemplo.
13. Verifique la Configuración.

Activo - Configuración de FEX Activo

N5548UP-A# configure terminal 
N5548UP-A(config)# fex 101
N5548UP-A(config-fex)# fcoe
N5548UP-A(config-fex)# exit

N5548UP-A(config)# interface ethernet 1/3 - 4
N5548UP-A(config-if-range)# channel-group 201
N5548UP-A(config-if-range)#no shut
N5548UP-A(config-if-range)# exit
N5548UP-A(config)# interface port-channel 201
N5548UP-A(config-if)# switchport mode fex-fabric
N5548UP-A(config-if)# fex associate 101 
N5548UP-A(config-if)# vpc 201
N5548UP-A(config-if)#no shut
N5548UP-A(config-if)# exit

N5548UP-A# configure terminal 
N5548UP-A(config)# fex 102
N5548UP-A(config-fex)# exit

N5548UP-A(config)# interface ethernet 1/5 - 6
N5548UP-A(config-if-range)# channel-group 202
N5548UP-A(config-if-range)#no shut
N5548UP-A(config-if-range)# exit

N5548UP-A(config)# interface port-channel 202
N5548UP-A(config-if)# switchport mode fex-fabric
N5548UP-A(config-if)# fex associate 102 
N5548UP-A(config-if)# vpc 202
N5548UP-A(config-if)#no shut
N5548UP-A(config-if)# exit

Palabra clave FCoE en FEX 102 en el lado B del switch Nexus 5K

N5548UP-B# configure terminal 
N5548UP-B(config)# fex 102
N5548UP-B(config-fex)# fcoe
N5548UP-B(config-fex)# exit

Configuración de vPC de host

N5548UP-A(config-if)# interface ethernet 101/1/1
N5548UP-A(config-if)# channel-group 1
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

N5548UP-A(config)# interface ethernet 102/1/1
N5548UP-A(config-if)# channel-group 1
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

N5548UP-A(config)# interface port-channel 1
N5548UP-A(config-if)#switchport mode trunk
N5548UP-A(config-if)# switchport trunk native vlan 10
N5548UP-A(config-if)# switchport trunk allowed vlan 10,100
N5548UP-A(config-if)# spanning-tree port type edge trunk 
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

Configuración de VFC

<---Create vfc interface and bind to port-channel member (ethernet interface)-->

N5548UP-A(config)# int vfc 1
N5548UP-A(config-if)# bind interface ethernet 101/1/1
N5548UP-A(config-if)# switchport trunk allowed vsan 100
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

<---Associate vfc interface to corresponding VSAN ID-->

N5548UP-A(config)# vsan database
N5548UP-A(config-vsan-db)# vsan 100 interface vfc 1
N5548UP-A(config-vsan-db)# end

Verificación

N5548UP-A# show fex
 FEX FEX FEX FEX 
Number Description State Model Serial 
------------------------------------------------------------------------
101 FEX0101 Online N2K-C2232PP-10GE SSI142602QN
102 FEX0102 Online N2K-C2232PP-10GE SSI14260EVV

N5548UP-A# show interface fex
 Fabric Fabric Fex FEX 
Fex Port Port State Uplink Model Serial 
---------------------------------------------------------------
101 Eth1/3 Active 2 N2K-C2232PP-10GE SSI142602QN
102 Eth1/4 Active 1 N2K-C2232PP-10GE SSI14260EVV

N5548UP-A# show fex 101 detail 
FEX: 101 Description: FEX0101 state: Online
 FEX version: 6.0(2)N2(1) [Switch version: 6.0(2)N2(1)]
 FEX Interim version: 6.0(2)N2(1)
 Switch Interim version: 6.0(2)N2(1)
 Extender Serial: SSI142602QN
 FCoE Admin: true
 FCoE Oper: true
 FCoE FEX AA Configured: true

N5548UP-A# show run interface port-channel 1 membership

interface port-channel1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 spanning-tree port type edge trunk
 speed 10000

interface Ethernet102/1/1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 spanning-tree port type edge trunk
 channel-group 1

interface Ethernet101/1/1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 spanning-tree port type edge trunk
 channel-group 1

N5548UP-A# show int vfc 1
vfc1 is trunking
 Bound interface is Ethernet101/1/1
 Port WWN is 20:00:54:7f:ee:e1:6a:bf
 Admin port mode is F, trunk mode is on
 Port mode is TF
 Port vsan is 100
 Trunk vsans (admin allowed and active) (100)
 Trunk vsans (up) (100)
 Trunk vsans (isolated) ()
 Trunk vsans (initializing) ()

N5548UP-A# show run int port-channel 201 membership

interface port-channel201
 switchport mode fex-fabric
 fex associate 101
 vpc 201

interface Ethernet1/3
 switchport mode fex-fabric
 fex associate 101
 channel-group 201

interface Ethernet1/4
 switchport mode fex-fabric
 fex associate 101
 channel-group 201

N5548UP-A# show run int port-channel 202 membership

interface port-channel202
 switchport mode fex-fabric
 fex associate 102
 vpc 202

interface Ethernet1/5
 switchport mode fex-fabric
 fex associate 102
 channel-group 202

interface Ethernet1/6
 switchport mode fex-fabric
 fex associate 102
 channel-group 202

Esta captura de pantalla de la secuencia de arranque del servidor valida la configuración del switch, ya que el firmware VIC detecta el LUN y actualiza la tabla de arranque:

Verificación

Los procedimientos de verificación se incluyen en los ejemplos de configuración.

Troubleshoot

En esta sección se brinda información que puede utilizar para resolver problemas en su configuración.

Realice estas verificaciones para determinar si el VFC está apareciendo:

1. Verifique que los cables estén conectados correctamente entre los puertos del adaptador asignados a vHBA y que los puertos del switch Nexus 5K tengan las VSAN necesarias.
2. Asegúrese de que las interfaces no estén administrativamente apagadas.
3. Verifique que la VLAN FCoE esté configurada en la interfaz Ethernet delimitada por el VFC.

Utilice estos comandos para verificar la configuración:

• show run fcoe
• show vsan
• show vlan fcoe
• show interface vfc ID
• show vpc
• show flogi database

Información Relacionada

• Sección Administración de Adaptadores de Red de la Guía de Configuración de la GUI del Controlador de Administración Integrada de Servidores Cisco UCS C-Series, Versión 1.5
• sección Configuración de Canales de Puerto Virtual Mejorados de la Guía de Configuración de Switching de Capa 2 de Cisco Nexus 5500 Series NX-OS, Versión 6.x
• Sección Configuración de Fabric Extender de la Guía de Configuración de Switching de Capa 2 de Cisco Nexus serie 5500 NX-OS, Versión 6.x
• Guía de configuración de canal de fibra sobre Ethernet de Cisco Nexus serie 5500 NX-OS, versión 6.x
• Soporte Técnico y Documentación - Cisco Systems