Configuração FCoE entre o adaptador VIC no servidor rack UCS e o switch Nexus 5500

Introduction

Este documento descreve como configurar a conectividade Fibre Channel over Ethernet (FCoE) entre adaptadores de Placa de Interface Virtual (VIC - Virtual Interface Card) instalados em servidores rack Cisco Unified Computing System (UCS) e switches Cisco Nexus 5500 (Nexus 5K) Series. Duas topologias de exemplo incluem dispositivos Cisco Fabric Extender (FEX) e uma topologia de exemplo não.

Prerequisites

Requirements

A Cisco recomenda que você tenha conhecimento destes tópicos:

• Switches Cisco Nexus 5500 Series
• Servidor em rack Cisco UCS - Configuração do Cisco Integrated Management Controller (CIMC)
• Compreensão básica do FCoE

Esta configuração existe no ambiente:

• O storage area network (SAN) array é configurado para fornecer acesso a LUNs (Logical Unit Number, números de unidade lógica) para vHBAs (Virtual Host Bus Adapters, adaptadores de barramento de host virtual) na placa Cisco VIC.
• O Cisco Nexus versão 5.1(3)N1(1a) ou posterior está instalado nos switches Cisco Nexus 5K.
• As licenças necessárias são instaladas nos switches Nexus 5K.

Consulte o guia de configuração de cada dispositivo de hardware específico para obter informações sobre limitações e compatibilidade.

Componentes Utilizados

As informações neste documento são baseadas nestas versões de software e hardware:

• Servidor Cisco UCS C220 M3 com VIC 1225
• Pacote de firmware CIMC 1.5.4
• Nexus 5548UP com a versão 6.0(2)N2(1)
• Modelo FEX - Nexus 2232PP

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. If your network is live, make sure that you understand the potential impact of any command.

Overview

Esta é uma visão geral do processo de configuração:

1. Para uma nova configuração, execute a configuração básica nos switches Nexus 5K. Você pode pular esta etapa se estiver adicionando um servidor a uma rede existente.
2. Configure o adaptador VIC no servidor UCS.
3. Configure os switches Nexus 5K com base na topologia.

O servidor pode ser implantado em uma destas três topologias:

• Topologia 1 - Canal de porta virtual (vPC) configurado em switches Nexus 5K e portas de adaptador de rede convergente (CNA) diretamente conectadas a um switch Nexus 5K
• Topologia 2 - FEX conectado a um switch Nexus 5K em modo direto e CNA conectado às portas FEX
• Topologia 3 - FEX conectado a um switch Nexus 5K no modo vPC aprimorado e CNA conectado às portas FEX

O documento fornece configurações de exemplo para conectividade FCoE para cada topologia.

Notas:

Use a Command Lookup Tool ( somente clientes registrados) para obter mais informações sobre os comandos usados nesta seção.

A ferramenta Output Interpreter (exclusiva para clientes registrados) é compatível com alguns comandos de exibição.. Use a ferramenta Output Interpreter para visualizar uma análise do resultado gerado pelo comando show..

Passo 1: Configurar nova configuração

Embora este documento se concentre na configuração de FCoE em adaptadores VIC e switches Nexus 5K, ele também inclui a configuração básica necessária no vPC e dos recursos FCoE para sua integridade.

A topologia neste exemplo usa Virtual Storage Area Network (VSAN) 100 e VSAN 200 como duas estruturas SAN. Essas VSANs são criadas no lado A e no lado B do switch Nexus 5K e são mapeadas para VLANS 100 e 200 FCoE, respectivamente.

Para uma nova configuração, este procedimento descreve como executar a configuração básica nos switches Nexus 5K:

1. Ative os recursos necessários (Link Layer Discovery Protocol [LLDP], Link Aggregation Control Protocol [LACP], FCoE, FEX, vPC) nos switches Nexus 5K. Consulte Configuração de Recursos Obrigatórios para obter um exemplo desta etapa.
2. Conclua a configuração básica do vPC:
   
   1. Crie o domínio vPC.
   2. Crie os links de keepalive de peer do vPC.
   3. Configure os links de peer do vPC. Consulte Configuração básica de vPC para obter um exemplo de como executar as etapas 1 a 3 e como habilitar o vPC em ambos os switches Nexus 5K.
   4. Crie o vPC ou reutilize os canais de porta.
   5. Verifique o vPC.
3. Configure as VSANs. Consulte Configuração de VSAN para obter um exemplo desta etapa.

Note: Você pode ignorar estes passos se estiver adicionando um servidor a uma rede existente; Vá para o Passo 2: Configure o servidor UCS e o adaptador VIC.

Configuração de recursos necessários

5548-switch# configure terminal
5548-switch(config)# feature lldp
5548-switch(config)# feature lacp 
5548-switch(config)# feature fcoe
5548-switch(config)# feature fex
5548-switch(config)# feature vpc
5548-switch(config)# end

Configuração básica do vPC

5548-switch# configure terminal
5548-switch(config)# vpc domain 150
5548-switch (config-vpc-domain)# peer-keepalive destination <peer-switch-ip> 
   source <source-ip> vrf management
5548-switch(config-vpc-domain)# interface port-channel 150
5548-switch(config-if)# switchport mode trunk
5548-switch(config-if)# vpc peer-link
5548-switch(config-if)# no shut

Configuração de VSAN

5548-switch-A # configure terminal
5548-switch-A(config)# vsan database
5548-switch-A(config-vsan-db)#vsan 100
5548-switch-A(config)#exit

5548-switch-A(config)#vlan 100
5548-switch-A(config-vlan)#fcoe vsan 100

5548-switch-B # configure terminal
5548-switch-B(config)#vsan database
5548-switch-B(config-vsan-db)#vsan 200
5548-switch-B(config)#exit

5548-switch-B(config)#vlan 200
5548-switch-B(config-vlan)#fcoe vsan 200

Passo 2: Configurar o servidor UCS e o adaptador VIC

Configure o adaptador VIC no servidor UCS. Este procedimento descreve como aplicar esta configuração a todos os adaptadores Cisco VIC (P81E ou VIC 1225 ou VIC 1225T):

1. Use o Utilitário de atualização de host para atualizar o firmware dos componentes de hardware do servidor para a versão mais recente. Certifique-se de atualizar o firmware da VIC.
2. Por padrão, o adaptador VIC opera no modo Classical Ethernet (CE) e é configurado com dois controladores de interface de rede virtual (vNICs) e dois vHBAs. Cada uma dessas vNICs e vHBAs é presa a uma interface física de DCE de uplink; ou seja, fc0 está preso à porta 0 do DCE de uplink e fc1 está preso à porta 1 do DCE de uplink do adaptador:
   
   
3. Ligue o servidor e observe que os detalhes do adaptador VIC estão preenchidos na seção de inventário.
4. Clique na guia vHBAs e selecione uma interface vHBA (fc0 ou fc1).
5. Clique em Propriedades e configure as propriedades de FCoE no adaptador VIC. Certifique-se de definir o ID da VLAN FCoE no campo de texto VLAN padrão:
   
   
   
   Se você planeja inicializar a partir da SAN, marque a caixa de seleção FC SAN Boot e adicione o WWPN de destino à tabela de inicialização:
   
   
6. Reinicialize o servidor para que as alterações de configuração entrem em vigor.

Passo 3: Configurar switches Nexus 5K para topologias diferentes

O servidor pode ser implantado em uma das três topologias. Esta seção descreve como configurar os switches Nexus 5K com base na topologia.

As diretrizes comuns de configuração para as três topologias são:

1. A interface Virtual Fibre Channel (VFC) está vinculada a uma porta membro (interface física Ethernet) do canal de porta.
2. As portas de switch estão no modo de tronco e a VLAN FCoE está configurada como uma VLAN não nativa.
3. O tipo spanning-tree de portas de switch é configurado para que se conectem ao servidor como um tronco de borda.

Este documento fornece configurações de exemplo para a estrutura A; você deve executar uma configuração semelhante no outro switch para a estrutura B.

Topologia 1: Portas CNA diretamente conectadas ao switch Nexus 5K

Overview

Nesse cenário, os switches Nexus 5K estão no vPC e as portas CNA do servidor estão diretamente conectadas aos switches Nexus 5K. Este procedimento descreve a configuração para esta topologia:

1. Associe a interface Ethernet à nova interface port-channel.
2. Configure o canal de porta como um tronco com a VLAN FCoE rotulada e associe o canal de porta à ID do vPC.
3. Crie a interface VFC e vincule-a ao membro do canal de porta (interface Ethernet).
4. Associe a interface VFC ao ID de VSAN correspondente. Consulte Exemplo de Configuração em Um Lado do Switch Nexus 5K para obter um exemplo das Etapas 1 a 4.
5. Repita as etapas de 1 a 4 para configurar o lado B do switch Nexus 5K.
6. Verificar a configuração.

Exemplo de configuração em um lado do switch Nexus 5K

N5548UP-A(config)# int eth 1/1
N5548UP-A(config-if)# channel-group 1
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit
N5548UP-A# configure terminal 
N5548UP-A(config)# interface port-channel 1
N5548UP-A(config-if)# switchport mode trunk
N5548UP-A(config-if)# switchport trunk native vlan 10
N5548UP-A(config-if)# switchport trunk allowed vlan 10,100
N5548UP-A(config-if)# spanning-tree port type edge trunk
N5548UP-A(config-if)# vpc 1
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit
N5548UP-A(config)# int vfc 1
N5548UP-A(config-if)# bind interface ethernet 1/1
N5548UP-A(config-if)# switchport trunk allowed vsan 100
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exitN5548UP-A(config)# vsan database
N5548UP-A(config-vsan-db)# vsan 100 interface vfc 1
N5548UP-A(config-vsan-db)# end 

Verificação

N5548UP-A# show run int port-channel 1 membership

interface port-channel 1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 spanning-tree port type edge trunk
 speed 10000
 vpc 1
 interface Ethernet1/1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 channel-group 1
 
N5548UP-A# show run int vfc 1
interface vfc1
 bind interface Ethernet1/1
 switchport trunk allowed vsan 100
 no shutdown

Topologia 2: FEX conectado ao switch Nexus 5K no modo straight-through e CNA conectado às portas FEX

Overview

Nesse cenário, o FEX é conectado ao switch Nexus 5K em modo direto, e o CNA é conectado às portas FEX. Este procedimento descreve a configuração para esta topologia:

Configuração direta do FEX:

1. Atribua uma ID FEX.
2. Associe a interface Ethernet ao novo ID de interface de canal de porta e configure o novo canal de porta com os parâmetros de estrutura FEX. Consulte Exemplo de configuração para obter um exemplo das Etapas 1 a 2.
   
   Configuração do vPC do host:
   
   
3. Associe as interfaces de host FEX (HIF) com o novo ID de interface de canal de porta e configure os parâmetros de canal de porta.
4. Associe o canal da porta HIF à interface vPC.
5. Crie a interface VFC e vincule-a à porta membro (Ethernet) do canal de porta do host. Consulte Configuração do vPC do host para obter um exemplo das Etapas 3 a 5.
6. Verificar a configuração.

Repita as etapas de 1 a 4 no lado B do switch Nexus 5K e use o mesmo número de interface vPC no canal da porta HIF.

Configuração de exemplo

N5548UP-A# configure terminal 
N5548UP-A(config)# fex 101
N5548UP-A(config-fex)# exit

N5548UP-A(config)# interface ethernet 1/5 - 6
N5548UP-A(config-if-range)# channel-group 210
N5548UP-A(config-if-range)#no shut
N5548UP-A(config-if-range)# exit

N5548UP-A(config)# interface port-channel 210
N5548UP-A(config-if)# switchport mode fex-fabric
N5548UP-A(config-if)# fex associate 101 
N5548UP-A(config-if)#no shut
N5548UP-A(config-if)# exit

Configuração vPC do host

<---Create HIF port-channel-->

N5548UP-A(config-if)# interface ethernet 101/1/1
N5548UP-A(config-if)# channel-group 1
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

<---Configure port-channel parameters-->

N5548UP-A(config)# interface port-channel 1
N5548UP-A(config-if)#switchport mode trunk
N5548UP-A(config-if)# switchport trunk native vlan 10
N5548UP-A(config-if)# switchport trunk allowed vlan 10,100
N5548UP-A(config-if)# spanning-tree port type edge trunk 
N5548UP-A(config-if)# vpc 10
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

<---Create vfc interfvace and bind to port-channel (Ethernet interface)-->

N5548UP-A(config)# int vfc 1
N5548UP-A(config-if)# bind interface ethernet 101/1/1
N5548UP-A(config-if)# switchport trunk allowed vsan 100
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

<---Associate vfc interface to corresponding VSAN ID-->

N5548UP-A(config)# vsan database
N5548UP-A(config-vsan-db)# vsan 100 interface vfc 1
N5548UP-A(config-vsan-db)# end

Verificação

N5548UP-A# show run int port-channel 210 membership

interface port-channel210
 switchport mode fex-fabric
 fex associate 101

interface Ethernet1/5
 switchport mode fex-fabric
 fex associate 101
 channel-group 210

interface Ethernet1/6
 switchport mode fex-fabric
 fex associate 101
 channel-group 210

N5548UP-A# show int fex
 Fabric Fabric Fex FEX 
Fex Port Port State Uplink Model Serial 
---------------------------------------------------------------
101 Eth1/5 Active 1 N2K-C2232PP-10GE SSI142602QN
101 Eth1/6 Active 2 N2K-C2232PP-10GE SSI142602QN

N5548UP-A# show run int port-channel 1 membership

interface port-channel 1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 spanning-tree port type edge trunk
 speed 10000
 vpc 10

interface Ethernet101/1/1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 channel-group 1

N5548UP-A# show run int vfc 1
interface vfc1
 bind interface Ethernet101/1/1
 switchport trunk allowed vsan 100
 no shutdown

Topologia 3: FEX conectado ao switch Nexus 5K no modo vPC aprimorado e CNA conectado às portas FEX

Overview

Nesse cenário, o FEX é conectado ao switch Nexus 5K no modo vPC aprimorado e o CNA é conectado às portas FEX.

Malha SAN Um tráfego (FCoE VLAN 100) está associado ao FEX 101 / Um lado do switch Nexus 5K. O tráfego de SAN Fabric B (FCoE VLAN 200) está associado ao lado FEX 102 / B do switch Nexus 5K.

Para um canal de porta de host de dois membros, você deve configurar portas HIF em ambos os dispositivos FEX em ambos os switches Nexus 5K; ou seja, um total de quatro configurações de porta HIF são necessárias.

Este procedimento descreve a configuração para esta topologia:

Ativo - Configuração FEX ativa:

1. Atribua a ID do FEX.
2. Adicione a palavra-chave 'fcoe' em um único FEX em cada switch Nexus 5K para permitir o isolamento da estrutura SAN.
3. Crie o canal de porta de estrutura FEX.
4. Repita as etapas 1 e 3 para o outro FEX no mesmo switch Nexus 5K.
5. Repita as etapas de 1 a 4 no lado B do switch Nexus 5K. Consulte Configuração FEX Ativa e Palavra-chave FCoE no FEX 102 no Lado B do Switch Nexus 5K para obter um exemplo.
   
   Configuração do vPC do host:
   
   
6. Crie a interface port-channel e configure as VLANs necessárias.
7. Configure a porta HIF (a interface FEX conectada ao CNA) em ambos os FEXs, e permita a VLAN FCoE e VLANs Ethernet, em seguida, associe a porta HIF à ID do canal de porta do host criada na Etapa 6.
8. Crie a interface VFC e vincule-a à porta membro (Ethernet) do canal de porta do host.
9. Repita as Etapas 6 a 8 no lado B do switch Nexus 5K e use o mesmo ID de interface do canal de porta do host. Consulte Configuração do vPC do host para obter um exemplo.
   
   Configuração da interface VFC:
   
   
10. Crie a interface VC e vincule-a à porta do membro do canal de porta (HIF).
11. Atribua a interface VFC à VSAN apropriada.
12. Repita as etapas 10 a 11 no lado B do switch Nexus 5K. Consulte Configuração de VFC para obter um exemplo.
13. Verificar a configuração.

Configuração FEX Ativa

N5548UP-A# configure terminal 
N5548UP-A(config)# fex 101
N5548UP-A(config-fex)# fcoe
N5548UP-A(config-fex)# exit

N5548UP-A(config)# interface ethernet 1/3 - 4
N5548UP-A(config-if-range)# channel-group 201
N5548UP-A(config-if-range)#no shut
N5548UP-A(config-if-range)# exit
N5548UP-A(config)# interface port-channel 201
N5548UP-A(config-if)# switchport mode fex-fabric
N5548UP-A(config-if)# fex associate 101 
N5548UP-A(config-if)# vpc 201
N5548UP-A(config-if)#no shut
N5548UP-A(config-if)# exit

N5548UP-A# configure terminal 
N5548UP-A(config)# fex 102
N5548UP-A(config-fex)# exit

N5548UP-A(config)# interface ethernet 1/5 - 6
N5548UP-A(config-if-range)# channel-group 202
N5548UP-A(config-if-range)#no shut
N5548UP-A(config-if-range)# exit

N5548UP-A(config)# interface port-channel 202
N5548UP-A(config-if)# switchport mode fex-fabric
N5548UP-A(config-if)# fex associate 102 
N5548UP-A(config-if)# vpc 202
N5548UP-A(config-if)#no shut
N5548UP-A(config-if)# exit

Palavra-chave FCoE no FEX 102 no lado B do switch Nexus 5K

N5548UP-B# configure terminal 
N5548UP-B(config)# fex 102
N5548UP-B(config-fex)# fcoe
N5548UP-B(config-fex)# exit

Configuração vPC do host

N5548UP-A(config-if)# interface ethernet 101/1/1
N5548UP-A(config-if)# channel-group 1
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

N5548UP-A(config)# interface ethernet 102/1/1
N5548UP-A(config-if)# channel-group 1
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

N5548UP-A(config)# interface port-channel 1
N5548UP-A(config-if)#switchport mode trunk
N5548UP-A(config-if)# switchport trunk native vlan 10
N5548UP-A(config-if)# switchport trunk allowed vlan 10,100
N5548UP-A(config-if)# spanning-tree port type edge trunk 
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

Configuração de VFC

<---Create vfc interface and bind to port-channel member (ethernet interface)-->

N5548UP-A(config)# int vfc 1
N5548UP-A(config-if)# bind interface ethernet 101/1/1
N5548UP-A(config-if)# switchport trunk allowed vsan 100
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

<---Associate vfc interface to corresponding VSAN ID-->

N5548UP-A(config)# vsan database
N5548UP-A(config-vsan-db)# vsan 100 interface vfc 1
N5548UP-A(config-vsan-db)# end

Verificação

N5548UP-A# show fex
 FEX FEX FEX FEX 
Number Description State Model Serial 
------------------------------------------------------------------------
101 FEX0101 Online N2K-C2232PP-10GE SSI142602QN
102 FEX0102 Online N2K-C2232PP-10GE SSI14260EVV

N5548UP-A# show interface fex
 Fabric Fabric Fex FEX 
Fex Port Port State Uplink Model Serial 
---------------------------------------------------------------
101 Eth1/3 Active 2 N2K-C2232PP-10GE SSI142602QN
102 Eth1/4 Active 1 N2K-C2232PP-10GE SSI14260EVV

N5548UP-A# show fex 101 detail 
FEX: 101 Description: FEX0101 state: Online
 FEX version: 6.0(2)N2(1) [Switch version: 6.0(2)N2(1)]
 FEX Interim version: 6.0(2)N2(1)
 Switch Interim version: 6.0(2)N2(1)
 Extender Serial: SSI142602QN
 FCoE Admin: true
 FCoE Oper: true
 FCoE FEX AA Configured: true

N5548UP-A# show run interface port-channel 1 membership

interface port-channel1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 spanning-tree port type edge trunk
 speed 10000

interface Ethernet102/1/1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 spanning-tree port type edge trunk
 channel-group 1

interface Ethernet101/1/1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 spanning-tree port type edge trunk
 channel-group 1

N5548UP-A# show int vfc 1
vfc1 is trunking
 Bound interface is Ethernet101/1/1
 Port WWN is 20:00:54:7f:ee:e1:6a:bf
 Admin port mode is F, trunk mode is on
 Port mode is TF
 Port vsan is 100
 Trunk vsans (admin allowed and active) (100)
 Trunk vsans (up) (100)
 Trunk vsans (isolated) ()
 Trunk vsans (initializing) ()

N5548UP-A# show run int port-channel 201 membership

interface port-channel201
 switchport mode fex-fabric
 fex associate 101
 vpc 201

interface Ethernet1/3
 switchport mode fex-fabric
 fex associate 101
 channel-group 201

interface Ethernet1/4
 switchport mode fex-fabric
 fex associate 101
 channel-group 201

N5548UP-A# show run int port-channel 202 membership

interface port-channel202
 switchport mode fex-fabric
 fex associate 102
 vpc 202

interface Ethernet1/5
 switchport mode fex-fabric
 fex associate 102
 channel-group 202

interface Ethernet1/6
 switchport mode fex-fabric
 fex associate 102
 channel-group 202

Esta captura de tela da sequência de inicialização do servidor valida a configuração do switch à medida que o firmware do VIC detecta com êxito o LUN e atualiza a tabela de inicialização:

Verificar

Os procedimentos de verificação estão incluídos nos exemplos de configuração.

Troubleshoot

Esta seção disponibiliza informações para a solução de problemas de configuração.

Execute estas verificações para determinar se o VFC está chegando:

1. Verifique se os cabos estão conectados corretamente entre as portas do adaptador mapeadas para vHBA e se as portas do switch Nexus 5K têm as VSANs necessárias.
2. Verifique se as interfaces não estão administrativamente desligadas.
3. Verifique se a VLAN FCoE está configurada na interface Ethernet vinculada pela VFC.

Use estes comandos para verificar a configuração:

• show run fcoe
• show vsan
• show vlan fcoe
• show interface vfc ID
• show vpc
• show flogi database

Informações Relacionadas

• Seção Gerenciando adaptadores de rede do Guia de Configuração GUI do Cisco UCS C-Series Servers Integrated Management Controller Release 1.5
• Seção Configuração de Canais de Porta Virtual Avançados do Guia de Configuração de Comutação de Camada 2 NX-OS do Cisco Nexus 5500 Series, versão 6.x
• Configurando a seção Fabric Extender do Cisco Nexus 5500 Series NX-OS Layer 2 Switching Configuration Guide, versão 6.x
• Guia de configuração do Fibre Channel over Ethernet NX-OS Nexus 5500 Series, versão 6.x
• Suporte Técnico e Documentação - Cisco Systems