Identificar e solucionar problemas de entroncamento MDS 9000/links de canal de porta que não apareceram

Introduction

Este documento descreve por que um enlace Fibre Channel (FC) entre um Cisco Multilayer Diretor Switch (MDS) e outro switch Cisco não aparece quando o entroncamento ou um canal de porta não é ativado, no entanto, o mesmo enlace pode aparecer quando não está em um canal de porta e o entroncamento é desativado.

Informações de Apoio

Isso inclui links FC entre switches MDS e outros switches MDS, switches Nexus e Interconexões em malha (FIs) do Unified Computing System (UCS).

Tip: Para obter informações mais detalhadas sobre os canais de porta e o entroncamento, consulte os guias de configuração apropriados de canal de porta e entroncamento.
Guia de canal de porta: https://www.cisco.com/c/en/us/td/docs/switches/datacenter/mds9000/sw/8_x/config/interfaces/cisco_mds9000_interfaces_config_guide_8x/configuring_portchannels.html
Guia de entroncamento: https://www.cisco.com/c/en/us/td/docs/switches/datacenter/mds9000/sw/8_x/config/interfaces/cisco_mds9000_interfaces_config_guide_8x/configuring_trunking.html

Todos os switches MDS podem agregar vários links físicos em um único link virtual através de canais de porta, bem como transportar várias VSANs (Virtual Storage Area Networks, redes de área de armazenamento virtual) em um link com o recurso de entroncamento quando conectados a outro dispositivo Cisco.

Para negociar os canais de porta e os links de entroncamento, os switches MDS usam os serviços de Parâmetros de Peer do Exchange (EPP) para se comunicarem entre portas pares em um Inter-Switch Link (ISL). Parte do processo de negociação ISL verifica se o peer é um dispositivo Cisco com o Organizational Unique Identifier (OUI) do peer.

Se o OUI de um switch Cisco não estiver listado no banco de dados do OUI do peer como um OUI da Cisco, o link não será ativado quando adicionado a um canal de porta ou se o entroncamento estiver habilitado na interface.

Identificar e Solucionar Problemas de Entroncamento MDS/Links de Canal de Porta que Falharam na Criação

Se o link estiver em um canal de porta, verifique se o modo de canal de interface de canal de porta ativo configurado.

MDSswitch# show run interface port-channel 1
...
interface port-channel1
channel mode active      <<<<

Se o link estiver conectado a um switch N_Port Virtualization (NPV), como um FI, verifique se o NPIV e os recursos de tronco de canal de porta estão ativados.

MDSswitch# show feature | include npiv
npiv 1 enabled
MDSswitch# show feature | include fport
fport-channel-trunk 1 enabled

Se o link estiver em tronco, verifique se o protocolo de entroncamento está ativado globalmente.

MDSswitch# show trunk protocol
Trunk Protocol is enabled

Verificar se o entroncamento está ativado na interface.

MDSswitch# show interface port-channel 1
port-channel1 is down (No operational members)
Hardware is Fibre Channel 
Port WWN is xx:xx:00:2a:6a:xx:xx:xx
Admin port mode is auto, trunk mode is on <<<<

Se o link estiver conectado a 8 Gbps, verifique se o padrão de preenchimento, ou palavra de preenchimento, deve ser configurado da mesma forma para ambos os lados do link. Por padrão, os dispositivos MDS, N5K/N6K e UCS FI 6300 Series usam ARBFF. As séries N9K e UCS FI 6400 suportam somente IDLE como o padrão de preenchimento 8G.

Use este comando para confirmar o padrão de preenchimento atual nas interfaces MDS/N5K/N6K fc x/y:

slot x show hardware internal fcmac port y port-info | i PREENCHIMENTO

MDSswitch# slot 1 show hardware internal fcmac port 2 port-info | i FILL
FILL_WORD(raw) : ARBFF (0xbc94ffff)

Note: A saída nos switches Nexus pode ser 0x0 (interface não ativa a 8 Gbps), 0xBC94FFFF (ARBFF) ou 0xBC95B5B5 (IDLE).

Quando um N9K ou UCS FI 6400 está conectado a um dispositivo que usa ARBFF por padrão, você deve configurar a interface no dispositivo conectado para usar IDLE.

MDSswitch# conf t
Enter configuration commands, one per line. End with CNTL/Z.
MDSswitch(config)# interface fc1/2MDSswitch(config-if)# switchport fill-pattern IDLE speed 8000

No UCS FI série 6300, você vê o padrão de preenchimento dos uplinks FC e configurado no UCS Manager (UCSM) em SAN > SAN Cloud > Fabric > Uplink FC Interfaces > FC Interface x/yin na guia Geral.

Verificar

Sintomas

• As interfaces surgem como portas únicas com o entroncamento desativado, mas não em um canal de porta.
• Uma única interface não consegue criar o entroncamento ativado.
• Quando estão em um canal de porta ou são adicionadas a um canal de porta, as interfaces tornam-se desativadas por erro imediatamente.

Registrar mensagens

Note: É possível que o OUI do switch esteja ausente do banco de dados OUI do peer em um ou em ambos os lados de um link. Ambos os lados devem ser investigados.

Para switches MDS e Nexus:

O switch sem o OUI do peer em seu banco de dados do OUI grava erros "physical flogi reject, wait for the port mode" e "EPP_SYNC".

MDSswitch# show flogi internal event-history errors | include reject previous 1 next 1
...
10) Event:E_DEBUG, length:124, at 727676 usecs after Tue May 14 17:44:47 2013
[102] fs_fc2_msg_flogi: ifindex[0x12ae000] pwwn[xx:xx:00:2a:6a:xx:xx:xx] physical flogi rejected, waiting for the port mode

11) Event:E_DEBUG, length:124, at 661821 usecs after Tue May 14 17:44:39 2013
[102] fs_fc2_msg_flogi: ifindex[0x12ae000] pwwn[xx:xx:00:2a:6a:xx:xx:xx] physical flogi rejected, waiting for the port mode

12) Event:E_DEBUG, length:73, at 772303 usecs after Tue May 14 17:43:11 2013
[102] fs_flogi_send_flogi_reject: mts_q == 0, ifindex 0x12ae000, port 0x0


MDSswitch# show port internal event-history errors | include EPP previous 1 next 1
...
19) Event:E_DEBUG, length:48, at 465145 usecs after Tue May 14 17:44:49 2013
[102] epp_ac_accept_sync: Error sending EPP_SYNC
... 
27) Event:E_DEBUG, length:48, at 280537 usecs after Tue May 14 17:44:43 2013
[102] epp_ac_accept_sync: Error sending EPP_SYNC

Para confirmar a interface dos erros, converta o índice com show interface snmp-ifindexe filtre pelo ifindex na mensagem de erro. O exemplo usa o ifindex 12ae000 encontrado em show flogi internal event-history errors.

MDSswitch# show interface snmp-ifindex | include 12ae000
fc6/47 0019587072 (00012ae000)

Para FIs UCS: O FI sem o OUI do peer em seu banco de dados do OUI registra os erros "PI_FSM_EV_PORT_CONFIG_FAILURE" e "port fcx/y tentando a marcação de vf em um switch não-Cisco".

UCS(nxos)# show port internal event-history errors

1) Event:E_DEBUG, length:117, at 225850 usecs after Wed Aug 1 10:18:26 2018
[102] pi_fsm_port_attr_change_init: Ifindex (fc1/47)0x102e000, Err disabled event (PI_FSM_EV_PORT_CONFIG_FAILURE)0xd7

2) Event:E_DEBUG, length:100, at 222587 usecs after Wed Aug 1 10:18:26 2018
[102] pm_process_fport_vf_tagging_capability: port fc1/47 attempting vf tagging on non-cisco switch

Banco de dados OUI

Extraia o OUI de cada switch. O OUI é o terceiro, quarto e quinto octetos do World Wide Name (WWN).

peer-switch# show wwn switch
Switch WWN is xx:xx:00:2a:6a:xx:xx:xx

Neste exemplo, o OUI do switch é 0x002A6A.

Verifique o banco de dados do OUI do switch para o OUI do switch peer. Se o comando não tiver saída, o OUI está ausente do banco de dados.

MDSswitch# show wwn oui | include 0x002a6a
MDSswitch#

Note: Os FIs do UCS não suportam o comando show. Consulte a Tabela 1. e Tabela 2. para ver quando os OUIs foram adicionados ao banco de dados FI OUI.

Trabalhar

Os bancos de dados de OUI do switch são atualizados por meio de atualizações de software do switch. Até que um switch possa ser atualizado para uma versão de software com um banco de dados OUI que inclua o OUI do switch peer, use links únicos configurados fora dos canais de porta com o entroncamento desativado.

O comando oui <hex oui> nos switches MDS e Nexus pode adicionar manualmente Cisco OUIs ao banco de dados OUI do switch.

Nos switches MDS, esse recurso está disponível no NX-OS versão 7.3(0)D1(1) e posterior.

Nos switches Nexus 5K/6K, esse recurso foi adicionado no NX-OS versão 7.3(3)N1(1) e posterior.
Nos switches Nexus 9000 no NX-OS 7.x, esse recurso está disponível no NX-IS versão 7.3(1)N1(1) e posterior.

Nos switches Nexus 9000 em outras versões do NX-OS, esse recurso está disponível no NX-OS versão9.3(3) e posterior.

Example: MDSswitch# configure terminal
         MDSswitch(config)# wwn oui 0x0000fc
         MDSswitch# show wwn oui
         OUI Vendor Default/Static
         ----------------------------------------------------
         0x0000fc Cisco Static

Os switches Nexus 9000 em imagens da ACI podem adicionar um OUI à biblioteca em tempo de execução do APIC em 15.0(1k) e posterior.

Adições do banco de dados OUI

Tabela 1.1. Adições do banco de dados MDS OUI

OUI	Software que inclui OUI
0x547FEE	Todas as versões do NX-OS 5.0(1) e posteriores.
0x00351A 0x003A7D 0x004268 0x0062EC 0x007888 0x00C164 0x00C88B 0x00F28B 0x00FEC8 0x046273 0x188B9D 0x5897BD 0x58AC78 0x5C838F 0x64F69D 0x70E422 0x80E01D 0x84B261 0x84B802 0xA46C2A 0xCC167E 0xCC46D6 0xD8B190 0xE00EDA 0xE4AA5D	NX-OS 5.x em 5.2(8h) e posterior. NX-OS 6.x em 6.2(17) e posterior. NX-OS 7.x em 7.3(1)D1(1) e posterior. Todas as versões do NX-OS 8.3(1) e posteriores.
0x0018BA 0x001B54 0x002255 0x0023AC 0x002498 0x0024F7 0x002651 0x002698 0x002A6A 0x00DEFB 0x04C5A4 0x108CCF 0x18EF63 0x1CDF0F 0x405539 0x68BDAB 0x8C604F 0x8CB64F 0xA8B1D4 0xB41489 0xC0626B 0xF02572 0xF866F2	Todas as versões do NX-OS 5.2(6) e posteriores.
0x508789 0x58F39C 0x7426AC 0x7C0ECE 0x881DFC 0x88F031 0x8C604F 0xA0ECF9 0xF07F06 0xF40F1B 0xF44E05 0xF8C288 0xFC5B39	Todas as versões do NX-OS 6.2(11) e posteriores.
0x000831 0x003A9C 0x74A02F 0xD0A5A6	NX-OS 5.x em 5.2(8g) e posterior. NX-OS 6.x em 6.2(11c) e posterior. Todas as versões do NX-OS 7.3(1)D1(1) e posteriores.
0x70EA1A 0xC4F7D5	Todas as versões do NX-OS 8.4(2) e posteriores.
0x00FD22 0x10B3D5 0x10B3D6 0x4C710D 0xC4B239 0xD4E880	NX-OS 6.x em 6.2(33) e posterior. Todas as versões do NX-OS 8.4(2) e posteriores.
0xDC774C	NX-OS 8.4(x) em 8.4(2c) e posterior. NX-OS 9.x em 9.2(1) e posterior.
0x3C13CC 0x4CE176	A determinar

Tabela 1.2. Adições do banco de dados do Nexus 5000/5500/5600/6000 OUI

OUI	Software que inclui OUI
0x002A6A 0x00DEFB 0x8C604F	NX-OS 5.1 em 5.1(3)N2(1) e posterior. NX-OS 5.2 em 5.2(1)N1(4) e posterior. Todas as versões do NX-OS 6.0(2)N1(2) e posteriores.
0x50EB1A 0x9371D5	Todas as versões do NX-OS 7.3(7)N1(1) e posteriores.
0x3C13CC 0x4CE176 0xDC774C	Todas as versões do NX-OS 7.3(10)N1(1) e posteriores.

Tabela 1.3. Adições do banco de dados do Nexus 9000 OUI

OUI				Software que inclui OUI
0x000831 0x001086 0x0024FF 0x0027E3 0x002A10 0x002CC8 0x00351A 0x003A7D 0x003A99 0x003A9C 0x004268 0x005D73 0x0062EC 0x006BF1 0x007888 0x0081C4 0x0090FA 0x00A2EE 0x00A38E 0x00A6CA 0x00A742 0x00B771 0x00BE75 0x00C164 0x00C88B 0x00D78F 0x00EABD 0x00F28B 0x00F663 0x00FCBA 0x00FEC8 0x043110 0x046273 0x0896AD 0x1005CA 0x14F0C5 0x188090 0x188B9D	0x18E728 0x1C6A7A 0x286F7F 0x28AC9E 0x2C27D7 0x2C3311 0x2C44FD 0x2C5A0F 0x2CD02D 0x380E4D 0x3890A5 0x3C08F6 0x3C4A92 0x40017A 0x40CE24 0x4403A7 0x4C776D 0x500F80 0x502FA8 0x5061BF 0x508789 0x54A274 0x58971E 0x5897BD 0x58AC78 0x58F39C 0x5C838F 0x641225 0x64A0E7 0x64F69D 0x68BDAB 0x6C9CED 0x6CB2AE 0x700F6A 0x70695A 0x70708B 0x7079B3 0x707DB9	0x70DB98 0x70DF2F 0x70E422 0x7426AC 0x74A02F 0x74A2E6 0x780CF0 0x78725D 0x78BAF9 0x78DA6E 0x78E3B5 0x7C0ECE 0x7C69F6 0x80E01D 0x843DC6 0x8478AC 0x84B261 0x84B802 0x881DFC 0x885A92 0x88F031 0x8CB64F 0xA0239F 0xA03D6F 0xA09351 0xA0E0AF 0xA0ECF9 0xA44C11 0xA46C2A 0xA80C0D 0xA89D21 0xA8B1D4 0xB02680 0xB08BCF 0xB0A77 0xB41489 0xB4DE31 0xB83861	0xBADBAD 0xBC26C7 0xC0626B 0xC067AF 0xC08C60 0xCC167E 0xCC46D6 0xCE90D1 0xD072DC 0xD0A5A6 0xD46D50 0xD867D9 0xD8B190 0xE00EDA 0xE4AA5D 0xE4C722 0xE86549 0xE8B748 0xE8BA70 0xEC3091 0xEC4476 0xECBD1D 0xECC882 0xF02572 0xF07F06 0xF40F1B 0xF44E05 0xF45FD4 0xF4ACC1 0xF4CFE2 0xF4DBE6 0xF80BCB 0xF866F2 0xF8C288 0xFC5B39 0xFCFBFB	Todas as versões do NX-OS 9.2(4) e posteriores.
0x3C13CC 0x4CE176 0xDC774C				Todas as versões do NX-OS 10.1(2) e posteriores.

Tabela 1.4. Adições do banco de dados UCS FI OUI

OUI	Software que inclui OUI
0x0018BA 0x001B54 0x002255 0x0023AC 0x002498 0x0024F7 0x002651 0x002698 0x002A6A 0x00DEFB 0x04C5A4 0x108CCF 0x18EF63 0x1CDF0F 0x405539 0x68BDAB 0x8C604F 0x8CB64F 0xA8B1D4 0xB41489 0xC0626B 0xF02572 0xF866F2	Pacote de software 2.x em 2.2(8j) e posterior. Pacote de software 3.x em 3.1(3b) e 3.1(3h) e posterior. Pacote de software 3.2(3d) e posterior.
0x002651	Pacote de software 2.x em 2.2(8j) e posterior. Pacote de software 3.x em 3.1(3h) e posterior. Pacote de software 3.2(3d) e posterior.
0x0025B5 0xA44C11	Pacote de software 3.x em 3.1(3h) e posterior. Pacote de software 3.2(3d) e posterior.
0x000831 0x003A9C 0xD0A5A6	Pacote de software 3.x em 3.2.3(3h) e posterior. Todas as versões do pacote de software em 4.0(1x). Pacote de software em 4.0(2b) e posterior.
0x6400F1	Pacote de software 3.3(5b) e posterior.
0x00EEAB 0x0476B0 0x24169D 0x34ED1B 0x3C510E 0x4CE175 0x4CE176 0x5CA62D 0x6C310E 0x70EA1A 0x7C210E 0x7CAD4F 0x9077EE 0xA0B439 0xA4530E 0xAC3A67 0xAC4A67 0xBC5A56 0xC014FE 0xC4F7D5 0xCC7F76 0xE41F7B	Pacote de software 4.1(3a) e posterior.
0xAC7A56	Pacote de software 4.1(2a) e posterior.
0x3C13CC 0x4CE176 0xDC774C	Pacote de software 4.2(1d) e posterior.

Caveats

ID de bug Cisco CSCut41864 - O processo de porta trava quando a interface > 64 é usada para conexões NPV-NPIV

ID de bug Cisco CSCuz52695 - UCS FI FC Uplinks Error Disable Immediated NPV to MDS9396S

ID de bug Cisco CSCvp95480 - 6454 FI - Restringir endereços WWxN permitidos durante a configuração do UCSM (evitar endereço multicast)

Vários bugs foram arquivados para documentar OUIs ausentes das bibliotecas OUI dos switches. Eles incluem:

Bugs de MDS/UCS

ID de bug Cisco CSCtr01652 - Adicione N7K OUIs à lista de OUIs reconhecidos da Cisco da liboui. MDS.

Bugs MDS/N5K/N6K

ID de bug Cisco CSCty04686 - Adicione MAC OUI "002a6a", "8c604f", "00defb" para 5k/UCS-FI

Bugs MDS

ID de bug Cisco CSCta97375 - GLDN:SABER: Saber oui não é reconhecido como cisco oui 547FEE.

ID de bug da Cisco CSCur44218 - Adicionar MiniUCS FI OUIs à lista de OUIs reconhecidos da Cisco da liboui

ID de bug Cisco CSCuz11494 - O canal de porta FC não vem com o par UCS OUI 00:c8:8b

ID de bug Cisco CSCuu03717 - Adicione OUIs 00:3a:9c, 00:08:31, d0:a5:a6 à lista OUI padrão

ID de bug Cisco CSCuu26045 - Adicionar MiniUCS FI OUI 0x74a02f à lista MDS de OUIs Cisco reconhecidos

ID de bug Cisco CSCvx67383 - Canal de porta MDS para ACI LEAF N9K com switch OUI 0x3C13CC (3C:13:CC) não aparece nem está entroncando

ID de bug Cisco CSCvx49403 - Port-Channel com o switch Cisco OUI 0xDC774C não aparece nem em tronco.

ID de bug Cisco CSCvr60193 - Adicione OUI C4:F7:D5 à lista OUI padrão

ID de bug da Cisco CSCvp19788- MDS 9000 Adicionar OUI 70:EA:1A à biblioteca OUI

ID de bug Cisco CSCvt28351 - Adicione seis OUIs à lista OUI padrão

ID de bug Cisco CSCvw14504 - Adicione OUI 0x4CE176 ao banco de dados OUI - Canais de porta e entroncamento que não funcionam com OUI 0x4CE176

ID de bug Cisco CSCvx67383 - Canal de porta MDS para ACI LEAF N9K com switch OUI 0x3C13CC (3C:13:CC) não aparece nem está entroncando

Bugs N5K/N6K

ID de bug Cisco CSCvx72821 - Port-Channel com o switch Cisco OUI 0xDC774C ou 0x4CE176 ou 0x3C13CC não aparece nem está entroncando.

ID de bug Cisco CSCvp54881 - Não é possível criar canal de porta San entre UCS e Nexus 56128p

N9K Bugs

ID de bug Cisco CSCvp21786 - Nexus 9000:::Não é possível ativar o modo F san-port-channel ou entroncamento entre MDS e N9K

ID de bug da Cisco CSCvx68507 - Port-Channel com o switch Cisco OUI 0xDC774C ou 0x4CE176 ou 0x3C13CC não aparece nem no tronco.