Troubleshooting de Encaminhamento de Pacotes para o Design de Acesso Instantâneo/FEX 6500/6880
Contents
Introdução
Este documento descreve como resolver problemas de encaminhamento de pacotes na rede de acesso instantâneo das séries Catalyst 6500/6880.
1. Informações gerais
Recomenda-se que o usuário esteja totalmente ciente do projeto, do formato VNTAG e da lógica de encaminhamento de pacotes para a rede baseada no Instant Access.
Informações adicionais sobre a arquitetura Instant Access para o Catalyst 6500/6880 Instant Access podem ser encontradas em:
White paper da solução Cisco Catalyst Instant Access
Todas as análises adicionais foram feitas para esta topologia:
Aviso: as etapas descritas aqui são executadas somente em uma configuração de laboratório ou sob supervisão direta de um engenheiro do TAC da Cisco.
Para executar com êxito alguns dos comandos apresentados aqui, habilite 'service internal' (comando oculto) no controlador Cisco Catalyst 6500/6880 que desbloqueia alguns dos comandos ocultos/específicos do TAC:
6880#configure terminal 6880(config)#service internal
Habilite o acesso total ao FEX (o serviço interno é necessário) durante o número de minutos especificado:
6880#test platform software console fex <fex-id> enable timeout <minutes>
2. Solucionar problemas de fluxo de pacotes (FEX -> controlador)
Nesta seção, o fluxo de pacotes da interface Instant Access / FEX (Fabric Extender) (host conectado a Gi1/0/1) para o controlador da série Cisco Catalyst 6500/6880, onde a decisão final de encaminhamento de pacotes é descrita.
2.1 FEX
Para determinar se os pacotes são recebidos na interface de entrada FEX (Gi1/0/1), estes métodos podem ser usados:
2.1.1. Contadores da interface
Gere o número de pacotes e verifique se os pacotes estão visíveis no FEX:
6880#show int gi101/1/0/1 | in packets input
101 packets input, 151894 bytes, 0 no buffer
6880#show counters interface gi101/1/0/1 delta | in InPackets|InUcastPkts|InMcastPkts
1. InPackets = 104
3. InUcastPkts = 102
4. InMcastPkts = 2
Observação: com base no design, a tabela de endereços MAC no FEX está sempre vazia, pois o aprendizado do MAC acontece apenas no controlador.
2.1.2. Captura de pacotes
Se for necessário capturar pacotes do FEX para fazer troubleshooting adicional, a sessão de SPAN poderá ser configurada diretamente no FEX (para que a replicação de pacotes seja executada no FEX). O principal requisito é que o destino de SPAN esteja conectado ao mesmo FEX que a origem de SPAN:
6880#attach fex 101 Attach FEX:101 ip:192.168.1.101 Trying 192.168.1.101 ... Open User Access Verification Password: cisco FEX-101>enable Password: cisco FEX-101#conf t FEX-101(config)#monitor session 1 source interface gi1/0/1 FEX-101(config)#monitor session 1 destination interface gi1/0/2
Essa configuração é diferente de um cenário no qual a captura de pacotes (ou seja, a sessão de SPAN) é configurada diretamente no 6880 desta maneira:
6880#configure terminal 6880(config)#monitor session 1 source interface gi101/1/0/1 6880(config)#monitor session 1 destination interface gi101/1/0/2
Quando a captura de pacotes é configurada no FEX, a replicação de pacotes também acontece no próprio FEX e os pacotes são observados na porta de destino se houver um problema de comunicação entre o FEX e o controlador. Se a captura de pacotes for configurada diretamente no 6880 (consulte o segundo exemplo), a replicação de pacotes ocorrerá no próprio controlador e possivelmente levará a uma análise incorreta se houver problemas de comunicação entre o controlador e o FEX. Usando essa abordagem, o destino de SPAN pode ser conectado a qualquer porta/FEX).
Isso pode ser confirmado verificando os contadores de SPAN de replicação em 6880 em ambos os cenários.
Sessão de SPAN configurada diretamente no FEX - todos os contadores são iguais a 0:
6880#clear platform hardware capacity rewrite-engine counter Clear rewrite-engine counter for both switches [confirm] 6880#sh platform hardware capacity rewrite-engine performance | in SPAN RX 1/5 0 0x210 SPAN RX 0 0 0 1/5 0 0x211 SPAN RX 1 0 0 (...)
Sessão de SPAN configurada diretamente no controlador - os contadores correspondem ao número de pacotes replicados. A replicação acontece no módulo do controlador de ingresso, que não precisa pertencer ao chassi VSS ativo. (exemplo: chassi 2 / módulo 5).
6880#clear platform hardware capacity rewrite-engine counter Clear rewrite-engine counter for both switches [confirm] 6880#sh platform hardware capacity rewrite-engine performance | in SPAN RX (...> 2/5 0 0x211 SPAN RX 1 0 0 2/5 1 0x210 SPAN RX 0 0 0 2/5 1 0x211 SPAN RX 1 0 0 2/5 2 0x210 SPAN RX 0 102 0 (...)
2.1.3. Redirecionamento de pacote para a CPU do FEX.
Um método alternativo para o SPAN apresentado no ponto 2 é redirecionar pacotes para a CPU do FEX. Crie uma ACL com a instrução log e anexe-a à interface de entrada (em nosso cenário: Gi1/0/1) e execute debug para capturar esses pacotes. Isso também permite a coleta de detalhes adicionais sobre a decisão de encaminhamento de pacotes no FEX.
Observação: essa depuração pode causar uma condição de alta utilização da CPU no switch do controlador também no caso de haver um grande número de pacotes.
Observação: no caso de haver uma pilha de switches de acesso instantâneo, a depuração precisa ser executada no switch local para a porta monitorada. Faça login no outro switch de uma pilha executando o comando 'session onde switch-no corresponde ao número do switch (por exemplo, para a interface gi2/0/1, switch-no é 2; para a interface 5/0/11, switch-no é 5 e assim por diante).
6880#attach fex 101 Attach FEX:101 ip:192.168.1.101 Trying 192.168.1.101 ... Open User Access Verification Password: cisco FEX-101>en Password: cisco FEX-101#conf t FEX-101(config)#access-list 100 permit ip host 10.0.0.2 host 10.0.0.1 log FEX-101(config)#access-list 100 permit ip any any FEX-101(config)#int gi1/0/1 FEX-101(config-if)#ip access-group 100 in ! FEX-101#debug platform cpu-queues logging-q
Quando o pacote é gerado pelo host, as informações são adicionadas ao buffer de registro que fornece características do pacote (por exemplo, endereço MAC origem e destino, endereços IP origem e destino), dump do pacote e características do pacote interno.
Jun 7 14:05:23.059: Pak recvd on LOGGING-Q: Local Port Fwding L3If: L2If:GigabitEthernet1/0/1 DI:0x1E19, LT:7, Vlan:10 SrcGPN:1, SrcGID:1, ACLLogIdx:0x1, MacDA:0000.0000.0001, MacSA: 0000.0000.0002 IP_SA:10.0.0.2 IP_DA:10.0.0.1 IP_Proto:1 (FEX-101) TPFFD:F3800001_000A400A_01A00076-00011E19_5F5F0000_00002001 (FEX-101) (FEX-101) Jun 7 14:05:23.059: Raw FEX packet Dump: (FEX-101) Jun 7 14:05:23.059: 00 00 00 00 00 01 00 00 00 00 (FEX-101) Jun 7 14:05:23.059: 00 02 08 00 45 00 00 64 04 D3 (FEX-101) Jun 7 14:05:23.059: 00 00 FF 01 A2 C3 0A 00 00 02 (FEX-101) Jun 7 14:05:23.059: 0A 00 00 01 08 00 42 9D 00 13 (FEX-101) Jun 7 14:05:23.062: 00 00 00 00 00 00 38 96 03 04 (FEX-101)
Para verificar a decisão encaminhada, execute esta verificação (com base no índice de destino DI fornecido neste log, onde St1 e St2 correspondem a portas de pilha e Te1/0/1 e Te1/0/2 são uplinks que pertencem ao canal de porta):
FEX-101#show platform port-asic dest-map index 0x1E19 Ports: Te1/0/1 St1 Te1/0/2 St2
Para determinar qual porta é usada do canal de porta em direção ao controlador (seu número é confirmado pela execução do comando 'show etherchannel summary'), use esta abordagem. (este exemplo é para o pacote IP; no caso de não IP, são usados endereços MAC):
FEX-101#show etherchannel load-balance
EtherChannel Load-Balancing Configuration:
src-dst-ip
EtherChannel Load-Balancing Addresses Used Per-Protocol:
Non-IP: Source XOR Destination MAC address
IPv4: Source XOR Destination IP address
IPv6: Source XOR Destination IP address
!
FEX-101#test etherchannel load-balance interface po1 ip 10.0.0.2 10.0.0.1
Would select Te1/0/2 of Po1
O pacote enviado ao controlador tem VNTAG adicionado que reflete a interface de entrada. Para determinar esse valor, siga esta abordagem (Use VIF+1 para a interface Gi1/0/1):
FEX-101#show platform fex ucast-entries vif sw_idb portname GPN handle res_index ==== ========== ====================== ==== ========= ========= 1 0x5CAC278 GigabitEthernet1/0/1 1 0x5 0x30F0000
2.2. Controlador
Quando o pacote chega ao controlador, ele é tratado pelo mecanismo de encaminhamento de entrada, que toma uma decisão adicional sobre o que precisa ser feito com o pacote.
No nosso exemplo, com base na análise fornecida no ponto 2.1, o pacote sai do FEX através da interface Te1/0/2. Para determinar qual interface de controlador está conectada na outra extremidade, use este comando:
6880#show fex infra | in FEX Uplink|FLGS
FLGS:
Te1/5/13, FLGS: 0x3F
FEX Uplink: Te1/0/1
Te2/5/13, FLGS: 0x1F
FEX Uplink: Te1/0/2
Os pacotes são recebidos na porta Te2/5/13, portanto, estas verificações são possíveis:
2.2.1. Tabela de endereços MAC
Quando o pacote é recebido no controlador, ocorre a aprendizagem do endereço MAC e o endereço MAC do host é aprendido em todos os módulos (isso mostra apenas um exemplo do supervisor ativo):
6880#show mac address-table interface gi101/1/0/1
Legend: * - primary entry
age - seconds since last seen
n/a - not available
S - secure entry
R - router's gateway mac address entry
D - Duplicate mac address entry
Displaying entries from active supervisor:
vlan mac address type learn age ports
----+----+---------------+-------+-----+----------+-----------------------------
* 10 0000.0000.0002 dynamic Yes 10 Gi101/1/0/1
(...)
2.2.2. Captura de pacotes
Conforme descrito no ponto 2.1.2, a captura de pacotes também é configurada no controlador desta maneira:
6880#configure terminal 6880(config)#monitor session 1 source interface gi101/1/0/1 6880(config)#monitor session 1 destination interface gi101/1/0/2
Se os pacotes estiverem visíveis na interface de destino, o pacote foi enviado com êxito do FEX para o controlador.
Além da sessão de SPAN padrão, a captura de pacotes interna pode ser configurada para que os pacotes sejam capturados no buffer interno:
6880(config)#monitor session 1 type capture 6880(config-mon-capture)#source interface gi101/1/0/1 ! 6880#monitor capture start %SPAN-SW1-5-PKTCAP_START: Packet capture session 1 started 6880#show monitor capture buffer 1 IP: s=10.0.0.2 , d=10.0.0.1, len 100 2 IP: s=10.0.0.2 , d=10.0.0.1, len 100 3 IP: s=10.0.0.2 , d=10.0.0.1, len 100 4 IP: s=10.0.0.2 , d=10.0.0.1, len 100 (...)
Para obter mais informações sobre esse recurso, consulte: Analisador de miniprotocolo
2.2.3. ELAM
Na série Catalyst 6500/6880, há uma captura interna de pacotes que fornece mais informações sobre a decisão de encaminhamento de pacotes tomada pelo controlador no pacote.
Observação: mais informações sobre o ELAM que é válido para 6500/SUP2T, bem como para 6880 podem ser encontradas em: Catalyst 6500 Series Switches with Supervisor Engine 2T ELAM Procedure
Quando o pacote é capturado, a origem do pacote (ou seja, se ele aponta corretamente para a interface FEX, que é feita com base no mapeamento VIF) e o local para onde o pacote é encaminhado são determinados.
Neste exemplo, o pacote é recebido no chassi VSS em standby:
No primeiro login,
6880#remote login standby Trying Switch ... Entering CONSOLE for Switch Type "^C^C^C" to end this session User Access Verification Password: 6880-sdby#^e Standby console enabled
Executar ELAM:
6880-sdby#show platform capture elam asic eureka slot 5 Assigned asic_desc=eu50 6880-sdby#show platform capture elam trigger master eu50 dbus dbi ingress ipv4 if ip_sa = 10.0.0.2 6880-sdby#show platform capture elam start cap_commands: Default ELAM RBI PB1 added to list
Quando os pacotes são enviados do host e quando eles alcançam o mecanismo de encaminhamento de entrada (no nosso caso, este é eu50 no chassi-2), a captura é acionada e obtemos o número de dados e dois-pontos;
6880-sdby#sh platform capture elam status ELAM Mode: local ID# Role ASIC Slot Inst Ver ELAM Status ----- ---- ------- ---- ---- --- --------- ------ eu50 M EUREKA 5 0 1.3 DBI_ING Capture Completed eu50 s EUREKA 5 0 1.3 RBI_PB1 Capture Completed ID# ELAM Trigger ----- --------- ---------- eu50 DBI_ING FORMAT=IP L3_PROTOCOL=IPV4 IP_SA = 10.0.0.2 eu50 RBI_PB1 TRIG=1 ! 6880-sdby#show platform capture elam data | in IP_SA|IP_DA|SMAC|DMAC|SRC_INDEX|DEST_INDEX|data DBUS data: SRC_INDEX ....................... [19] = 0x2000 [Po101[Te1/5/13,Te2/5/13],Gi101/1/0/1] DEST_INDEX ...................... [19] = 0xC [Te1/1/13] DMAC ............................ = 0000.0000.0001 SMAC ............................ = 0000.0000.0002 IP_SA ........................... = 10.0.0.2 IP_DA ........................... = 10.0.0.1 RBUS data: DEST_INDEX ...................... [19] = 0x380 [Switch/Router]
Com base na saída da captura, o pacote com endereços MAC/IP (como mostrado) foi recebido em Gi101/1/0/1 (campo DBUS SRC_INDEX) no FEX e passado para o controlador via Po101 configurado no controlador. A decisão é encaminhar esse pacote para a CPU do VSS (campo RBUS DEST_INDEX).
Observação: o que é mapeado entre o VIF e o índice de origem é feito pelo gerenciador VNTAG e pode ser verificado (neste caso, o VIF=1 foi usado quando passou o quadro unicast da porta Gi1/0/1 no FEX; o estado operacional é sempre 2, o tipo poderia ser unicast ou multicast):
6880#test platform software switch virtual vntag_mgr vif-map vif 1 detail VIF INFO: VIF# 1 Type UNICAST VIF LTL# 2000 OperStatus # 2
Identificar e solucionar problemas de fluxo de pacotes (controlador -> FEX)
Nesta seção, é descrito o fluxo de pacotes do mecanismo de encaminhamento de entrada do controlador da série Cisco Catalyst 6500/6880, até a interface Instant Access / FEX (Fabric Extender).
3.1. Controlador
3.1.1. Captura de pacotes
Para determinar se o pacote é recebido com êxito pelo switch Catalyst 6500/6880, são usados métodos padrão para solucionar problemas de switches autônomos/VSS. Esses métodos incluem a captura de pacotes (sessão de SPAN e assim por diante). Mais informações sobre essas ferramentas podem ser encontradas em:
3.1.2. ELAM
Para determinar se a decisão do pacote a ser encaminhado é enviá-lo para FEX com um identificador de VIF válido, a captura de pacotes é executada no controlador do mecanismo de encaminhamento de entrada (ou seja, o mecanismo de encaminhamento que trata da interface na qual o pacote foi recebido).
Mais informações sobre o ELAM que é válido para 6500/SUP2T, bem como para 6880 podem ser encontradas em:
Switches Catalyst 6500 Series com mecanismo de supervisão 2T Procedimento ELAM
Neste exemplo, esta é a configuração válida do ELAM. (a palavra-chave 'shim' no disparador é usada quando o pacote é originado da CPU; para tráfego de trânsito, essa palavra-chave não é usada):
6880#show platform capture elam asic eureka slot 5 6880#show platform capture elam trigger master eu50 dbus dbi ingress shim ipv4 if ip_sa = 10.0.0.1 ip_da=10.0.0.2 6880#sh platform capture elam start 6880#sh platform capture elam status ELAM Mode: local ID# Role ASIC Slot Inst Ver ELAM Status ----- ---- ------- ---- ---- --- --------- ------ eu50 M EUREKA 5 0 1.3 DBI_ING Capture Completed eu50 s EUREKA 5 0 1.3 RBI_PB1 Capture Completed ID# ELAM Trigger ----- --------- ---------- eu50 DBI_ING FORMAT=OTHERS SHIM_ETYPE=E8_SHIM_ETYPE ETYPE=IPV4_ETYPE IP_SA = 10.0.0.1 IP_DA=10.0.0.2 eu50 RBI_PB1 TRIG=1
Este é o resultado capturado:
6880#show platform capture elam data | in IP_SA|IP_DA|SMAC|DMAC|SRC_INDEX|DEST_INDEX|data DBUS data: SRC_INDEX ....................... [19] = 0x380 [Switch/Router,Po255[Te2/5/1,Te2/5/5,Te2/5/6]] DEST_INDEX ...................... [19] = 0x0 [Te1/1/1] DMAC ............................ = 0000.0000.0002 SMAC ............................ = 0000.0000.0001 IP_SA ........................... = 10.0.0.1 IP_DA ........................... = 10.0.0.2 IP_DATA [224] RBUS data: DEST_INDEX ...................... [19] = 0x2000 [Po101[Te1/5/13,Te2/5/13],Gi101/1/0/1]
O pacote foi recebido da CPU (entrada do Switch/Roteador para DBUS SRC_INDEX) e a decisão de encaminhamento é enviá-lo sobre Po101 (que é o canal de porta que conecta o controlador ao FEX) e, em seguida, através da interface Gi1/0/1 no FEX101.
O identificador VIF usado neste caso pode ser verificado através de comando, onde o valor LTL é obtido de RBUS no campo DEST_INDEX:
6880#test platform software switch virtual vntag_mgr vif-map ltl 0x2000 detail VIF INFO: VIF# 1 Type UNICAST VIF LTL# 2000 OperStatus # 2
Como a interface de saída no controlador é port-channel, esses comandos podem ser executados para determinar qual link físico é usado.
6880#show etherchannel load-balance
EtherChannel Load-Balancing Configuration:
src-dst-ip enhanced
mpls label-ip
EtherChannel Load-Balancing Mode on FEX Modules:
src-dst-ip
EtherChannel Load-Balancing Addresses Used Per-Protocol:
Non-IP: Source XOR Destination MAC address
IPv4: Source XOR Destination IP address
IPv6: Source XOR Destination IP address
MPLS: Label or IP
!
6880#test etherchannel load-balance interface po101 ip 10.0.0.1 10.0.0.2
Computed RBH: 0x3
Would select Te1/5/13 of Po101
3.2. FEX
Os métodos de identificação e solução de problemas de FEX para um cenário onde um pacote é recebido do controlador e deve ser enviado para a interface do host FEX correspondem aos apresentados na seção 2. As únicas diferenças mencionadas estão relacionadas com 2.1.3 - redirecionamento de pacotes para a CPU do FEX.
3.2.1. Pacote redirecionado para a CPU do FEX.
Consulte a seção 2.1.3 para obter uma explicação detalhada dessa abordagem.
Neste exemplo, para capturar um pacote recebido do controlador, essa configuração é feita no FEX (a ACL é anexada a uma única interface se a interface tiver sido identificada corretamente pela primeira vez, conforme descrito no ponto 3.1.2).
6880#attach fex 101 Attach FEX:101 ip:192.168.1.101 Trying 192.168.1.101 ... Open User Access Verification Password: cisco FEX-101>en Password: cisco FEX-101#conf t Enter configuration commands, one per line. End with CNTL/Z. FEX-101(config)#access-list 100 permit ip host 10.0.0.1 host 10.0.0.2 log FEX-101(config)#access-list 100 permit ip any any FEX-101(config)#int te1/0/1 FEX-101(config-if)#ip access-group 100 in FEX-101(config-if)#int te1/0/2 FEX-101(config-if)#ip access-group 100 in FEX-101#debug platform cpu-queues logging-q debug platform cpu-queue logging-q debugging is on
Observação: se houver uma pilha de switches de acesso instantâneo, a depuração será executada no switch que tem um uplink para o controlador. Faça login em outro switch em uma pilha executando o comando 'session onde switch-no corresponde ao número do switch (por exemplo, para a interface gi2/0/1, switch-no é 2, para a interface 5/0/11, switch-no é 5 e assim por diante).
Quando o pacote do controlador é enviado com êxito ao FEX, estas informações são geradas no syslog:
Pak recvd on LOGGING-Q: Local Port Fwding L3If: L2If:TenGigabitEthernet1/0/1 DI:0x1F2A, LT:0, Vlan:10 SrcGPN:456, SrcGID:456, ACLLogIdx:0x1, MacDA:0000.0000.0002, MacSA: 0000.0000.0001 Non (IPv4/IPv6/ARP/RARP) TPFFD:F38001C8_000A400A_01A00080-00011F2A_F5F50000_00002BFD Jun 7 15:37:24.482: Raw FEX packet Dump: Jun 7 15:37:24.482: 00 00 00 00 00 02 00 00 00 00 Jun 7 15:37:24.482: 00 01 89 26 80 01 0B FD 81 00 Jun 7 15:37:24.482: 00 0A 08 00 45 00 00 64 76 87 Jun 7 15:37:24.482: 00 00 FF 01 31 0F 0A 00 00 01 Jun 7 15:37:24.482: 0A 00 00 02 08 00 A9 FF 00 12
Os 12 bits (com seus valores hexadecimais correspondentes, consulte o formato de pacote VNTAG no white paper Instant Access) correspondem ao valor de VIF de destino que foi passado no próprio pacote. Este valor (alterado para decimal) é ainda mais cruzado com o ponto de saída no FEX.
Este comando é usado para determinar o ponto de saída: Isso leva em consideração o VIF unicast (consulte a observação no ponto 2.2.3 sobre o gerenciador VNTAG).
FEX-101#sh platform fex ucast-entries vif sw_idb portname GPN handle res_index ==== ========== ====================== ==== ========= ========= 1 0x5CAC278 GigabitEthernet1/0/1 1 0x5 0x30F0000 2 0x5CAE2E0 GigabitEthernet1/0/2 2 0x6 0x30F0000
(...)
Para tráfego multicast, a lógica:
1) Determine o conjunto de interfaces de saída para VIF multicast específico.
FEX-101#sh platform fex mcast-entries (...) Entry : 2 ================= Mcast VIF = 3072 : destid = 0x23DF : handle = 0x37 : result_index = 0x4D DestId 23DF details with GPN list index next flags cmi #GPN GPN 0x23DF 0xFFFF 0x00 0x0000 3 1 2 464 (...)
Neste exemplo, para VIF=3072, três (3) interfaces de saída foram selecionadas com os números GPN internos: 1, 2 e 464. Para converter esses números de porta GPN internos em interfaces físicas, este comando pode ser usado:
FEX-101#show platform pm if-numbers interface gid gpn lpn port slot unit slun port-type lpn-idb gpn-idb ---------------------------------------------------------------------- Gi1/0/1 1 1 1 0/2 1 1 1 local Yes Yes Gi1/0/2 2 2 2 0/1 1 2 2 local Yes Yes (...) Po2 464 464 0 16/0 9 2 2 local No No
Essas saídas significam que os pacotes recebidos com um VIF de destino multicast igual a 3072 são encaminhados para as interfaces Gi1/0/1, Gi1/0/2 e Port-channel 2.
4. Resumo
Em caso de qualquer problema relacionado ao fex, essas saídas de comando são coletadas e adicionadas ao caso TAC quando ele está sendo aberto:
6880#show tech-support 6880#show tech-support fex infra 6880#attach fex <fex-id> Password: cisco FEX-101>en Password: cisco FEX-101#show tech-support
Histórico de revisões
| Revisão | Data de publicação | Comentários |
|---|---|---|
1.0 |
12-May-2022 |
Versão inicial |
FeedbackContate a Cisco
- Abrir um caso de suporte
- (É necessário um Contrato de Serviço da Cisco)