Identificar e Solucionar Problemas do SERDES Lane no ASR 5500
Opções de download
Linguagem imparcial
O conjunto de documentação deste produto faz o possível para usar uma linguagem imparcial. Para os fins deste conjunto de documentação, a imparcialidade é definida como uma linguagem que não implica em discriminação baseada em idade, deficiência, gênero, identidade racial, identidade étnica, orientação sexual, status socioeconômico e interseccionalidade. Pode haver exceções na documentação devido à linguagem codificada nas interfaces de usuário do software do produto, linguagem usada com base na documentação de RFP ou linguagem usada por um produto de terceiros referenciado. Saiba mais sobre como a Cisco está usando a linguagem inclusiva.
Sobre esta tradução
A Cisco traduziu este documento com a ajuda de tecnologias de tradução automática e humana para oferecer conteúdo de suporte aos seus usuários no seu próprio idioma, independentemente da localização. Observe que mesmo a melhor tradução automática não será tão precisa quanto as realizadas por um tradutor profissional. A Cisco Systems, Inc. não se responsabiliza pela precisão destas traduções e recomenda que o documento original em inglês (link fornecido) seja sempre consultado.
Contents
Introduction
Este documento descreve os comandos de troubleshooting para a faixa (link) do Serializador de Desserialização (SERDES) no ASR 5500.
Informações de Apoio
O ASR 5500 contém links SERDES entre as placas para facilitar a comunicação e os caminhos de dados entre as placas Fabric e Storage Card (FSC), Data Processing Card (DPC) e Management Input/Output (MIO). Às vezes, esses links SERDES podem ficar inativos devido a erros ou falha de hardware.
Comandos de Identificação e Solução de Problemas do SERDES Lane
Comandos para investigar as rotas SERDES do chassi ASR 5500:
- Colete o
show support details, examine o "console de depuração..." para as linhas de saída:
1397273780.205 card 5-cpu0: afio [5/0/7808] [ 80616.933] afio/afio_fe600_serdes.c:3297: #1: fe600=47=16/1, Fabric SERDES lane transitioned from up to down, serdes=29, devid=25=7/1
- Modo de teste de acesso do CLI do chassi
cli test-commands password.
Caution: O uso desse modo pode causar uma interrupção significativa do serviço
- Problema
show fabric healthpara obter uma visão geral da tela de switching.
Tip: As mesmas informações podem ser obtidas show fabric support details parte dos detalhes do show support
No exemplo, há um problema entre a placa DPC 2 e a placa FSC 14.
Na saída, a falha é relatada do DPC de origem no slot 2 em direção ao FSC no slot 14:
Command: petra-b system-device-id 3
Command: show health
Petra-B 3=2/1
Fabric Status:
Status OK(+)------------------------+
Topology fault(T)------------------+|
Far side not expected(*)----------+||
Logically not connected(L)-------+|||
Physically not connected(P)-----+|||| NIF Status:
Rx Down(*)---------------------+||||| +----------NIF powered off(*)
Tx Down(*)--------------------+|||||| |+---------SERDES powered off(*)
Code Group(G)----------------+||||||| ||+--------Local side down(l)
Misalignment(M)-------------+|||||||| |||+-------Remote side down(r)
Cell Size(C)---------------+||||||||| ||||+------Rx activity(r)
Internally fixed(I)-------+|||||||||| |||||+-----Tx activity(t)
Not Accept Cells(A)------+||||||||||| ||||||+----Status OK(+)
|||||||||||| |||||||
SERDES Status: |||||||||||| |||||||
Status OK(+)-----------+ |||||||||||| |||||||
Rx power off(*)-------+| |||||||||||| |||||||
Tx power off(*)------+|| |||||||||||| |||||||
Sig not locked(S)---+||| |||||||||||| |||||||
Rx signal loss(*)--+|||| |||||||||||| |||||||
Modified Parms(m)-+||||| |||||||||||| |||||||
Admin down(D)----+|||||| |||||||||||| |||||||
||||||| |||||||||||| |||||||
Fabric lane-----+ ||||||| |||||||||||| |||||||
SERDES lane--+ | ||||||| |||||||||||| ||||||| Config
Source Dev SL FL vvvvvvv vvvvvvvvvvvv vvvvvvv Rate Topology CRC Errs Remote Dev SL FL Last Change
------- --- -- -- ------- ------------ ------- ------------ -------- -------- ------- --- -- -- ----------------------
3= 2/1 FAP 47 15 + A M L 6250.00 Mbps - - 43=14/1 FE 82 82 FAULT_DETECTED ***
Na saída para o mesmo link na outra direção da placa FSC no slot 14 para a placa DPC no slot 2, o mesmo erro é relatado:
Command: fe600 system-device-id 43
Command: show health
FE600 43=14/1
Fabric Status:
Status OK(+)------------------------+
Topology fault(T)------------------+|
Far side not expected(*)----------+||
Logically not connected(L)-------+|||
Physically not connected(P)-----+|||| NIF Status:
Rx Down(*)---------------------+||||| +----------NIF powered off(*)
Tx Down(*)--------------------+|||||| |+---------SERDES powered off(*)
Code Group(G)----------------+||||||| ||+--------Local side down(l)
Misalignment(M)-------------+|||||||| |||+-------Remote side down(r)
Cell Size(C)---------------+||||||||| ||||+------Rx activity(r)
Internally fixed(I)-------+|||||||||| |||||+-----Tx activity(t)
Not Accept Cells(A)------+||||||||||| ||||||+----Status OK(+)
|||||||||||| |||||||
SERDES Status: |||||||||||| |||||||
Status OK(+)-----------+ |||||||||||| |||||||
Rx power off(*)-------+| |||||||||||| |||||||
Tx power off(*)------+|| |||||||||||| |||||||
Sig not locked(S)---+||| |||||||||||| |||||||
Rx signal loss(*)--+|||| |||||||||||| |||||||
Modified Parms(m)-+||||| |||||||||||| |||||||
Admin down(D)----+|||||| |||||||||||| |||||||
||||||| |||||||||||| |||||||
Fabric lane-----+ ||||||| |||||||||||| |||||||
SERDES lane--+ | ||||||| |||||||||||| ||||||| Config
Source Dev SL FL vvvvvvv vvvvvvvvvvvv vvvvvvv Rate Topology CRC Errs Remote Dev SL FL Last Change
------- --- -- -- ------- ------------ ------- ------------ -------- -------- ------- --- -- -- ----------------------
43=14/1 FE 82 82 + L T 6250.00 Mbps 3= 2/1 - 3= 2/1 FAP 47 15 FAULT_DETECTED ***
Outro tipo de problema com o link SERDES é o estado off-line do link. No exemplo, o link entre a placa DPC no slot 6 e a placa FSC no slot 17 está off-line:
23= 6/3 FAP 38 6 D 6250.00 Mbps 50=17/2 1557643 50=17/2 FE 65 65 OFFLINE ***
O número total de links SERDES ativos e o número de links ativos é mostrado na saída do comando show fabric status comando. No exemplo mostrado, dois links foram contados para baixo, um para cada lado do link. Uma pista para baixo não é um problema. Há muita capacidade de estrutura em excesso e uma única faixa não afeta o throughput. O único problema é se os links ficam continuamente ativos e inativos devido a erros, caso em que é possível que o tráfego de usuário e controle seja descartado, e é por isso que é melhor se o link é desativado.
[local]ASR5500> show fabric status
Total number of FAPs: 24
Total number of FEs : 8
Total number of SERDES links: 1600
Total number of active SERDES links: 1598
Note: Há muita capacidade de estrutura em excesso e uma única faixa não afeta o throughput do chassi.
- Normalmente, o problema do link é resolvido sozinho. O sistema passa pelas etapas automáticas chamadas de Eyescan (Digitalização a olho) para resolver o problema. Os resultados da recuperação automática são
show serdes all-serdes historyseções doshow fabric support details
Note: O FE (Fabric Element) é o lado da placa FSC. O FAP (Fabric Array Processor) é o lado da placa DPC e/ou MIO.
As placas DPC têm 2 FAPs, as placas DPC2 têm apenas 1 FAP; as placas MIO têm 4 FAPs e os FSCs têm 2 FEs.
O formato na saída dos comandos é <card #>/<FAP/FE #>, por exemplo, MIO 5 teria 5/1, 5/2, 5/3, 5/4.
Um chassi DPC2 totalmente carregado teria 28 endpoints: 8 (8 DPC) + 8 (2 MIO * 4) + 12 ( 6 FCS * 2)
O exemplo do lado FE que foi restaurado após a recuperação automática é mostrado:
card=5, cpu=0, pid=7808, peer_mode=AFIO_IPC_PEER_MODE_DAEMON, sys_dev_id=47=16/1
Fabric Status:
Topology fault(T)----------------+
Far side not expected(*)--------+|
Logically not connected(L)-----+||
Physically not connected(P)---+|||
Rx Down(*)-------------------+||||
Tx Down(*)------------------+||||| NIF Status:
Code Group(G)--------------+|||||| +--------NIF powered off(*)
Misalignment(M)-----------+||||||| |+-------SERDES powered off(*)
Cell Size(C)-------------+|||||||| ||+------Local side down(l)
Internally fixed(I)-----+||||||||| |||+-----Remote side down(r)
Not Accept Cells(A)----+|||||||||| ||||
||||||||||| ||||
SERDES Status: ||||||||||| ||||
Rx power off(*)------+ ||||||||||| ||||
Tx power off(*)-----+| ||||||||||| ||||
Sig not locked(S)--+|| ||||||||||| ||||
Rx signal loss(*)-+||| ||||||||||| ||||
Admin Down(D)----+|||| ||||||||||| ||||
||||| ||||||||||| ||||
Fabric lane-----+ ||||| ||||||||||| ||||
SERDES lane--+ | ||||| ||||||||||| ||||
Record time Source Dev SL FL vvvvv vvvvvvvvvvv vvvv Remote Dev SL FL CRC Errs Last Change
------------------- ------- --- -- -- ----- ----------- ---- ------- --- -- -- -------- ----------------------
2014-05-18+12:38:17 47=16/1 FE 40 40 I 31= 8/1 FAP 43 11 1 CRC_ERROR
2014-05-18+12:39:27 47=16/1 FE 40 40 31= 8/1 FAP 43 11 1 ADMIN_DOWN
2014-05-18+12:39:28 47=16/1 FE 40 40 31= 8/1 FAP 43 11 1 EYESCAN_START
2014-05-18+13:14:41 47=16/1 FE 40 40 31= 8/1 FAP 43 11 1 EYESCAN_COMPLETE
2014-05-18+13:14:50 47=16/1 FE 40 40 31= 8/1 FAP 43 11 1 ADMIN_UP
A recuperação de outro lado da linha é mostrada no exemplo:
card=5, cpu=0, pid=7808, peer_mode=AFIO_IPC_PEER_MODE_DAEMON, sys_dev_id=47=16/1
Fabric Status:
Topology fault(T)----------------+
Far side not expected(*)--------+|
Logically not connected(L)-----+||
Physically not connected(P)---+|||
Rx Down(*)-------------------+||||
Tx Down(*)------------------+||||| NIF Status:
Code Group(G)--------------+|||||| +--------NIF powered off(*)
Misalignment(M)-----------+||||||| |+-------SERDES powered off(*)
Cell Size(C)-------------+|||||||| ||+------Local side down(l)
Internally fixed(I)-----+||||||||| |||+-----Remote side down(r)
Not Accept Cells(A)----+|||||||||| ||||
||||||||||| ||||
SERDES Status: ||||||||||| ||||
Rx power off(*)------+ ||||||||||| ||||
Tx power off(*)-----+| ||||||||||| ||||
Sig not locked(S)--+|| ||||||||||| ||||
Rx signal loss(*)-+||| ||||||||||| ||||
Admin Down(D)----+|||| ||||||||||| ||||
||||| ||||||||||| ||||
Fabric lane-----+ ||||| ||||||||||| ||||
SERDES lane--+ | ||||| ||||||||||| ||||
Record time Source Dev SL FL vvvvv vvvvvvvvvvv vvvv Remote Dev SL FL CRC Errs Last Change
------------------- ------- --- -- -- ----- ----------- ---- ------- --- -- -- -------- ----------------------
2014-05-18+12:38:17 47=16/1 FE 40 40 I 31= 8/1 FAP 43 11 1 CRC_ERROR
2014-05-18+12:39:27 47=16/1 FE 40 40 31= 8/1 FAP 43 11 1 ADMIN_DOWN
2014-05-18+12:39:28 47=16/1 FE 40 40 31= 8/1 FAP 43 11 1 EYESCAN_START
2014-05-18+13:14:41 47=16/1 FE 40 40 31= 8/1 FAP 43 11 1 EYESCAN_COMPLETE
2014-05-18+13:14:50 47=16/1 FE 40 40 31= 8/1 FAP 43 11 1 ADMIN_UP
- No StarOS versão 16.1 e posterior, o sistema tem a capacidade de gerar interceptações SNMP quando um limiar EGQ (Egress Queue Discard) configurado é observado pelo chassi. O exemplo dos comandos usados para definir o limite para 50 descartes EGQ por período de 30 segundos é mostrado.
[local]asr5500# config
[local]asr5500(config)# fabric egress drop-threshold enable count 50 interval-secs 30
Recuperação manual
Quando um link SERDES não tiver sido restaurado após o teste e reprogramação Eyescan, então a recuperação manual é necessária. Infelizmente, com o software, não podemos determinar que lado do link SERDES está com defeito. Temos que adotar uma abordagem metódica para corrigir o problema.
Caution: As etapas 1 e 2 são obrigatórias antes da RMA
- Recoloque uma placa primeiro. Deslize a placa para fora e inspecione o backplane da placa para verificar se há pinos tortos e danificados na placa e no backplane do chassi.
- Se forem observados pinos tortos e danificados, tire fotos e aumente a Solicitação de Serviço (SR) com o Cisco TAC.
- Monitore por 72 horas.
- Se o problema retornar, vá para a Etapa 2.
- Se ele for cancelado, o problema será resolvido.
- Recoloque a outra placa. Deslize a placa para fora e inspecione o backplane da placa para verificar se há pinos tortos e danificados na placa e no backplane do chassi.
- Se forem observados pinos tortos e danificados, tire fotos e aumente a Solicitação de Serviço (SR) com o Cisco TAC.
- Monitore por 72 horas.
- Se o problema retornar, vá para a etapa 3.
- Se ele for cancelado, o problema será resolvido.
- Abra o SR com o Cisco TAC e anexe coletados os detalhes do show support antes e depois de recolocar as placas e imagens de pinos danificados ou tortos.
Quando o problema for resolvido, o show fabric status tem a seguinte aparência:
[local]ASR5500> show fabric status
Total number of FAPs: 24
Total number of FEs : 8
Total number of SERDES links: 1600
Total number of active SERDES links: 1600
Um trap SNMP SERDESLanePermenentlyDown foi implementado para indicar quando uma faixa SERDES foi desativada permanentemente devido a falhas no Eyescan:
Sun Apr 17 00:05:00 2016 Internal trap notification 1303 (SERDESLanePermanentlyDown) SERDES lane is Down on local: slot 17 device 2 serdes lane index 14, Remote: slot 1 device 1 serdes lane index 40
[local]ASR5500> show fabric status
Total number of FAPs: 16
Total number of FEs : 12
Total number of SERDES links: 1456
Total number of active SERDES links: 1454
Total number of Fabric SERDES with errors: 0
Total number of NIF SERDES with errors : 0
[local]ASR5500> show fabric history
Command: arad system-device-id 1
Command: show serdes all-serdes history
Fabric Status:
+------Not Accept Cells(A)
SERDES Status: |+-----Cell Size(C)
Power off(*)-------------+ ||+----Misalignment(M)
Sig not locked(S)-------+| |||+---Code Group(G)
Admin down(D)----------+|| ||||+--Topology fault(T)
||| |||||
Logical Port---------+ ||| |||||
Fabric lane-----+ | ||| |||||
SERDES lane--+ | | ||| |||||
Record time Source Dev SL FL | vvv vvvvv Remote Dev SL FL CRC Errs Last Change
------------------- ------- --- --- --- --- --- ----- ------- --- --- --- -------- ----------------------
2016-04-16+23:53:05 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - FAULT_DETECTED
2016-04-16+23:53:14 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - ADMIN_DOWN
2016-04-16+23:57:02 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - ADMIN_UP
2016-04-16+23:57:02 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - FAULT_DETECTED
2016-04-16+23:57:11 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - ADMIN_DOWN
2016-04-17+00:00:59 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - ADMIN_UP
2016-04-17+00:00:59 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - FAULT_DETECTED
2016-04-17+00:01:08 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - ADMIN_DOWN
2016-04-17+00:05:00 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - ADMIN_UP
2016-04-17+00:05:00 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - FAULT_DETECTED
...
Command: fe600 system-device-id 42
Command: show serdes all-serdes history
NIF Status: Fabric Status:
Remote side down(r)-------+ +------------Not Accept Cells(A)
Local side down(l)-------+| |+-----------Internally fixed(*)
SERDES powered off(*)---+|| ||+----------Cell Size(C)
NIF powered off(*)-----+||| |||+---------Misalignment(M)
|||| ||||+--------Code Group(G)
SERDES Status: |||| |||||+-------Tx Down(*)
Rx power off(*)------+ |||| ||||||+------Rx Down(*)
Tx power off(*)-----+| |||| |||||||+-----Physically not connected(P)
Sig not locked(S)--+|| |||| ||||||||+----Logically not connected(L)
Rx signal loss(*)-+||| |||| |||||||||+---Far side not expected(*)
Admin down(D)----+|||| |||| ||||||||||+--Topology fault(T)
||||| |||| |||||||||||
Fabric lane-----+ ||||| |||| |||||||||||
SERDES lane--+ | ||||| |||| |||||||||||
Record time Source Dev SL FL vvvvv vvvv vvvvvvvvvvv Remote Dev SL FL CRC Errs Last Change
------------------- ------- --- -- -- ----- ---- ----------- ------- --- --- --- -------- ----------------------
2016-04-16+23:57:01 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - FAULT_DETECTED
2016-04-16+23:57:11 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - ADMIN_DOWN
2016-04-16+23:57:11 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - EYESCAN_START
2016-04-17+00:00:52 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - EYESCAN_FAILURE
2016-04-17+00:00:55 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - ADMIN_UP
2016-04-17+00:00:58 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - FAULT_DETECTED
2016-04-17+00:01:08 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - ADMIN_DOWN
2016-04-17+00:01:08 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - EYESCAN_START
2016-04-17+00:04:56 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - EYESCAN_FAILURE
2016-Apr-17+00:05:00.023 [snmp 22002 info] [5/0/7150 <afctrl:0> trap_api.c:17297] [software internal system syslog] Internal trap notification 1303 (SERDESLanePermanentlyDown) SERDES lane is Down on local: slot 17 device 2 serdes lane index 14, Remote: slot 1 device 1 serdes lane index 40
2016-Apr-17+00:05:00.023 [afctrl 186019 critical] [5/0/7150 <afctrl:0> l_msg_handler.c:1541] [hardware internal system syslog] Fabric device 17/2, serdes lane index 14, (remote fabric device 1/1, serdes lane index 40) is Administratively offline due to excessive calibration failures
2016-Apr-16+23:41:09.247 [system 1009 warning] [6/0/10430 <evlogd:1> evlgd_syslogd.c:162] [software internal system critical-info syslog] CPU[5/0]: afio: afio [5/0/9285] [ 426721.037] afio/afio_fe600_serdes.c:2827: #1: fe600=42=17/2, Fabric SERDES lane transitioned from up to down, serdes=14, devid=1=1/1, serdes=40
2016-Apr-16+23:41:09.247 [system 1009 warning] [5/0/7073 <evlogd:0> evlgd_syslogd.c:162] [software internal system critical-info syslog] CPU[5/0]: afio: afio [5/0/9285] [ 426721.037] afio/afio_fe600_serdes.c:2827: #1: fe600=42=17/2, Fabric SERDES lane transitioned from up to down, serdes=14, devid=1=1/1, serdes=40
Informações Relacionadas
Histórico de revisões
| Revisão | Data de publicação | Comentários |
|---|---|---|
1.0 |
19-Aug-2022 |
Versão inicial |
Colaborado por engenheiros da Cisco
- Mike LugoLíder técnico do Cisco TAC
- Dave DamerjianLíder técnico do Cisco TAC
- Dennis LanovLíder técnico do Cisco TAC
FeedbackContate a Cisco
- Abrir um caso de suporte
- (É necessário um Contrato de Serviço da Cisco)