Risoluzione dei problemi relativi alla corsia SERDES in ASR 5500
Opzioni per il download
Linguaggio senza pregiudizi
La documentazione per questo prodotto è stata redatta cercando di utilizzare un linguaggio senza pregiudizi. Ai fini di questa documentazione, per linguaggio senza di pregiudizi si intende un linguaggio che non implica discriminazioni basate su età, disabilità, genere, identità razziale, identità etnica, orientamento sessuale, status socioeconomico e intersezionalità. Le eventuali eccezioni possono dipendere dal linguaggio codificato nelle interfacce utente del software del prodotto, dal linguaggio utilizzato nella documentazione RFP o dal linguaggio utilizzato in prodotti di terze parti a cui si fa riferimento. Scopri di più sul modo in cui Cisco utilizza il linguaggio inclusivo.
Informazioni su questa traduzione
Cisco ha tradotto questo documento utilizzando una combinazione di tecnologie automatiche e umane per offrire ai nostri utenti in tutto il mondo contenuti di supporto nella propria lingua. Si noti che anche la migliore traduzione automatica non sarà mai accurata come quella fornita da un traduttore professionista. Cisco Systems, Inc. non si assume alcuna responsabilità per l’accuratezza di queste traduzioni e consiglia di consultare sempre il documento originale in inglese (disponibile al link fornito).
Sommario
Introduzione
In questo documento vengono descritti i comandi per la risoluzione dei problemi relativi al percorso (collegamento) del deserializzatore (SERDES) in ASR 5500.
Premesse
ASR 5500 contiene collegamenti SERDES tra le schede per facilitare la comunicazione e i percorsi dei dati tra le schede Fabric e Storage Card (FSC), Data Processing Card (DPC) e Management Input/Output (MIO). In alcuni casi, questi collegamenti SERDES possono essere interrotti a causa di errori o guasti hardware.
Comandi per la risoluzione dei problemi della corsia SERDES
Comandi per esaminare le corsie SERDES dello chassis ASR 5500:
- Raccogli
show support details, controllare la "console di debug..." porzione per le righe di output:
1397273780.205 card 5-cpu0: afio [5/0/7808] [ 80616.933] afio/afio_fe600_serdes.c:3297: #1: fe600=47=16/1, Fabric SERDES lane transitioned from up to down, serdes=29, devid=25=7/1
- Accesso alla modalità di test della CLI dello chassis
cli test-commands password.
Attenzione: L'utilizzo di questa modalità può causare un'interruzione significativa del servizio
- Problema
show fabric healthper un'immagine generale del fabric di switching.
Suggerimento: Le stesse informazioni possono essere ottenute show fabric support details parte dei dettagli del supporto show
Nell'esempio, esiste un problema tra la scheda DPC Card 2 e la scheda FSC Card 14.
Nell'output, il guasto è segnalato dalla sorgente DPC nello slot 2 verso FSC nello slot 14:
Command: petra-b system-device-id 3
Command: show health
Petra-B 3=2/1
Fabric Status:
Status OK(+)------------------------+
Topology fault(T)------------------+|
Far side not expected(*)----------+||
Logically not connected(L)-------+|||
Physically not connected(P)-----+|||| NIF Status:
Rx Down(*)---------------------+||||| +----------NIF powered off(*)
Tx Down(*)--------------------+|||||| |+---------SERDES powered off(*)
Code Group(G)----------------+||||||| ||+--------Local side down(l)
Misalignment(M)-------------+|||||||| |||+-------Remote side down(r)
Cell Size(C)---------------+||||||||| ||||+------Rx activity(r)
Internally fixed(I)-------+|||||||||| |||||+-----Tx activity(t)
Not Accept Cells(A)------+||||||||||| ||||||+----Status OK(+)
|||||||||||| |||||||
SERDES Status: |||||||||||| |||||||
Status OK(+)-----------+ |||||||||||| |||||||
Rx power off(*)-------+| |||||||||||| |||||||
Tx power off(*)------+|| |||||||||||| |||||||
Sig not locked(S)---+||| |||||||||||| |||||||
Rx signal loss(*)--+|||| |||||||||||| |||||||
Modified Parms(m)-+||||| |||||||||||| |||||||
Admin down(D)----+|||||| |||||||||||| |||||||
||||||| |||||||||||| |||||||
Fabric lane-----+ ||||||| |||||||||||| |||||||
SERDES lane--+ | ||||||| |||||||||||| ||||||| Config
Source Dev SL FL vvvvvvv vvvvvvvvvvvv vvvvvvv Rate Topology CRC Errs Remote Dev SL FL Last Change
------- --- -- -- ------- ------------ ------- ------------ -------- -------- ------- --- -- -- ----------------------
3= 2/1 FAP 47 15 + A M L 6250.00 Mbps - - 43=14/1 FE 82 82 FAULT_DETECTED ***
Nell'output per lo stesso collegamento nell'altra direzione dalla scheda FSC nello slot 14 alla scheda DPC nello slot 2 è riportato lo stesso errore:
Command: fe600 system-device-id 43
Command: show health
FE600 43=14/1
Fabric Status:
Status OK(+)------------------------+
Topology fault(T)------------------+|
Far side not expected(*)----------+||
Logically not connected(L)-------+|||
Physically not connected(P)-----+|||| NIF Status:
Rx Down(*)---------------------+||||| +----------NIF powered off(*)
Tx Down(*)--------------------+|||||| |+---------SERDES powered off(*)
Code Group(G)----------------+||||||| ||+--------Local side down(l)
Misalignment(M)-------------+|||||||| |||+-------Remote side down(r)
Cell Size(C)---------------+||||||||| ||||+------Rx activity(r)
Internally fixed(I)-------+|||||||||| |||||+-----Tx activity(t)
Not Accept Cells(A)------+||||||||||| ||||||+----Status OK(+)
|||||||||||| |||||||
SERDES Status: |||||||||||| |||||||
Status OK(+)-----------+ |||||||||||| |||||||
Rx power off(*)-------+| |||||||||||| |||||||
Tx power off(*)------+|| |||||||||||| |||||||
Sig not locked(S)---+||| |||||||||||| |||||||
Rx signal loss(*)--+|||| |||||||||||| |||||||
Modified Parms(m)-+||||| |||||||||||| |||||||
Admin down(D)----+|||||| |||||||||||| |||||||
||||||| |||||||||||| |||||||
Fabric lane-----+ ||||||| |||||||||||| |||||||
SERDES lane--+ | ||||||| |||||||||||| ||||||| Config
Source Dev SL FL vvvvvvv vvvvvvvvvvvv vvvvvvv Rate Topology CRC Errs Remote Dev SL FL Last Change
------- --- -- -- ------- ------------ ------- ------------ -------- -------- ------- --- -- -- ----------------------
43=14/1 FE 82 82 + L T 6250.00 Mbps 3= 2/1 - 3= 2/1 FAP 47 15 FAULT_DETECTED ***
Un altro tipo di problema con il collegamento SERDES è lo stato non in linea del collegamento. Nell'esempio, il collegamento tra la scheda DPC nello slot 6 e la scheda FSC nel slot 17 è offline:
23= 6/3 FAP 38 6 D 6250.00 Mbps 50=17/2 1557643 50=17/2 FE 65 65 OFFLINE ***
Il numero totale di collegamenti SERDES attivi e il numero di collegamenti attivi è indicato nell'output del show fabric status Nell'esempio riportato due collegamenti sono stati conteggiati in basso, uno per ciascun lato del collegamento. Una corsia verso il basso non è un problema. La capacità in eccesso del fabric è elevata e una singola corsia non influisce sul throughput. L'unico problema è se i collegamenti vanno su e giù continuamente a causa di errori, nel qual caso è possibile che il traffico di utenti e controllo venga scartato, ed è per questo che è meglio se il collegamento viene rimosso.
[local]ASR5500> show fabric status
Total number of FAPs: 24
Total number of FEs : 8
Total number of SERDES links: 1600
Total number of active SERDES links: 1598
Nota: La capacità in eccesso del fabric è elevata e una singola corsia non influisce sul throughput dello chassis.
- In genere, il problema del collegamento viene risolto da solo. Per risolvere il problema, il sistema esegue le operazioni automatiche denominate Eyescan. I risultati del ripristino automatico sono riportati nel
show serdes all-serdes historysezioni dellashow fabric support details
Nota: Il FE (Fabric Element) è il lato della scheda FSC. Il FAP (Fabric Array Processor) è il lato della scheda DPC e/o MIO.
Le schede DPC hanno 2 FAP, le schede DPC2 solo 1 FAP; le schede MIO dispongono di 4 FAP e le schede FSC di 2 FE.
Il formato nell'output dei comandi è <card #>/<FAP/FE #>, ad esempio MIO 5 avrebbe 5/1, 5/2, 5/3, 5/4.
Uno chassis DPC2 a pieno carico avrebbe 28 endpoint: 8 (8 DPC) + 8 (2 MIO * 4) + 12 ( 6 FCS * 2)
Viene mostrato l'esempio del lato FE ripristinato dopo il ripristino automatico:
card=5, cpu=0, pid=7808, peer_mode=AFIO_IPC_PEER_MODE_DAEMON, sys_dev_id=47=16/1
Fabric Status:
Topology fault(T)----------------+
Far side not expected(*)--------+|
Logically not connected(L)-----+||
Physically not connected(P)---+|||
Rx Down(*)-------------------+||||
Tx Down(*)------------------+||||| NIF Status:
Code Group(G)--------------+|||||| +--------NIF powered off(*)
Misalignment(M)-----------+||||||| |+-------SERDES powered off(*)
Cell Size(C)-------------+|||||||| ||+------Local side down(l)
Internally fixed(I)-----+||||||||| |||+-----Remote side down(r)
Not Accept Cells(A)----+|||||||||| ||||
||||||||||| ||||
SERDES Status: ||||||||||| ||||
Rx power off(*)------+ ||||||||||| ||||
Tx power off(*)-----+| ||||||||||| ||||
Sig not locked(S)--+|| ||||||||||| ||||
Rx signal loss(*)-+||| ||||||||||| ||||
Admin Down(D)----+|||| ||||||||||| ||||
||||| ||||||||||| ||||
Fabric lane-----+ ||||| ||||||||||| ||||
SERDES lane--+ | ||||| ||||||||||| ||||
Record time Source Dev SL FL vvvvv vvvvvvvvvvv vvvv Remote Dev SL FL CRC Errs Last Change
------------------- ------- --- -- -- ----- ----------- ---- ------- --- -- -- -------- ----------------------
2014-05-18+12:38:17 47=16/1 FE 40 40 I 31= 8/1 FAP 43 11 1 CRC_ERROR
2014-05-18+12:39:27 47=16/1 FE 40 40 31= 8/1 FAP 43 11 1 ADMIN_DOWN
2014-05-18+12:39:28 47=16/1 FE 40 40 31= 8/1 FAP 43 11 1 EYESCAN_START
2014-05-18+13:14:41 47=16/1 FE 40 40 31= 8/1 FAP 43 11 1 EYESCAN_COMPLETE
2014-05-18+13:14:50 47=16/1 FE 40 40 31= 8/1 FAP 43 11 1 ADMIN_UP
Il recupero di un altro lato della linea è mostrato nell'esempio:
card=5, cpu=0, pid=7808, peer_mode=AFIO_IPC_PEER_MODE_DAEMON, sys_dev_id=47=16/1
Fabric Status:
Topology fault(T)----------------+
Far side not expected(*)--------+|
Logically not connected(L)-----+||
Physically not connected(P)---+|||
Rx Down(*)-------------------+||||
Tx Down(*)------------------+||||| NIF Status:
Code Group(G)--------------+|||||| +--------NIF powered off(*)
Misalignment(M)-----------+||||||| |+-------SERDES powered off(*)
Cell Size(C)-------------+|||||||| ||+------Local side down(l)
Internally fixed(I)-----+||||||||| |||+-----Remote side down(r)
Not Accept Cells(A)----+|||||||||| ||||
||||||||||| ||||
SERDES Status: ||||||||||| ||||
Rx power off(*)------+ ||||||||||| ||||
Tx power off(*)-----+| ||||||||||| ||||
Sig not locked(S)--+|| ||||||||||| ||||
Rx signal loss(*)-+||| ||||||||||| ||||
Admin Down(D)----+|||| ||||||||||| ||||
||||| ||||||||||| ||||
Fabric lane-----+ ||||| ||||||||||| ||||
SERDES lane--+ | ||||| ||||||||||| ||||
Record time Source Dev SL FL vvvvv vvvvvvvvvvv vvvv Remote Dev SL FL CRC Errs Last Change
------------------- ------- --- -- -- ----- ----------- ---- ------- --- -- -- -------- ----------------------
2014-05-18+12:38:17 47=16/1 FE 40 40 I 31= 8/1 FAP 43 11 1 CRC_ERROR
2014-05-18+12:39:27 47=16/1 FE 40 40 31= 8/1 FAP 43 11 1 ADMIN_DOWN
2014-05-18+12:39:28 47=16/1 FE 40 40 31= 8/1 FAP 43 11 1 EYESCAN_START
2014-05-18+13:14:41 47=16/1 FE 40 40 31= 8/1 FAP 43 11 1 EYESCAN_COMPLETE
2014-05-18+13:14:50 47=16/1 FE 40 40 31= 8/1 FAP 43 11 1 ADMIN_UP
- In StarOS versione 16.1 e successive, il sistema è in grado di generare trap SNMP quando lo chassis rileva una soglia di Egress Queue Discard (EGQ) configurata. Viene mostrato l'esempio dei comandi utilizzati per impostare la soglia su 50 rigetti EGQ per periodo di 30 secondi.
[local]asr5500# config
[local]asr5500(config)# fabric egress drop-threshold enable count 50 interval-secs 30
Ripristino manuale
Quando un collegamento SERDES non è stato ripristinato dopo il test e la riprogrammazione di Eyescan, è necessario un ripristino manuale. Purtroppo con il software, non siamo in grado di determinare quale lato del collegamento SERDES è difettoso. Dobbiamo adottare un approccio metodico per risolvere il problema.
Attenzione: I passaggi 1 e 2 sono obbligatori prima di RMA
- Ricollocare una carta. Estrarre la scheda ed esaminare il backplane della scheda per individuare eventuali pin danneggiati e piegati sulla scheda e sul backplane dello chassis.
- Se si osservano pin danneggiati e piegati, scattare delle foto e inoltrare la richiesta di assistenza (SR) con Cisco TAC.
- Monitorare per 72 ore.
- Se il problema persiste, andare al punto 2.
- Se viene cancellato, il problema è risolto.
- Riposizionare l'altra scheda. Estrarre la scheda ed esaminare il backplane della scheda per individuare eventuali pin danneggiati e piegati sulla scheda e sul backplane dello chassis.
- Se si osservano pin danneggiati e piegati, scattare delle foto e inoltrare la richiesta di assistenza (SR) con Cisco TAC.
- Monitorare per 72 ore.
- Se il problema persiste, andare al punto 3.
- Se viene cancellato, il problema è risolto.
- Aprire SR con Cisco TAC e allegare i dettagli del supporto prima e dopo il riposizionamento delle schede e le immagini dei pin danneggiati o piegati.
Quando il problema viene risolto, show fabric status ha il seguente aspetto:
[local]ASR5500> show fabric status
Total number of FAPs: 24
Total number of FEs : 8
Total number of SERDES links: 1600
Total number of active SERDES links: 1600
Trap SNMP SERDESLanePermenentlyDown è stato ora implementato per indicare quando una corsia SERDES è stata disattivata in modo permanente a causa di guasti alla vista:
Sun Apr 17 00:05:00 2016 Internal trap notification 1303 (SERDESLanePermanentlyDown) SERDES lane is Down on local: slot 17 device 2 serdes lane index 14, Remote: slot 1 device 1 serdes lane index 40
[local]ASR5500> show fabric status
Total number of FAPs: 16
Total number of FEs : 12
Total number of SERDES links: 1456
Total number of active SERDES links: 1454
Total number of Fabric SERDES with errors: 0
Total number of NIF SERDES with errors : 0
[local]ASR5500> show fabric history
Command: arad system-device-id 1
Command: show serdes all-serdes history
Fabric Status:
+------Not Accept Cells(A)
SERDES Status: |+-----Cell Size(C)
Power off(*)-------------+ ||+----Misalignment(M)
Sig not locked(S)-------+| |||+---Code Group(G)
Admin down(D)----------+|| ||||+--Topology fault(T)
||| |||||
Logical Port---------+ ||| |||||
Fabric lane-----+ | ||| |||||
SERDES lane--+ | | ||| |||||
Record time Source Dev SL FL | vvv vvvvv Remote Dev SL FL CRC Errs Last Change
------------------- ------- --- --- --- --- --- ----- ------- --- --- --- -------- ----------------------
2016-04-16+23:53:05 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - FAULT_DETECTED
2016-04-16+23:53:14 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - ADMIN_DOWN
2016-04-16+23:57:02 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - ADMIN_UP
2016-04-16+23:57:02 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - FAULT_DETECTED
2016-04-16+23:57:11 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - ADMIN_DOWN
2016-04-17+00:00:59 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - ADMIN_UP
2016-04-17+00:00:59 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - FAULT_DETECTED
2016-04-17+00:01:08 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - ADMIN_DOWN
2016-04-17+00:05:00 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - ADMIN_UP
2016-04-17+00:05:00 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - FAULT_DETECTED
...
Command: fe600 system-device-id 42
Command: show serdes all-serdes history
NIF Status: Fabric Status:
Remote side down(r)-------+ +------------Not Accept Cells(A)
Local side down(l)-------+| |+-----------Internally fixed(*)
SERDES powered off(*)---+|| ||+----------Cell Size(C)
NIF powered off(*)-----+||| |||+---------Misalignment(M)
|||| ||||+--------Code Group(G)
SERDES Status: |||| |||||+-------Tx Down(*)
Rx power off(*)------+ |||| ||||||+------Rx Down(*)
Tx power off(*)-----+| |||| |||||||+-----Physically not connected(P)
Sig not locked(S)--+|| |||| ||||||||+----Logically not connected(L)
Rx signal loss(*)-+||| |||| |||||||||+---Far side not expected(*)
Admin down(D)----+|||| |||| ||||||||||+--Topology fault(T)
||||| |||| |||||||||||
Fabric lane-----+ ||||| |||| |||||||||||
SERDES lane--+ | ||||| |||| |||||||||||
Record time Source Dev SL FL vvvvv vvvv vvvvvvvvvvv Remote Dev SL FL CRC Errs Last Change
------------------- ------- --- -- -- ----- ---- ----------- ------- --- --- --- -------- ----------------------
2016-04-16+23:57:01 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - FAULT_DETECTED
2016-04-16+23:57:11 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - ADMIN_DOWN
2016-04-16+23:57:11 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - EYESCAN_START
2016-04-17+00:00:52 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - EYESCAN_FAILURE
2016-04-17+00:00:55 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - ADMIN_UP
2016-04-17+00:00:58 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - FAULT_DETECTED
2016-04-17+00:01:08 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - ADMIN_DOWN
2016-04-17+00:01:08 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - EYESCAN_START
2016-04-17+00:04:56 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - EYESCAN_FAILURE
2016-Apr-17+00:05:00.023 [snmp 22002 info] [5/0/7150 <afctrl:0> trap_api.c:17297] [software internal system syslog] Internal trap notification 1303 (SERDESLanePermanentlyDown) SERDES lane is Down on local: slot 17 device 2 serdes lane index 14, Remote: slot 1 device 1 serdes lane index 40
2016-Apr-17+00:05:00.023 [afctrl 186019 critical] [5/0/7150 <afctrl:0> l_msg_handler.c:1541] [hardware internal system syslog] Fabric device 17/2, serdes lane index 14, (remote fabric device 1/1, serdes lane index 40) is Administratively offline due to excessive calibration failures
2016-Apr-16+23:41:09.247 [system 1009 warning] [6/0/10430 <evlogd:1> evlgd_syslogd.c:162] [software internal system critical-info syslog] CPU[5/0]: afio: afio [5/0/9285] [ 426721.037] afio/afio_fe600_serdes.c:2827: #1: fe600=42=17/2, Fabric SERDES lane transitioned from up to down, serdes=14, devid=1=1/1, serdes=40
2016-Apr-16+23:41:09.247 [system 1009 warning] [5/0/7073 <evlogd:0> evlgd_syslogd.c:162] [software internal system critical-info syslog] CPU[5/0]: afio: afio [5/0/9285] [ 426721.037] afio/afio_fe600_serdes.c:2827: #1: fe600=42=17/2, Fabric SERDES lane transitioned from up to down, serdes=14, devid=1=1/1, serdes=40
Informazioni correlate
Cronologia delle revisioni
| Revisione | Data di pubblicazione | Commenti |
|---|---|---|
1.0 |
19-Aug-2022 |
Versione iniziale |
Contributo dei tecnici Cisco
- Mike LugoCisco TAC Technical Leader
- Dave DamerjianCisco TAC Technical Leader
- Dennis LanovCisco TAC Technical Leader
Feedback