Sommario

Introduzione

Premesse

Comandi per la risoluzione dei problemi della corsia SERDES

Ripristino manuale

Informazioni correlate

Introduzione

In questo documento vengono descritti i comandi per la risoluzione dei problemi relativi al percorso (collegamento) del deserializzatore (SERDES) in ASR 5500.

Premesse

ASR 5500 contiene collegamenti SERDES tra le schede per facilitare la comunicazione e i percorsi dei dati tra le schede Fabric e Storage Card (FSC), Data Processing Card (DPC) e Management Input/Output (MIO). In alcuni casi, questi collegamenti SERDES possono essere interrotti a causa di errori o guasti hardware.

Comandi per la risoluzione dei problemi della corsia SERDES

Comandi per esaminare le corsie SERDES dello chassis ASR 5500:

- Raccogli show support details, controllare la "console di debug..." porzione per le righe di output:

1397273780.205 card 5-cpu0: afio [5/0/7808] [  80616.933] afio/afio_fe600_serdes.c:3297: #1: fe600=47=16/1, Fabric SERDES lane transitioned from up to down, serdes=29, devid=25=7/1

- Accesso alla modalità di test della CLI dello chassis cli test-commands password

.

Attenzione: L'utilizzo di questa modalità può causare un'interruzione significativa del servizio

- Problema show fabric health per un'immagine generale del fabric di switching.

Suggerimento: Le stesse informazioni possono essere ottenute show fabric support details parte dei dettagli del supporto show

Nell'esempio, esiste un problema tra la scheda DPC Card 2 e la scheda FSC Card 14.

Nell'output, il guasto è segnalato dalla sorgente DPC nello slot 2 verso FSC nello slot 14:

Command: petra-b system-device-id 3

Command: show health

Petra-B 3=2/1

Fabric Status:

Status OK(+)------------------------+

Topology fault(T)------------------+|

Far side not expected(*)----------+||

Logically not connected(L)-------+|||

Physically not connected(P)-----+||||           NIF Status:

Rx Down(*)---------------------+||||| +----------NIF powered off(*)

Tx Down(*)--------------------+|||||| |+---------SERDES powered off(*)

Code Group(G)----------------+||||||| ||+--------Local side down(l)

Misalignment(M)-------------+|||||||| |||+-------Remote side down(r)

Cell Size(C)---------------+||||||||| ||||+------Rx activity(r)

Internally fixed(I)-------+|||||||||| |||||+-----Tx activity(t)

Not Accept Cells(A)------+||||||||||| ||||||+----Status OK(+)

|||||||||||| |||||||

SERDES Status:            |||||||||||| |||||||

Status OK(+)-----------+ |||||||||||| |||||||

Rx power off(*)-------+| |||||||||||| |||||||

Tx power off(*)------+|| |||||||||||| |||||||

Sig not locked(S)---+||| |||||||||||| |||||||

Rx signal loss(*)--+|||| |||||||||||| |||||||

Modified Parms(m)-+||||| |||||||||||| |||||||

Admin down(D)----+|||||| |||||||||||| |||||||

||||||| |||||||||||| |||||||

Fabric lane-----+ ||||||| |||||||||||| |||||||

SERDES lane--+  | ||||||| |||||||||||| |||||||                                      Config

Source  Dev SL FL vvvvvvv vvvvvvvvvvvv vvvvvvv     Rate     Topology CRC Errs  Remote Dev SL FL       Last Change

------- --- -- -- ------- ------------ ------- ------------ -------- -------- ------- --- -- -- ----------------------

3= 2/1 FAP 47 15       + A  M    L            6250.00 Mbps        -        - 43=14/1  FE 82 82 FAULT_DETECTED         ***

Nell'output per lo stesso collegamento nell'altra direzione dalla scheda FSC nello slot 14 alla scheda DPC nello slot 2 è riportato lo stesso errore:

Command: fe600 system-device-id 43

Command: show health

FE600 43=14/1

Fabric Status:

Status OK(+)------------------------+

Topology fault(T)------------------+|

Far side not expected(*)----------+||

Logically not connected(L)-------+|||

Physically not connected(P)-----+||||           NIF Status:

Rx Down(*)---------------------+||||| +----------NIF powered off(*)

Tx Down(*)--------------------+|||||| |+---------SERDES powered off(*)

Code Group(G)----------------+||||||| ||+--------Local side down(l)

Misalignment(M)-------------+|||||||| |||+-------Remote side down(r)

Cell Size(C)---------------+||||||||| ||||+------Rx activity(r)

Internally fixed(I)-------+|||||||||| |||||+-----Tx activity(t)

Not Accept Cells(A)------+||||||||||| ||||||+----Status OK(+)

|||||||||||| |||||||

SERDES Status:            |||||||||||| |||||||

Status OK(+)-----------+ |||||||||||| |||||||

Rx power off(*)-------+| |||||||||||| |||||||

Tx power off(*)------+|| |||||||||||| |||||||

Sig not locked(S)---+||| |||||||||||| |||||||

Rx signal loss(*)--+|||| |||||||||||| |||||||

Modified Parms(m)-+||||| |||||||||||| |||||||

Admin down(D)----+|||||| |||||||||||| |||||||

||||||| |||||||||||| |||||||

Fabric lane-----+ ||||||| |||||||||||| |||||||

SERDES lane--+  | ||||||| |||||||||||| |||||||                                      Config

Source  Dev SL FL vvvvvvv vvvvvvvvvvvv vvvvvvv     Rate     Topology CRC Errs  Remote Dev SL FL       Last Change

------- --- -- -- ------- ------------ ------- ------------ -------- -------- ------- --- -- -- ----------------------

43=14/1  FE 82 82       +         L T          6250.00 Mbps   3= 2/1        -  3= 2/1 FAP 47 15 FAULT_DETECTED         ***

Un altro tipo di problema con il collegamento SERDES è lo stato non in linea del collegamento. Nell'esempio, il collegamento tra la scheda DPC nello slot 6 e la scheda FSC nel slot 17 è offline:

23= 6/3 FAP 38  6 D                            6250.00 Mbps  50=17/2  1557643 50=17/2  FE 65 65 OFFLINE                ***

Il numero totale di collegamenti SERDES attivi e il numero di collegamenti attivi è indicato nell'output del show fabric status Nell'esempio riportato due collegamenti sono stati conteggiati in basso, uno per ciascun lato del collegamento. Una corsia verso il basso non è un problema. La capacità in eccesso del fabric è elevata e una singola corsia non influisce sul throughput. L'unico problema è se i collegamenti vanno su e giù continuamente a causa di errori, nel qual caso è possibile che il traffico di utenti e controllo venga scartato, ed è per questo che è meglio se il collegamento viene rimosso.

[local]ASR5500> show fabric status

Total number of FAPs: 24

Total number of FEs : 8

Total number of SERDES links:        1600

Total number of active SERDES links: 1598

Nota: La capacità in eccesso del fabric è elevata e una singola corsia non influisce sul throughput dello chassis.

- In genere, il problema del collegamento viene risolto da solo. Per risolvere il problema, il sistema esegue le operazioni automatiche denominate Eyescan. I risultati del ripristino automatico sono riportati nel show serdes all-serdes history sezioni della show fabric support details

Nota: Il FE (Fabric Element) è il lato della scheda FSC. Il FAP (Fabric Array Processor) è il lato della scheda DPC e/o MIO.

Le schede DPC hanno 2 FAP, le schede DPC2 solo 1 FAP; le schede MIO dispongono di 4 FAP e le schede FSC di 2 FE.

Il formato nell'output dei comandi è <card #>/<FAP/FE #>, ad esempio MIO 5 avrebbe 5/1, 5/2, 5/3, 5/4.

Uno chassis DPC2 a pieno carico avrebbe 28 endpoint: 8 (8 DPC) + 8 (2 MIO * 4) + 12 ( 6 FCS * 2)

Viene mostrato l'esempio del lato FE ripristinato dopo il ripristino automatico:

card=5, cpu=0, pid=7808, peer_mode=AFIO_IPC_PEER_MODE_DAEMON, sys_dev_id=47=16/1

Fabric Status:

Topology fault(T)----------------+

Far side not expected(*)--------+|

Logically not connected(L)-----+||

Physically not connected(P)---+|||

Rx Down(*)-------------------+||||

Tx Down(*)------------------+|||||        NIF Status:

Code Group(G)--------------+|||||| +--------NIF powered off(*)

Misalignment(M)-----------+||||||| |+-------SERDES powered off(*)

Cell Size(C)-------------+|||||||| ||+------Local side down(l)

Internally fixed(I)-----+||||||||| |||+-----Remote side down(r)

Not Accept Cells(A)----+|||||||||| ||||

||||||||||| ||||

SERDES Status:            ||||||||||| ||||

Rx power off(*)------+ ||||||||||| ||||

Tx power off(*)-----+| ||||||||||| ||||

Sig not locked(S)--+|| ||||||||||| ||||

Rx signal loss(*)-+||| ||||||||||| ||||

Admin Down(D)----+|||| ||||||||||| ||||

||||| ||||||||||| ||||

Fabric lane-----+ ||||| ||||||||||| ||||

SERDES lane--+  | ||||| ||||||||||| ||||

Record time     Source  Dev SL FL vvvvv vvvvvvvvvvv vvvv Remote  Dev SL FL CRC Errs        Last Change

------------------- ------- --- -- -- ----- ----------- ---- ------- --- -- -- -------- ----------------------

2014-05-18+12:38:17 47=16/1  FE 40 40        I               31= 8/1 FAP 43 11        1 CRC_ERROR

2014-05-18+12:39:27 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 ADMIN_DOWN

2014-05-18+12:39:28 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 EYESCAN_START

2014-05-18+13:14:41 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 EYESCAN_COMPLETE

2014-05-18+13:14:50 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 ADMIN_UP

Il recupero di un altro lato della linea è mostrato nell'esempio:

card=5, cpu=0, pid=7808, peer_mode=AFIO_IPC_PEER_MODE_DAEMON, sys_dev_id=47=16/1

Fabric Status:

Topology fault(T)----------------+

Far side not expected(*)--------+|

Logically not connected(L)-----+||

Physically not connected(P)---+|||

Rx Down(*)-------------------+||||

Tx Down(*)------------------+|||||        NIF Status:

Code Group(G)--------------+|||||| +--------NIF powered off(*)

Misalignment(M)-----------+||||||| |+-------SERDES powered off(*)

Cell Size(C)-------------+|||||||| ||+------Local side down(l)

Internally fixed(I)-----+||||||||| |||+-----Remote side down(r)

Not Accept Cells(A)----+|||||||||| ||||

||||||||||| ||||

SERDES Status:            ||||||||||| ||||

Rx power off(*)------+ ||||||||||| ||||

Tx power off(*)-----+| ||||||||||| ||||

Sig not locked(S)--+|| ||||||||||| ||||

Rx signal loss(*)-+||| ||||||||||| ||||

Admin Down(D)----+|||| ||||||||||| ||||

||||| ||||||||||| ||||

Fabric lane-----+ ||||| ||||||||||| ||||

SERDES lane--+  | ||||| ||||||||||| ||||

Record time     Source  Dev SL FL vvvvv vvvvvvvvvvv vvvv Remote  Dev SL FL CRC Errs        Last Change

------------------- ------- --- -- -- ----- ----------- ---- ------- --- -- -- -------- ----------------------

2014-05-18+12:38:17 47=16/1  FE 40 40        I               31= 8/1 FAP 43 11        1 CRC_ERROR

2014-05-18+12:39:27 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 ADMIN_DOWN

2014-05-18+12:39:28 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 EYESCAN_START

2014-05-18+13:14:41 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 EYESCAN_COMPLETE

2014-05-18+13:14:50 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 ADMIN_UP

- In StarOS versione 16.1 e successive, il sistema è in grado di generare trap SNMP quando lo chassis rileva una soglia di Egress Queue Discard (EGQ) configurata. Viene mostrato l'esempio dei comandi utilizzati per impostare la soglia su 50 rigetti EGQ per periodo di 30 secondi.

[local]asr5500# config

[local]asr5500(config)# fabric egress drop-threshold enable count 50 interval-secs 30

Ripristino manuale

Quando un collegamento SERDES non è stato ripristinato dopo il test e la riprogrammazione di Eyescan, è necessario un ripristino manuale. Purtroppo con il software, non siamo in grado di determinare quale lato del collegamento SERDES è difettoso. Dobbiamo adottare un approccio metodico per risolvere il problema.

Attenzione: I passaggi 1 e 2 sono obbligatori prima di RMA

1. Ricollocare una carta. Estrarre la scheda ed esaminare il backplane della scheda per individuare eventuali pin danneggiati e piegati sulla scheda e sul backplane dello chassis.

- Se si osservano pin danneggiati e piegati, scattare delle foto e inoltrare la richiesta di assistenza (SR) con Cisco TAC.

- Monitorare per 72 ore.

- Se il problema persiste, andare al punto 2.

- Se viene cancellato, il problema è risolto.

2. Riposizionare l'altra scheda. Estrarre la scheda ed esaminare il backplane della scheda per individuare eventuali pin danneggiati e piegati sulla scheda e sul backplane dello chassis.

- Se si osservano pin danneggiati e piegati, scattare delle foto e inoltrare la richiesta di assistenza (SR) con Cisco TAC.

- Monitorare per 72 ore.

- Se il problema persiste, andare al punto 3.

- Se viene cancellato, il problema è risolto.

3. Aprire SR con Cisco TAC e allegare i dettagli del supporto prima e dopo il riposizionamento delle schede e le immagini dei pin danneggiati o piegati.

Quando il problema viene risolto, show fabric status ha il seguente aspetto:

[local]ASR5500> show fabric status

Total number of FAPs: 24

Total number of FEs : 8

Total number of SERDES links:        1600

Total number of active SERDES links: 1600

Trap SNMP SERDESLanePermenentlyDown è stato ora implementato per indicare quando una corsia SERDES è stata disattivata in modo permanente a causa di guasti alla vista:

Sun Apr 17 00:05:00 2016 Internal trap notification 1303 (SERDESLanePermanentlyDown) SERDES lane is Down on local: slot 17 device 2 serdes lane index 14, Remote: slot 1 device 1 serdes lane index 40

[local]ASR5500> show fabric status

Total number of FAPs: 16

Total number of FEs : 12

Total number of SERDES links:        1456

Total number of active SERDES links: 1454

Total number of Fabric SERDES with errors: 0

Total number of NIF SERDES with errors   : 0

[local]ASR5500> show fabric history

Command: arad system-device-id 1

Command: show serdes all-serdes history

Fabric Status:

+------Not Accept Cells(A)

SERDES Status:              |+-----Cell Size(C)

Power off(*)-------------+ ||+----Misalignment(M)

Sig not locked(S)-------+| |||+---Code Group(G)

Admin down(D)----------+|| ||||+--Topology fault(T)

||| |||||

Logical Port---------+  ||| |||||

Fabric lane-----+    |  ||| |||||

SERDES lane--+  |    |  ||| |||||

Record time     Source  Dev SL  FL   |  vvv vvvvv Remote  Dev SL  FL  CRC Errs      Last Change

------------------- ------- --- --- --- --- --- ----- ------- --- --- --- -------- ----------------------

2016-04-16+23:53:05  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - FAULT_DETECTED

2016-04-16+23:53:14  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - ADMIN_DOWN

2016-04-16+23:57:02  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - ADMIN_UP

2016-04-16+23:57:02  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - FAULT_DETECTED

2016-04-16+23:57:11  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - ADMIN_DOWN

2016-04-17+00:00:59  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - ADMIN_UP

2016-04-17+00:00:59  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - FAULT_DETECTED

2016-04-17+00:01:08  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - ADMIN_DOWN

2016-04-17+00:05:00  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - ADMIN_UP

2016-04-17+00:05:00  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - FAULT_DETECTED

...

Command: fe600 system-device-id 42

Command: show serdes all-serdes history

NIF Status:                               Fabric Status:

Remote side down(r)-------+ +------------Not Accept Cells(A)

Local side down(l)-------+| |+-----------Internally fixed(*)

SERDES powered off(*)---+|| ||+----------Cell Size(C)

NIF powered off(*)-----+||| |||+---------Misalignment(M)

|||| ||||+--------Code Group(G)

SERDES Status:          |||| |||||+-------Tx Down(*)

Rx power off(*)------+ |||| ||||||+------Rx Down(*)

Tx power off(*)-----+| |||| |||||||+-----Physically not connected(P)

Sig not locked(S)--+|| |||| ||||||||+----Logically not connected(L)

Rx signal loss(*)-+||| |||| |||||||||+---Far side not expected(*)

Admin down(D)----+|||| |||| ||||||||||+--Topology fault(T)

||||| |||| |||||||||||

Fabric lane-----+ ||||| |||| |||||||||||

SERDES lane--+  | ||||| |||| |||||||||||

Record time     Source  Dev SL FL vvvvv vvvv vvvvvvvvvvv Remote  Dev SL  FL  CRC Errs      Last Change

------------------- ------- --- -- -- ----- ---- ----------- ------- --- --- --- -------- ----------------------

2016-04-16+23:57:01 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - FAULT_DETECTED

2016-04-16+23:57:11 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - ADMIN_DOWN

2016-04-16+23:57:11 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - EYESCAN_START

2016-04-17+00:00:52 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - EYESCAN_FAILURE

2016-04-17+00:00:55 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - ADMIN_UP

2016-04-17+00:00:58 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - FAULT_DETECTED

2016-04-17+00:01:08 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - ADMIN_DOWN

2016-04-17+00:01:08 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - EYESCAN_START

2016-04-17+00:04:56 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - EYESCAN_FAILURE

2016-Apr-17+00:05:00.023 [snmp 22002 info] [5/0/7150 <afctrl:0> trap_api.c:17297] [software internal system syslog] Internal trap notification 1303 (SERDESLanePermanentlyDown) SERDES lane is Down on local: slot 17 device 2 serdes lane index 14, Remote: slot 1 device 1 serdes lane index 40

2016-Apr-17+00:05:00.023 [afctrl 186019 critical] [5/0/7150 <afctrl:0> l_msg_handler.c:1541] [hardware internal system syslog] Fabric device 17/2, serdes lane index 14, (remote fabric device 1/1, serdes lane index 40) is Administratively offline due to excessive calibration failures

2016-Apr-16+23:41:09.247 [system 1009 warning] [6/0/10430 <evlogd:1> evlgd_syslogd.c:162] [software internal system critical-info syslog] CPU[5/0]:  afio: afio [5/0/9285] [ 426721.037] afio/afio_fe600_serdes.c:2827: #1: fe600=42=17/2, Fabric SERDES lane transitioned from up to down, serdes=14, devid=1=1/1, serdes=40

2016-Apr-16+23:41:09.247 [system 1009 warning] [5/0/7073 <evlogd:0> evlgd_syslogd.c:162] [software internal system critical-info syslog] CPU[5/0]:  afio: afio [5/0/9285] [ 426721.037] afio/afio_fe600_serdes.c:2827: #1: fe600=42=17/2, Fabric SERDES lane transitioned from up to down, serdes=14, devid=1=1/1, serdes=40

Informazioni correlate

- Guida alla risoluzione dei problemi di Cisco ASR 5500