Sommario

Introduzione

Panoramica del rilevamento CRC dell'infrastruttura

Comprendere i diversi errori CRC del fabric

Approccio alla risoluzione dei problemi CRC per fabric

Linee guida generali per la risoluzione dei problemi CRC

Case study

Il modulo in entrata danneggia i pacchetti

Log

Problema

Probabile causa del problema

Processo di isolamento dei componenti guasti

XBAR posizionato in modo errato per l'inserimento di pacchetti danneggiati

Log

Problema

Probabile causa del problema

Processo di isolamento dei componenti guasti

Il modulo in uscita guasto danneggia i pacchetti dal fabric

Log

Problema

Probabile causa del problema

Processo di isolamento dei componenti guasti

Comandi per la risoluzione dei problemi

Introduzione

Questo documento descrive come risolvere gli errori di fabric segnalati nella piattaforma Cisco Nexus 7000. La risoluzione dei problemi dei CRC (Cyclic Redundancy Checksum) dell'infrastruttura comporta la raccolta di dati, l'analisi dei dati e un processo di eliminazione per isolare il componente problematico. Questo documento descrive i tipi più comuni di errori CRC dell'infrastruttura.

Panoramica del rilevamento CRC dell'infrastruttura

Di seguito è riportato un diagramma di alto livello di un modulo fabric Nexus 7018 con schede di linea M1:

L'immagine precedente offre una panoramica dei componenti coinvolti quando un pacchetto attraversa un modulo fabric. La Fase 1 (S1), la Fase 2 (S2) e la Fase 3 (S3) sono le tre fasi del fabric Nexus 7000, Octopus è il motore della coda, Santa Cruz (SC) è l'ASIC del fabric e l'Istanza 1 e 2 sono le due istanze SC sulla XBAR. Questo documento considera solo una XBAR. Tenere presente che sulla maggior parte degli switch Nexus serie 7000 sono installati tre o più XBAR.

Ipotizzando la presenza di un flusso unidirezionale dal modulo 1 (M1) al modulo 2 (M2), l'Octopus-1 in entrata su M1 effettua controlli di errore sui pacchetti che riceve da sud e l'Octopus-1 in uscita su M2 da nord. Se viene rilevato CRC in S3, potrebbe essersi verificato un problema anche in S1 o S2, poiché in tali fasi non viene eseguito alcun controllo CRC. I dispositivi coinvolti nel percorso sono il polpo in entrata, il telaio, il tessuto crossbar e il polpo in uscita.

Nell'architettura M1/Fab1, i CRC vengono rilevati solo sulla scheda di linea in uscita (S3).

Di seguito è riportato un messaggio di errore di esempio:

%OC_USD-SLOT1-2-RF_CRC: OC1 received packets with

CRC error from MOD 15 through XBAR slot 1/inst 1

Questo è segnalato da M1, che indica che ha ricevuto pacchetti con CRC errato dal modulo 15 (M15) tramite slot XBAR 1/istanza 1.

Comprendere i diversi errori CRC del fabric

In questa sezione vengono descritti quattro dei tipi più comuni di errori CRC dell'infrastruttura.

- Errore CRC con un singolo modulo di origine, modulo di ricezione e istanza XBAR:
%OC_USD-SLOT1-2-RF_CRC: OC1 received packets with

CRC error from MOD 15 through XBAR slot 1/inst 1
Ciò significa che il modulo nello slot 1 ha rilevato un errore CRC da M15 allo slot XBAR 1/istanza 1. Il modulo da cui sono originati gli errori CRC è denominato modulo in entrata (M15 in questo caso) e il modulo che ha segnalato il problema è il modulo in uscita (M1). XBAR 1 è la barra trasversale in cui il pacchetto è stato ricevuto. Esistono due istanze per XBAR. In questo caso, M1 ha rilevato errori CRC da M15 a XBAR slot 1 istanza 1.

- Errore CRC con un singolo modulo di origine, modulo di ricezione, ma nessuna istanza XBAR:
%OC_USD-SLOT4-2-RF_CRC: OC2 received packets with

CRC error from MOD 1
In questo messaggio, il modulo 4 (M4) ha riportato l'errore CRC da M1. Si noti che le informazioni XBAR non sono disponibili. Impossibile verificare la XBAR attraversata dal pacchetto. I motivi sono molteplici, ma i più comuni sono: Le informazioni nell'intestazione fabric del pacchetto potrebbero essere danneggiate, quindi non è possibile determinare il modulo di origine; l'oggetto XBAR attraversato viene rimosso dal sistema da quando l'errore è aumentato. Pertanto, non è stato segnalato nel messaggio di syslog orario.

- Errore CRC senza modulo di ricezione:
%OC_USD-2-RF_CRC: OC1 received packets with

CRC error from MOD 16 through XBAR slot 1/inst 1
In questo caso, un dispositivo ha rilevato un CRC dal modulo 16 (M16) a XBAR 1. Non esiste tuttavia alcun modulo di ricezione. Quando il Supervisor (SUP) rileva un CRC proveniente dal modulo fabric, le informazioni sullo slot non vengono registrate. Quando non vengono visualizzate le informazioni sullo slot, il SUP ha rilevato il problema. Questo non significa che la SUP sia dannosa. Come quando il modulo segnala il problema, il problema potrebbe essere stato causato da più componenti: M16, lo chassis (meno probabile), XBAR 1 o il SUP.

- Errore CRC con più moduli di origine possibili:
%OC_USD-SLOT6-2-RF_CRC: OC2 received packets with

CRC error from MOD 11 or 12 or 14 or 15 or 16 or 17 or 18
Il modulo di origine viene ricavato dal polpo in entrata che ha originato il pacchetto errato. Il driver che genera un interrupt per registrare questo messaggio di errore non sempre conosce il Octopus in entrata da cui ha avuto origine il pacchetto errato. Ciò è dovuto al fatto che alcuni dei bit usati per rappresentare il polpo in entrata non sono usati. Se il sistema determina che più moduli hanno questi bit inutilizzati attivati, deve presupporre che uno di essi possa essere l'origine, e di conseguenza il messaggio di errore deve includere tutti questi moduli. Il sistema ha rilevato che il modulo 13 (M13) non può avere questo conflitto a causa dei bit non utilizzati; pertanto, non viene registrato come origine potenziale.

Approccio alla risoluzione dei problemi CRC per fabric

Le nuove linecard (M2) e il modulo fabric 2 (FAB2) rilevano i CRC in S1, S2 o S3. Quando si esaminano in dettaglio e si individuano gli schemi nei messaggi di errore e di log, è possibile isolare il componente difettoso.

Ecco alcune domande da porre:

- Il messaggio di errore era un evento singolo o sono stati registrati più messaggi di errore CRC?

- Con quale frequenza vengono registrati i messaggi di errore CRC? (Ogni ora, una volta al giorno, una volta al mese?)

- Gli errori CRC TUTTI provengono dallo stesso modulo in entrata?

- Gli errori CRC SONO TUTTI segnalati sullo stesso modulo in uscita?

- Gli errori CRC di più moduli in ingresso E segnalati su più moduli in uscita?

- Se più moduli segnalano errori CRC, è disponibile un modulo di origine o XBAR comune?

Le risposte a queste domande consentono di affrontare la procedura di risoluzione dei problemi da un punto di vista che è più probabile porti a una risoluzione più rapida.

Linee guida generali per la risoluzione dei problemi CRC

In questa sezione viene descritto il framework generale utilizzato per risolvere i problemi.

1. Trovare i moduli comuni (incluse le XBAR) segnalati nei messaggi di errore CRC dell'infrastruttura.

2. Dopo aver individuato i moduli comuni, scegliere la causa più probabile del problema, arrestare il sistema (nel caso di XBAR), spostarlo in uno slot noto che funziona, ricollocarlo e sostituirlo durante il monitoraggio per verificare se il problema si è risolto. Spegnere, ricollocare e sostituire i moduli uno alla volta. In questo modo è più facile isolare la parte difettosa.

3. Quando si arresta, si sposta, si ricolloca o si sostituisce una parte, cercare eventuali modifiche nei sintomi del problema. Dopo aver appreso ulteriori informazioni da ciascuna fase, potrebbe essere necessario rivedere il piano d'azione.

4. Se vengono sostituite più parti e il problema persiste:

- Le nuove parti potrebbero essere difettose.

- Più XBAR potrebbero essere errati.

- La causa potrebbe essere uno slot per chassis non valido.

Case study

In questa sezione vengono forniti esempi di come risolvere problemi simili.

Il modulo in entrata danneggia i pacchetti

Log

%OC_USD-SLOT1-2-RF_CRC: OC2 received packets with CRC error from MOD 7

%OC_USD-SLOT3-2-RF_CRC: OC2 received packets with CRC error from MOD 7

%OC_USD-SLOT1-2-RF_CRC: OC2 received packets with CRC error from MOD 7

%OC_USD-SLOT3-2-RF_CRC: OC2 received packets with CRC error from MOD 7

%OC_USD-SLOT1-2-RF_CRC: OC2 received packets with CRC error from MOD 7

%OC_USD-SLOT3-2-RF_CRC: OC2 received packets with CRC error from MOD 7

Problema

Per alcune ore, gli errori CRC vengono rilevati solo su M1 e sul modulo 3 (M3) provenienti dal modulo 7 (M7).

Probabile causa del problema

È presente una XBAR errata o mal posizionata che danneggia i pacchetti indirizzati a M7, oppure M7 è danneggiato o mal posizionato.

Processo di isolamento dei componenti guasti

1. Spegnere gli XBAR uno per uno durante il monitoraggio per verificare se il problema è stato risolto.

2. Ricollocare il notebook Ingress M7 durante il monitoraggio.

3. Sostituire M7 durante il monitoraggio.

Se sono installati tre XBAR, si ottiene la ridondanza N+1. Pertanto, è possibile arrestarli uno alla volta (mai più di uno alla volta) con un impatto minimo per vedere se il problema è risolto. Per completare il processo, immettere i seguenti comandi:

N7K(config)# poweroff xbar 1

<monitor>

N7K(config)# no poweroff xbar 1

N7K(config)# poweroff xbar 2

<monitor>

N7K(config)# no poweroff xbar 2

N7K(config)# poweroff xbar 3

N7K(config)# no poweroff xbar 3

In questo caso di studio, il problema non è stato risolto al momento della chiusura degli XBAR.

Poiché sono presenti due moduli che segnalano errori CRC, è improbabile che la causa siano questi due moduli (M1 e M3). Il passo successivo è ricollocare M7 (modulo in entrata), perché è molto probabile che sia il componente difettoso. Le linecard posizionate in modo errato potrebbero causare questo problema e si consiglia di ricollocare il modulo prima della sostituzione.

In questo caso di studio, gli errori CRC hanno continuato ad aumentare nel modulo fabric dopo un riposizionamento di M7. Contattare il Cisco Technical Assistance Center (TAC) a questo punto (o prima di questo punto) per sostituire M7 poiché il riposizionamento non risolve il problema.

In questo caso di studio, la sostituzione di M7 ha arrestato i messaggi di errore CRC dell'infrastruttura e ha risolto la perdita del pacchetto.

XBAR posizionato in modo errato per l'inserimento di pacchetti danneggiati

Log

%OC_USD-SLOT11-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT12-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT13-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT15-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT2-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT4-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT5-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT6-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT7-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT8-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

Problema

Più moduli segnalano errori CRC dal modulo 12 (M12) che passano attraverso XBAR 3.

Probabile causa del problema

XBAR 3 non valido o alloggiato in modo difettoso oppure M12 è alloggiato in modo difettoso.

Processo di isolamento dei componenti guasti

1. Spegnere XBAR 3 durante il monitoraggio.

2. Ricollocare il notebook Ingress M12 durante il monitoraggio.

3. Sostituire M12 durante il monitoraggio.

In questo caso, XBAR 3 viene chiuso con la procedura descritta in precedenza (nel primo caso di studio) e monitorato per rilevare ulteriori errori. È stato rilevato che gli errori sono cessati al momento della chiusura di XBAR 3. A questo punto, XBAR 3 viene riposizionato e si fa attenzione a non piegare alcun perno sul piano intermedio e a non inserire correttamente il modulo. Dopo la riattivazione di XBAR 3, il problema non si ripresenta più. Questo problema è dovuto a un modulo XBAR inserito in modo non corretto.

Il modulo in uscita guasto danneggia i pacchetti dal fabric

Log

%OC_USD-SLOT6-2-RF_CRC: OC1 received packets with CRC error from

MOD 1 or 2 or 7 or 13 or 17 through XBAR

slot 1/inst 1 and slot 2/inst 1 and slot 3/inst 1

%OC_USD-SLOT6-2-RF_CRC: OC2 received packets with CRC error from

MOD 1 or 2 or 3 or 7 or 15 or 17 through XBAR

slot 2/inst 1 and slot 3/inst 1

%OC_USD-SLOT6-2-RF_CRC: OC1 received packets with CRC error from

MOD 1 or 2 or 5 or 7 or 16 or 17 through XBAR

slot 1/inst 1 and slot 2/inst 1 and slot 3/inst 1

Problema

Il modulo 6 (M6) segnala i pacchetti con errori CRC ricevuti da più schede di linea e XBAR.

Probabile causa del problema

M6 non è posizionato correttamente o è danneggiato.

Processo di isolamento dei componenti guasti

1. Riposizionare M6 durante il monitoraggio.

2. Sostituire M6 durante il monitoraggio.

M6 è la causa più probabile di questo problema perché è l'unico modulo comune in tutti i messaggi di errore. Tra tutti i moduli elencati nei messaggi di errore, quello che appare più frequentemente è M6. Pertanto, tentare di ricollocare M6 per verificare se il problema è risolto prima di sostituirlo.

In questo caso, M6 viene riposizionato, ma gli errori persistono. Quindi, per sostituire M6, è necessario aprire una richiesta TAC di Cisco. Dopo la sostituzione di M6, gli errori non vengono segnalati.

Comandi per la risoluzione dei problemi

Di seguito è riportato un elenco dei comandi usati per risolvere i problemi/eseguire il debug:

- mostra orologio

- mostra mod xbar

- mostra dettagli sull'utilizzo della struttura hardware

- mostra timestamp dettagli utilizzo fabric hardware

- show hardware internal xbar-driver all event-history errors

- show hardware internal xbar-driver all event-history msgs

- show system internal xbar-client internal event-history msgs

- mostra xbar interna sistema all

- show module internal event-history xbar 1

- mostra xbar 1 attività interna modulo

- show module internal event-history xbar 2

- mostra modulo attività interna xbar 2

- show module internal event-history xbar 3

- mostra modulo attività interna xbar 3

- show module internal event-history xbar 4

- mostra modulo attività interna xbar 4

- show module internal event-history xbar 5

- mostra modulo attività interna xbar 5

- show logging onboard internal xbar

- mostra accesso a bordo polpo interno

- mostra dettagli tecnici