Sommario

Introduzione

Premesse

Sintomi tipici se l'SSD non viene sostituita

Come verificare lo stato corrente di un'unità SSD?

Avvisi proattivi di sistema

Analisi manuale dei dati

Trigger che causano l'esaurimento della durata delle unità SSD dello switch

Ottimizzazione del codice

Ricarica modifica comportamento tipo

Domande frequenti varie

Introduzione

Questo documento descrive il comportamento di esaurimento della durata delle unità SSD sulle piattaforme dello switch ACI.

Se l'accesso a questa pagina è stato effettuato a causa di un errore SSD generato contro APIC (non un nodo dello switch), fare riferimento a FN64329.

Questa nota tecnica documenta la procedura di sostituzione delle unità a stato solido APIC.

Premesse

I nodi ACI Leaf e Spine sfruttano le unità a stato solido (SSD) per lo storage e la registrazione degli eventi. Tutte le unità SSD, indipendentemente dal tipo di fornitore, hanno una durata fissa basata su attributi specifici definiti dal produttore. Alcuni esempi includono il numero di operazioni di scrittura e cancellazione e il volume dei dati trasferiti alle unità in un determinato periodo di tempo. La durata delle unità SSD sui nodi Leaf e Spine può esaurirsi a causa dell'usura regolare. Se l'utente non intraprende le azioni appropriate contro uno switch con SSD quasi esaurito, lo switch potrebbe bloccarsi a causa dell'attivazione della modalità di sola lettura dell'SSD. Per questo motivo, è imperativo dare priorità alla sostituzione delle unità a stato solido nel caso in cui l'errore F3073 venga segnalato su un determinato nodo. In questo scenario, l'intero switch viene sostituito in quanto l'SSD non è un'unità sostituibile sul campo.

F3073 è stato implementato nelle versioni 2.1(4), 2.2(4), 2.3(1o) e 3.1(2m). Tutte le versioni software successive hanno la funzionalità per aumentare la F3073.

Nota: Se si esegue una versione del software ACI priva di funzionalità di monitoraggio SSD, si consiglia di eseguire l'aggiornamento a una versione in cui tale monitoraggio sia disponibile.

Sintomi tipici se l'SSD non viene sostituita

1. Quando lo switch non si avvia, sulla console si possono verificare i seguenti errori:

/dev/hd-cfg0: ********** WARNING: Filesystem still has errors **********

e2fsck 1.42.1 (17-Feb-2012)

/dev/hd-cfg1: recovering journal

/sbin/e2fsck: unable to set superblock flags on /dev/hd-cfg1

2. Il sistema è in grado di sollevare proattivamente i guasti relativi alle unità SSD (F3073 o F3074 in base all'utilizzo della durata delle unità SSD) nelle versioni successive del codice (vedere la sezione successiva)

- F3074: fltEqptFlashFlash-minor-alarm (80% lifetime)

- F3073: fltEqptFlashFlash-worn-out    (90% lifetime)

3. L'errore F3525 potrebbe inoltre essere generato in caso di elevato utilizzo di SSD. Questo errore è spesso confuso con F3073/F3074.

# fault.Inst

code : F3525

ack : no

annotation :

cause : equipment-flash-warning

changeSet : deltape (New: 21), peCycles (New: 1678), tbw (New: 32.465179), warning (New: yes)

childAction :

created : 2019-08-05T18:22:01.455-07:00

delegated : no

descr : High SSD usage observed. Please check switch activity and contact Cisco Technical Support about high SSD usage.

dn : topology/pod-1/node-206/sys/ch/supslot-1/sup/flash/fault-F3525

domain : infra

extMngdBy : undefined

highestSeverity : warning

lastTransition : 2019-08-05T18:24:02.029-07:00

lc : raised

modTs : never

occur : 1

origSeverity : warning

prevSeverity : warning

rn : fault-F3525

rule : eqpt-flash-flash-warning-alarm

severity : warning

status :

subject : flash-warning-alarm

type : operational

L'errore F3525 viene generato se i cicli P/E (cancellazione programmata) aumentano di oltre 21 in 7 giorni. Ciò non significa che le unità SSD siano esaurite, ma semplicemente che vi sia una grande variabilità che potrebbe causare l'usura delle unità.

Occorre lavorare con TAC per capire cosa sta causando questo cambiamento e affrontarlo.

Esiste anche una regola per modificare le soglie che causano l'aumento di F3525 per un tipo specifico di SSD (Access Policies > Policies > Switch > Equipment Flash Config Policies)

Come verificare lo stato corrente di un'unità SSD?

Esistono due modi per controllare lo stato della durata delle unità SSD:

- Avvisi proattivi di sistema

- Analisi manuale dei dati

Avvisi proattivi di sistema

Il monitoraggio della durata delle unità SSD è stato aggiunto come parte di CSCve88634 nelle seguenti versioni del codice:

- 2.1(4) e oltre per il treno 2.1

- 2.2(4) e oltre per 2.2 treno

- 2.3(1o) e oltre per il treno 2.3

- 3.1(2m) e tutte le release future

Un errore di minore entità viene generato quando l'unità raggiunge l'80% della sua durata e un errore di maggiore entità viene generato quando supera il 90% della sua durata.

Ciò consente agli operatori di rete di monitorare e sostituire proattivamente qualsiasi switch prima che si guasti a causa del superamento della durata delle unità SSD.

- F3074: fltEqptFlash-minor-alarm (durata dell'80%)

- F3073: fltEqptFlash consumato (durata del 90%)

Nelle versioni precedenti del codice la durata delle unità SSD non veniva controllata per gli switch SSD e pertanto, anche se lo switch si avvicinava alla scadenza delle unità SSD, non veniva generato alcun errore.

Analisi manuale dei dati

La registrazione dell'utilizzo delle unità a stato solido è stata introdotta a partire da queste versioni 3.2(5d) 3.2(6i) 3.2(7f) 4.1(1i).

a-leaf101# cat /mnt/pss/ssd_log_amp.log   (Tested on 4.2.3l)

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 16 19:00:01 EST 2019   16531370        0       29398      12350    100             0               122396965772    3825894828           60841125365               16         0.00 %              0               0

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 17 19:00:01 EST 2019   16531725        0       29422      12355    100             0               122447755358    3827482016           60858831240               16         0.00 %          12355      61606629993

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Dec 18 19:00:01 EST 2019   16532222        0       29446      12359    100             0               122495197374    3828964594           60875667807               16         0.00 %          12359      61636366134

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Dec 19 19:00:01 EST 2019   16533056        0       29470      12364    100             0               122542269672    3830435617           60892533342               16         0.00 %          12364      61666601865

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Fri Dec 20 19:00:01 EST 2019   16534010        0       29494      12367    100             0               122587126224    3831837398           60908759296               16         0.00 %          12367      61694592882

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sat Dec 21 19:00:01 EST 2019   16535311        0       29518      12372    100             0               122631804318    3833233605           60925205662               16         0.00 %          12372      61723045022

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sun Dec 22 19:00:01 EST 2019   16536727        0       29542      12376    100             0               122676829388    3834640654           60941741722               16         0.00 %          12376      61751623726

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 23 19:00:01 EST 2019   16538321        0       29566      12380    100             0               122722137414    3836056544           60958504969               16         0.00 %          12380      61780395692

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 24 19:00:01 EST 2019   16539858        0       29591      12384    100             0               122767087802    3837461258           60975050343               16         0.00 %          12384      61808582833

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Dec 25 19:00:01 EST 2019   16541121        0       29615      12388    100             0               122812238580    3838872234           60991578411               16         0.00 %          12388      61837188237

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Dec 26 19:00:01 EST 2019   16542653        0       29639      12393    100             0               122857007868    3840271286           61008101155               16         0.00 %          12393      61865429457

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Fri Dec 27 19:00:01 EST 2019   16544352        0       29663      12397    100             0               122901807026    3841671272           61024757511               16         0.00 %          12397      61893705871

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sat Dec 28 19:00:01 EST 2019   16546213        0       29687      12401    100             0               122946927200    3843081289           61041459287               16         0.00 %          12401      61922169689

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sun Dec 29 19:00:01 EST 2019   16549522        0       29711      12405    100             0               122991584018    3844476827           61058889999               16         0.00 %          12405      61950124731

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 30 19:00:01 EST 2019   16551885        0       29735      12410    100             0               123036252528    3845872732           61075846564               16         0.00 %          12410      61977362529

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 31 19:00:01 EST 2019   16553858        0       29759      12414    100             0               123098133082    3847806568           61093085451               16         0.00 %          12414      62022286518

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Jan  1 19:00:01 EST 2020   16555127        0       29783      12418    100             0               123142018610    3849178024           61109758713               16         0.00 %          12418      62048933159

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Jan  2 19:00:01 EST 2020   16556532        0       29808      12422    100             0               123186637556    3850572390           61126687626               16         0.00 %          12422      62076878843

Model                          SerialNo        SW-Version      Date         R.Error(1) GBB(5)     UpTime(9)  PE(173)  LifeTime(202)   Attr(210)  TBW(246)     WAF    DWAF       DPE      DTBW

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-03   16557977   0          29832      12428    100             0          123278298184 16     0.00 %      0        0

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-04   16558440   0          29856      12433    100             0          123323818606 16     0.00 %      5        45520422

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-05   16559031   0          29880      12438    100             0          123369348610 16     0.00 %      5        45530004

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-06   16561567   0          29904      12443    100             0          123415316270 16     0.00 %      5        45967660

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-07   16564701   0          29928      12448    100             0          123460483898 16     0.00 %      5        45167628

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-08   16565955   0          29952      12453    100             0          123505550532 16     0.00 %      5        45066634

il file ssd_log_amp.log si trova nel supporto tecnico switch 1of3

Per ogni ulteriore output di comandi relativi al produttore, sono necessari i privilegi di un utente root che richiederebbero una richiesta di servizio TAC.

Trigger che causano l'esaurimento della durata delle unità SSD dello switch

- Al fine di garantire la disponibilità e la capacità di fornire la root cause per gli eventi che si verificano molto tempo dopo il verificarsi di tale evento, gli ACI APIC e gli switch dispongono di una registrazione dettagliata per ogni componente che viene persistente su SSD.

- Le funzionalità di registrazione di cui sopra richiedono un elevato numero di operazioni di scrittura e sovrascrittura su disco. La capacità dei dischi di eseguire questa operazione non è infinita, pertanto esiste una durata associata all'unità.  L'instabilità della rete (un numero elevato di spostamenti o aggiornamenti delle policy, ecc.), per un periodo prolungato, può portare all'esaurimento prematuro di un SSD di switch.

- Sono stati apportati numerosi miglioramenti per ottimizzare le operazioni di scrittura e mantenere la disponibilità dei dati, riducendo al contempo la quantità di dati scritti su disco. Queste modifiche sono state introdotte in versioni diverse. Fare riferimento alla sezione Ottimizzazione del codice.

- Per una versione con i miglioramenti integrati riportati di seguito, se si riscontra ancora un consumo rapido di SSD come 2/3 P/E ciclo ogni giorno, è molto probabile che sia causato da scrittura DB invece di registrazione in quanto la maggior parte di essi sono scritti su RAMFS, i registri vengono spostati su SSD solo dopo ZIP quando è richiesta la rotazione.

Ottimizzazione del codice

Sono stati apportati numerosi miglioramenti per ottimizzare le operazioni di scrittura in modo da mantenere la disponibilità e ridurre la quantità di dati scritti su disco. Queste modifiche sono state introdotte in versioni diverse.

CSCve88634 Genera un errore quando l'SSD supera la sua durata.

· Aggiunto a 2.1(4), 2.2(4), 2.3(1o), 3.1(2m)

CSCvi32353 F3073 Revisione alla logica di rilevamento superamento durata SSD

CSCvh73803 creazione di una partizione ramfs per tmp_logs per ridurre l'impatto della registrazione su SSD

CSCvm97108 Bug per tenere traccia delle modifiche di overprovisioning SSD

CSCvt36458: rimosso il livello persistente del database SQL per gli switch.

· Aggiunto a 4.2(6d) e 5.1(1h)

3.2.4d e versioni successive, 4.x e versioni successive dispongono di tutti i miglioramenti di monitoraggio e ottimizzazione degli errori necessari per prolungare la durata delle unità SSD. Questo naturalmente non significa che l'aggiornamento a queste versioni prevenga assolutamente il problema della durata delle unità SSD.

Ricarica modifica comportamento tipo

CSCvt36458 ha modificato il comportamento previsto di un nodo ACI Switch in caso di ricaricamento non riuscito:

Tipo di caricamento

Prima di CSCvt36458

Dopo CSCvt36458   [4.2(6d)+ e 5.1(1h)+]

Aggiornamenti

Senza stato

Senza stato

Ricaricamenti senza problemi (ricariche manuali, reimpostazione hap)

Stateful

Stateful

Ricaricamenti non eseguiti (errore irreversibile del kernel, ciclo di alimentazione)

Stateful

Senza stato

In breve, i ricaricamenti di Graceful Switch continuano a utilizzare il database al momento dell'avvio. I ricaricamenti di switch non eseguiti ora richiedono il prelievo di tutte le policy dall'APIC, analogamente a un aggiornamento.

Domande frequenti varie

È possibile sostituire l'SSD sul campo?

No. L'unità SSD non può essere sostituita sul campo. L'intero chassis viene sottoposto a RMA quando il guasto si trova sulla foglia. Sugli aculei modulari, è necessario RMA il supervisore.

È necessario sostituire in modo proattivo l'hardware dello switch?

I tecnici TAC possono controllare i valori smartctl e valutare quali switch hanno una durata maggiore, in modo che sia possibile sostituire immediatamente gli switch più urgenti e quindi procedere gradualmente alla sostituzione di quelli meno urgenti.

Esistono PID hardware specifici più soggetti a guasti SSD?

No. L'utilizzo della durata delle unità SSD può variare a seconda dei dispositivi nello stesso ambiente. L'utilizzo dei dischi SSD dipende dalla frequenza con cui il dispositivo deve scrivere i registri per la conservazione degli eventi. Un dispositivo che registra un numero elevato di eventi generati dall'instabilità della rete può raggiungere la durata delle unità SSD prima di altri. Cisco sostiene quindi la necessità di utilizzare le versioni più recenti per garantire che l'ottimizzazione del codice aiuti a controllare le scritture SSD e prolunghi la durata delle SSD.