Durée de vie SSD du noeud de commutation ACI expliquée

Introduction

Ce document décrit le comportement d'épuisement de la durée de vie des disques durs SSD sur les plates-formes de commutation ACI.

Si vous avez atterri sur cette page en raison d'une erreur SSD soulevée contre APIC (et non un noeud de commutateur), reportez-vous à FN64329. 

Ce TechNote documente la procédure de remplacement du SSD APIC.

Informations générales

Les noeuds leaf et spine ACI exploitent les disques SSD (Solid State Drive) pour le stockage et la journalisation des événements. Tous les disques SSD, quel que soit le type de fournisseur, ont une durée de vie fixe basée sur des attributs spécifiques définis par le fabricant. Par exemple, le nombre d'écritures et d'effacements ainsi que le volume de données transférées aux lecteurs sur une période donnée. La durée de vie du SSD sur les noeuds Leaf et Spine peut être épuisée en raison de l'usure régulière. Si l'utilisateur ne prend pas les mesures appropriées contre un commutateur dont le SSD est sur le point d'être épuisé, le commutateur risque de s'écraser en raison du passage du SSD en mode lecture seule. Pour cette raison, il est impératif de donner la priorité au remplacement de SSD si la défaillance F3073 est soulevée sur un noeud donné. Dans un tel scénario, l'ensemble du commutateur est remplacé car le disque dur SSD n'est pas une unité remplaçable sur site.

F3073 a été mis en oeuvre dans les versions 2.1(4), 2.2(4), 2.3(1o) et 3.1(2m). Toutes les versions ultérieures du logiciel ont la fonctionnalité de lever F3073.

Note: Si vous exécutez une version du logiciel ACI qui ne dispose pas de la fonctionnalité de surveillance SSD, il est fortement conseillé de mettre à niveau vers une version où cette surveillance est disponible.

Symptômes types si SSD n'est pas remplacé

1. Lorsque le commutateur ne démarre pas, sur la console, vous pouvez voir les erreurs suivantes :

/dev/hd-cfg0: ********** WARNING: Filesystem still has errors **********
e2fsck 1.42.1 (17-Feb-2012)
/dev/hd-cfg1: recovering journal
/sbin/e2fsck: unable to set superblock flags on /dev/hd-cfg1

2. Le système est en mesure d'augmenter de manière proactive les pannes liées au SSD (F3073 ou F3074 en fonction de l'utilisation de la durée de vie du SSD) sur les versions ultérieures de code (traitées dans la section suivante)

• F3074: fltEqptFlashFlash-minor-alarm (80% lifetime) 

• F3073: fltEqptFlashFlash-worn-out    (90% lifetime) 

3. Vous pouvez également voir la défaillance F3525 soulevée pour une utilisation élevée des disques SSD. Cette erreur est souvent confondue avec F3073/F3074.

# fault.Inst
code : F3525
ack : no
annotation :
cause : equipment-flash-warning
changeSet : deltape (New: 21), peCycles (New: 1678), tbw (New: 32.465179), warning (New: yes)
childAction :
created : 2019-08-05T18:22:01.455-07:00
delegated : no
descr : High SSD usage observed. Please check switch activity and contact Cisco Technical Support about high SSD usage.
dn : topology/pod-1/node-206/sys/ch/supslot-1/sup/flash/fault-F3525
domain : infra
extMngdBy : undefined
highestSeverity : warning
lastTransition : 2019-08-05T18:24:02.029-07:00
lc : raised
modTs : never
occur : 1
origSeverity : warning
prevSeverity : warning
rn : fault-F3525
rule : eqpt-flash-flash-warning-alarm
severity : warning
status :
subject : flash-warning-alarm
type : operational

La défaillance F3525 est augmentée si les cycles P/E (suppression de programme) augmentent de plus de 21 en 7 jours. Cela ne veut pas dire que le disque dur SSD est épuisé, mais simplement qu'il y a beaucoup de problèmes qui peuvent éventuellement entraîner l'épuisement des disques durs SSD.
Vous devez travailler avec le TAC pour comprendre ce qui cause cette agitation et y remédier.
Il existe également une politique visant à modifier les seuils qui font augmenter F3525 pour un type spécifique de disques durs SSD (Politiques d'accès > Politiques > Commutateur > Stratégies de configuration Flash de l'équipement)

Comment vérifier l'état actuel d'un SSD ?

Il existe deux façons de vérifier l'état de la durée de vie du SSD :

• Alerte système proactive
• Analyse manuelle des données

Alerte système proactive

La surveillance de la durée de vie SSD a été ajoutée dans le cadre de CSCve88634 dans ces versions de code :

• 2.1(4) et plus pour le train 2.1
• 2.2(4) et plus pour le train 2.2
• 2.3(1o) et plus pour les trains 2.3
• 3.1(2m) et toutes les versions futures

Une erreur mineure est signalée lorsque le lecteur approche 80 % de sa durée de vie et une erreur majeure est signalée lorsqu'il dépasse 90 % de sa durée de vie.  

Cela permet aux opérateurs réseau de surveiller et de remplacer proactivement tout commutateur avant qu'il ne tombe en panne en raison d'un dépassement de la durée de vie du disque dur SSD.

• F3074 : fltEqptFlashFlash-minor-alarme (durée de vie de 80 %)
• F3073 : fltEqptFlashFlash usé (durée de vie de 90 %)

Les versions précédentes du code n'avaient pas de vérification de la durée de vie SSD pour les SSD de commutateur et par conséquent, même si le commutateur approchait de l'expiration du SSD, il n'y aurait pas de problème soulevé. 

Analyse manuelle des données

La journalisation de l'utilisation de SSD a été introduite à partir de ces versions 3.2(5d) 3.2(6i) 3.2(7f) 4.1(1i).

a-leaf101# cat /mnt/pss/ssd_log_amp.log   (Tested on 4.2.3l)
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 16 19:00:01 EST 2019   16531370        0       29398      12350    100             0               122396965772    3825894828           60841125365               16         0.00 %              0               0
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 17 19:00:01 EST 2019   16531725        0       29422      12355    100             0               122447755358    3827482016           60858831240               16         0.00 %          12355      61606629993
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Dec 18 19:00:01 EST 2019   16532222        0       29446      12359    100             0               122495197374    3828964594           60875667807               16         0.00 %          12359      61636366134
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Dec 19 19:00:01 EST 2019   16533056        0       29470      12364    100             0               122542269672    3830435617           60892533342               16         0.00 %          12364      61666601865
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Fri Dec 20 19:00:01 EST 2019   16534010        0       29494      12367    100             0               122587126224    3831837398           60908759296               16         0.00 %          12367      61694592882
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sat Dec 21 19:00:01 EST 2019   16535311        0       29518      12372    100             0               122631804318    3833233605           60925205662               16         0.00 %          12372      61723045022
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sun Dec 22 19:00:01 EST 2019   16536727        0       29542      12376    100             0               122676829388    3834640654           60941741722               16         0.00 %          12376      61751623726
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 23 19:00:01 EST 2019   16538321        0       29566      12380    100             0               122722137414    3836056544           60958504969               16         0.00 %          12380      61780395692
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 24 19:00:01 EST 2019   16539858        0       29591      12384    100             0               122767087802    3837461258           60975050343               16         0.00 %          12384      61808582833
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Dec 25 19:00:01 EST 2019   16541121        0       29615      12388    100             0               122812238580    3838872234           60991578411               16         0.00 %          12388      61837188237
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Dec 26 19:00:01 EST 2019   16542653        0       29639      12393    100             0               122857007868    3840271286           61008101155               16         0.00 %          12393      61865429457
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Fri Dec 27 19:00:01 EST 2019   16544352        0       29663      12397    100             0               122901807026    3841671272           61024757511               16         0.00 %          12397      61893705871
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sat Dec 28 19:00:01 EST 2019   16546213        0       29687      12401    100             0               122946927200    3843081289           61041459287               16         0.00 %          12401      61922169689
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sun Dec 29 19:00:01 EST 2019   16549522        0       29711      12405    100             0               122991584018    3844476827           61058889999               16         0.00 %          12405      61950124731
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 30 19:00:01 EST 2019   16551885        0       29735      12410    100             0               123036252528    3845872732           61075846564               16         0.00 %          12410      61977362529
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 31 19:00:01 EST 2019   16553858        0       29759      12414    100             0               123098133082    3847806568           61093085451               16         0.00 %          12414      62022286518
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Jan  1 19:00:01 EST 2020   16555127        0       29783      12418    100             0               123142018610    3849178024           61109758713               16         0.00 %          12418      62048933159
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Jan  2 19:00:01 EST 2020   16556532        0       29808      12422    100             0               123186637556    3850572390           61126687626               16         0.00 %          12422      62076878843

Model                          SerialNo        SW-Version      Date         R.Error(1) GBB(5)     UpTime(9)  PE(173)  LifeTime(202)   Attr(210)  TBW(246)     WAF    DWAF       DPE      DTBW   
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-03   16557977   0          29832      12428    100             0          123278298184 16     0.00 %      0        0      
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-04   16558440   0          29856      12433    100             0          123323818606 16     0.00 %      5        45520422
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-05   16559031   0          29880      12438    100             0          123369348610 16     0.00 %      5        45530004
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-06   16561567   0          29904      12443    100             0          123415316270 16     0.00 %      5        45967660
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-07   16564701   0          29928      12448    100             0          123460483898 16     0.00 %      5        45167628
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-08   16565955   0          29952      12453    100             0          123505550532 16     0.00 %      5        45066634

ssd_log_amp.log est dans le support technique du commutateur 1de 3

Pour toute commande supplémentaire liée au fabricant, les sorties auraient besoin des privilèges d'un utilisateur racine qui nécessiterait une demande de service TAC.

Déclencheurs conduisant à l'épuisement de la durée de vie du SSD du commutateur

• Dans un effort visant à garantir la facilité de maintenance et la capacité à fournir la cause première des événements longtemps après que cet événement s'est produit, les cartes APIC et les commutateurs ACI disposent d'une journalisation détaillée pour chaque composant persistant au SSD.
  
  
• Les fonctionnalités de journalisation ci-dessus nécessitent une grande quantité d'écritures et de remplacements de disque. La capacité des disques à effectuer cela n'est pas infinie, par conséquent, il y a une durée de vie associée au lecteur.  L'instabilité du réseau (nombre énorme de déplacements ou de mises à jour de politiques, etc.), pendant une longue période, peut conduire à une épuisement prématuré d'un disque dur SSD de commutateur.
  
  
• De nombreuses améliorations ont été apportées pour optimiser les écritures et maintenir la facilité de maintenance tout en réduisant la quantité de données écrites sur le disque. Ces modifications ont été introduites dans différentes versions. Reportez-vous à la section Optimisation du code.
  
  
• Pour une version avec les améliorations ci-dessous intégrées, si vous continuez à consommer des disques SSD rapides comme le cycle 2/3 P/E chaque jour, il est très probable que cela est dû à l'écriture DB au lieu de journaliser car la plupart d'entre eux sont écrits sur RAMFS, les journaux sont déplacés vers SSD après ZIP seulement lorsque la rotation est requise.

Optimisation du code

De nombreuses améliorations ont été apportées pour optimiser les écritures afin de maintenir la facilité de maintenance tout en réduisant la quantité de données écrites sur le disque. Ces modifications ont été introduites dans différentes versions.

CSCve88634 Déclenchez une erreur lorsque le SSD dépasse sa durée de vie.
                            · ajouté aux sections 2.1(4), 2.2(4), 2.3(1o), 3.1(2m)
CSCvi32353 F3073 La révision de la durée de vie du SSD a dépassé la logique de détection
CSCvh73803 crée une partition ramfs pour tmp_logs pour réduire l'impact de journalisation sur SSD
Bogue CSCvm97108 pour suivre les modifications de surprovisionnement SSD

CSCvt36458 Suppression de la couche persistante SQL DB pour les commutateurs.

                             · ajouté aux versions 4.2(6d) et 5.1(1h)

3.2.4d et versions ultérieures, 4.x et ultérieures disposent de toutes les améliorations de surveillance et d'optimisation des pannes nécessaires pour prolonger la durée de vie du SSD. Cela ne signifie pas, bien sûr, que la mise à niveau vers ces versions prévient absolument le problème de durée de vie du SSD.

Recharger la modification du comportement du type

CSCvt36458 a modifié le comportement attendu d'un rechargement ingracieux d'un noeud de commutateur ACI :

Type de rechargement	Avant CSCvt36458	Après CSCvt36458   [4.2(6d)+ et 5.1(1h)+]
Mises à niveau	Apatride	Apatride
Rechargements en douceur (rechargements manuels, réinitialisations en douceur)	Stateful	Stateful
Rechargements incorrects (panique du noyau, cycle d'alimentation)	Stateful	Apatride

En résumé, les rechargements de commutateurs gracieux continuent à utiliser leur base de données sur bringup. Les rechargements de commutateurs incorrects exigent désormais que toutes les stratégies soient retirées du contrôleur APIC, comme une mise à niveau.

                     

Questions diverses

Le disque dur SSD peut-il être remplacé dans le champ ?
Non. Le SSD n'est pas une unité remplaçable sur site. L'ensemble du châssis est RMA lorsque la défaillance est sur la feuille. Sur les Spines modulaires, vous devez RMA le superviseur.

Devriez-vous remplacer le matériel du commutateur de manière proactive ?

Les ingénieurs du centre d'assistance technique peuvent vérifier les valeurs smartctl et évaluer quels commutateurs ont plus de durée de vie, de sorte que les commutateurs les plus urgents puissent être remplacés immédiatement, puis progressivement pour remplacer les commutateurs qui ne sont pas aussi urgents.

Existe-t-il des PID matériels spécifiques qui sont plus vulnérables aux pannes de disques durs SSD ?

Non. L'utilisation de la durée de vie des disques durs SSD peut varier d'un périphérique à l'autre dans le même environnement. L'utilisation des disques SSD dépend de la fréquence à laquelle le périphérique doit écrire les journaux pour la gestion des événements. Un périphérique qui enregistre un grand nombre d'événements liés à l'instabilité du réseau peut atteindre sa durée de vie SSD plus tôt que les autres. C'est pourquoi Cisco préconise la nécessité d'utiliser les versions ultérieures pour s'assurer que l'optimisation du code aide à contrôler les écritures SSD et prolonge la durée de vie des SSD.