Explicación de la vida útil de SSD del nodo de switch ACI

Introducción

Este documento describe el comportamiento del agotamiento de la vida útil de SSD en las plataformas de switch ACI.

Si ha aterrizado en esta página como resultado de una falla de SSD provocada contra APIC (no un nodo de switch), consulte FN64329. 

Esta TechNote documenta el procedimiento de reemplazo de SSD APIC.

Antecedentes

Los nodos de columna y hoja de ACI aprovechan las unidades de estado sólido (SSD) para el registro de eventos y el almacenamiento. Todas las SSD, independientemente del tipo de proveedor, tienen una vida útil fija basada en atributos específicos definidos por el fabricante. Algunos ejemplos incluyen el número de escrituras y borrados, así como el volumen de datos transferidos a las unidades durante un período de tiempo. La vida útil de la SSD en los nodos de columna y hoja puede agotarse debido al desgaste normal. Si el usuario no toma las medidas adecuadas contra un switch que se acerca a agotamiento de la SSD, el switch podría colapsar debido a que la SSD entró en el modo de sólo lectura. Por esta razón, es imperativo dar prioridad a la sustitución de SSD en el caso de que se produzca un error F3073 contra un nodo determinado. En este escenario, todo el switch se reemplaza ya que la SSD no es una unidad reemplazable en campo.

F3073 se implementó en 2.1(4), 2.2(4), 2.3(1o) y 3.1(2m). Cualquier versión de software posterior tiene la funcionalidad de provocar F3073.

Nota: Si ejecuta una versión de software ACI que no tenga funcionalidad de supervisión de SSD, se recomienda encarecidamente actualizar a una versión en la que esté disponible dicha supervisión.

Síntomas típicos si la SSD no se reemplaza

1. Cuando el switch no se inicia, en la consola puede ver estos errores:

/dev/hd-cfg0: ********** WARNING: Filesystem still has errors **********
e2fsck 1.42.1 (17-Feb-2012)
/dev/hd-cfg1: recovering journal
/sbin/e2fsck: unable to set superblock flags on /dev/hd-cfg1

2. El sistema puede provocar de forma proactiva fallos relacionados con la SSD (F3073 o F3074 según el uso de la vida útil de la SSD) en versiones de código posteriores (que se tratan en la sección posterior)

• F3074: fltEqptFlashFlash-minor-alarm (80% lifetime) 

• F3073: fltEqptFlashFlash-worn-out    (90% lifetime) 

3. También puede ver el error F3525 generado por el uso elevado de SSD. Esta falla suele confundirse con F3073/F3074.

# fault.Inst
code : F3525
ack : no
annotation :
cause : equipment-flash-warning
changeSet : deltape (New: 21), peCycles (New: 1678), tbw (New: 32.465179), warning (New: yes)
childAction :
created : 2019-08-05T18:22:01.455-07:00
delegated : no
descr : High SSD usage observed. Please check switch activity and contact Cisco Technical Support about high SSD usage.
dn : topology/pod-1/node-206/sys/ch/supslot-1/sup/flash/fault-F3525
domain : infra
extMngdBy : undefined
highestSeverity : warning
lastTransition : 2019-08-05T18:24:02.029-07:00
lc : raised
modTs : never
occur : 1
origSeverity : warning
prevSeverity : warning
rn : fault-F3525
rule : eqpt-flash-flash-warning-alarm
severity : warning
status :
subject : flash-warning-alarm
type : operational

La falla F3525 aumenta si los ciclos P/E (programa-erase) aumentan en más de 21 en 7 días. No significa que la SSD esté agotada, simplemente que hay mucha pérdida de energía que puede provocar el agotamiento de las SSD.
Debe trabajar con el TAC para entender qué causa esta pérdida y abordarla.
También existe una política para cambiar los umbrales que provocan que se eleve F3525 para un tipo específico de SSD (Políticas de acceso > Políticas > Switch > Políticas de configuración de Flash del equipo)

¿Cómo verificar el estado actual de una SSD?

Hay dos maneras de verificar el estado de vida útil de SSD:

• Alertas proactivas del sistema
• Análisis manual de datos

Alertas proactivas del sistema

Se añadió la supervisión de vida útil de SSD como parte de CSCve88634 en estas versiones de código:

• 2.1(4) y superiores para el tren 2.1
• 2.2(4) y superiores para el tren 2.2
• 2.3(1o) y superiores para el tren 2.3
• 3.1(2m) y todas las versiones futuras

Se produce un error menor cuando la unidad se acerca al 80% de su vida útil y se produce un error grave cuando supera el 90% de su vida útil.  

Esto permite a los operadores de red la capacidad de supervisar y sustituir proactivamente cualquier switch antes de que falle debido a que se ha superado la vida útil de la SSD.

• F3074: fltEqptFlashFlash-alarma menor (80% de duración)
• F3073: fltEqptFlash desgastado (90% de vida útil)

Las versiones anteriores del código no tenían una verificación de duración de SSD para las SSD del switch y, por lo tanto, incluso si el switch se acercaba a la fecha de vencimiento de la SSD, no se produciría una falla. 

Análisis manual de datos

El registro de uso de SSD se introdujo a partir de estas versiones 3.2(5d) 3.2(6i) 3.2(7f) 4.1(1i).

a-leaf101# cat /mnt/pss/ssd_log_amp.log   (Tested on 4.2.3l)
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 16 19:00:01 EST 2019   16531370        0       29398      12350    100             0               122396965772    3825894828           60841125365               16         0.00 %              0               0
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 17 19:00:01 EST 2019   16531725        0       29422      12355    100             0               122447755358    3827482016           60858831240               16         0.00 %          12355      61606629993
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Dec 18 19:00:01 EST 2019   16532222        0       29446      12359    100             0               122495197374    3828964594           60875667807               16         0.00 %          12359      61636366134
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Dec 19 19:00:01 EST 2019   16533056        0       29470      12364    100             0               122542269672    3830435617           60892533342               16         0.00 %          12364      61666601865
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Fri Dec 20 19:00:01 EST 2019   16534010        0       29494      12367    100             0               122587126224    3831837398           60908759296               16         0.00 %          12367      61694592882
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sat Dec 21 19:00:01 EST 2019   16535311        0       29518      12372    100             0               122631804318    3833233605           60925205662               16         0.00 %          12372      61723045022
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sun Dec 22 19:00:01 EST 2019   16536727        0       29542      12376    100             0               122676829388    3834640654           60941741722               16         0.00 %          12376      61751623726
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 23 19:00:01 EST 2019   16538321        0       29566      12380    100             0               122722137414    3836056544           60958504969               16         0.00 %          12380      61780395692
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 24 19:00:01 EST 2019   16539858        0       29591      12384    100             0               122767087802    3837461258           60975050343               16         0.00 %          12384      61808582833
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Dec 25 19:00:01 EST 2019   16541121        0       29615      12388    100             0               122812238580    3838872234           60991578411               16         0.00 %          12388      61837188237
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Dec 26 19:00:01 EST 2019   16542653        0       29639      12393    100             0               122857007868    3840271286           61008101155               16         0.00 %          12393      61865429457
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Fri Dec 27 19:00:01 EST 2019   16544352        0       29663      12397    100             0               122901807026    3841671272           61024757511               16         0.00 %          12397      61893705871
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sat Dec 28 19:00:01 EST 2019   16546213        0       29687      12401    100             0               122946927200    3843081289           61041459287               16         0.00 %          12401      61922169689
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sun Dec 29 19:00:01 EST 2019   16549522        0       29711      12405    100             0               122991584018    3844476827           61058889999               16         0.00 %          12405      61950124731
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 30 19:00:01 EST 2019   16551885        0       29735      12410    100             0               123036252528    3845872732           61075846564               16         0.00 %          12410      61977362529
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 31 19:00:01 EST 2019   16553858        0       29759      12414    100             0               123098133082    3847806568           61093085451               16         0.00 %          12414      62022286518
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Jan  1 19:00:01 EST 2020   16555127        0       29783      12418    100             0               123142018610    3849178024           61109758713               16         0.00 %          12418      62048933159
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Jan  2 19:00:01 EST 2020   16556532        0       29808      12422    100             0               123186637556    3850572390           61126687626               16         0.00 %          12422      62076878843

Model                          SerialNo        SW-Version      Date         R.Error(1) GBB(5)     UpTime(9)  PE(173)  LifeTime(202)   Attr(210)  TBW(246)     WAF    DWAF       DPE      DTBW   
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-03   16557977   0          29832      12428    100             0          123278298184 16     0.00 %      0        0      
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-04   16558440   0          29856      12433    100             0          123323818606 16     0.00 %      5        45520422
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-05   16559031   0          29880      12438    100             0          123369348610 16     0.00 %      5        45530004
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-06   16561567   0          29904      12443    100             0          123415316270 16     0.00 %      5        45967660
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-07   16564701   0          29928      12448    100             0          123460483898 16     0.00 %      5        45167628
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-08   16565955   0          29952      12453    100             0          123505550532 16     0.00 %      5        45066634

el archivo ssd_log_amp.log se encuentra en el soporte técnico del switch 1of3

Para cualquier resultado de comandos relacionados con el fabricante adicional, se necesitarían privilegios de un usuario raíz que requeriría una solicitud de servicio del TAC.

Factores que llevan al agotamiento de la vida útil de la SSD del switch

• En un esfuerzo por garantizar la facilidad de mantenimiento y la capacidad de proporcionar la causa principal para los eventos mucho después de que se haya producido el evento, los ACI APIC y los switches tienen un registro detallado para cada componente que es persistente en SSD.
  
  
• Las capacidades de registro anteriores requieren una gran cantidad de escrituras y sobrescrituras de disco. La capacidad de los discos para realizar esto no es infinita, por lo tanto, hay una vida asociada con la unidad.  La inestabilidad en la red (gran número de movimientos o actualizaciones de políticas, etc.), durante un período prolongado, puede provocar el agotamiento prematuro de una SSD de switch.
  
  
• Ha habido muchas mejoras para optimizar las escrituras y mantener la facilidad de mantenimiento, a la vez que se reduce la cantidad de datos escritos en el disco. Estos cambios se introdujeron en diferentes versiones. Consulte la sección Optimización de código.
  
  
• Para una versión con las siguientes mejoras integradas, si aún experimenta un rápido consumo de SSD como un ciclo de 2/3 P/E cada día, es muy probable que se deba a una escritura de la base de datos en lugar de un registro, ya que la mayoría de ellas se escriben en RAMFS, los registros se mueven a SSD después de ZIP cuando se requiere rotación.

Optimización de código

Ha habido muchas mejoras para optimizar las escrituras para mantener la facilidad de mantenimiento al tiempo que se reduce la cantidad de datos escritos en disco. Estos cambios se introdujeron en diferentes versiones.

CSCve88634 Provoca un error cuando la SSD excede su vida útil.
                            · añadidos a 2.1(4), 2.2(4), 2.3(1o), 3.1(2m)
CSCvi32353 F3073 La revisión de la duración de la SSD superó la lógica de detección
CSCvh73803 crea la partición ramfs para tmp_logs a fin de reducir el impacto del registro en SSD
Error CSCvm97108 para realizar un seguimiento de los cambios de sobreaprovisionamiento de SSD

CSCvt36458 Capa persistente de SQL DB eliminada para switches.

                             · añadidos a 4.2(6 d) y 5.1(1 h)

3.2.4d y posteriores, 4.x y posteriores tienen todas las mejoras de optimización y supervisión de fallas necesarias para prolongar la vida útil de SSD. Por supuesto, esto no significa que la actualización a estas versiones impida absolutamente el problema de la vida útil de la SSD.

Cambio de comportamiento de tipo de recarga

CSCvt36458 cambió el comportamiento esperado de una recarga incorrecta del nodo del switch ACI:

Tipo de recarga	Antes de CSCvt36458	Después de CSCvt36458   [4.2(6d)+ y 5.1(1h)+]
Actualizaciones	Sin información de estado	Sin información de estado
Recargas Graceful (recargas manuales, reinicios de los relojes)	Con estado	Con estado
Recargas incorrectas (pánico del núcleo, ciclo de alimentación)	Con estado	Sin información de estado

En resumen, las recargas de switches Graceful continúan usando su base de datos en bringup. Las recargas de switches incorrectas ahora requieren que todas las políticas se retiren del APIC, de forma similar a una actualización.

                     

Preguntas frecuentes

¿Se puede sustituir la SSD en el campo?
No. La SSD no es una unidad reemplazable sobre el terreno. El chasis completo se procesa cuando la falla está en la hoja. En las columnas modulares, debe RMA el supervisor.

¿Debe sustituir de forma proactiva el hardware del switch?

Los ingenieros del TAC pueden comprobar los valores de smartctl y evaluar qué switches tienen más vida útil, de modo que se puedan realizar sustituciones para los switches más urgentes inmediatamente y, a continuación, cambiar gradualmente a aquellos que no son tan urgentes.

¿Hay PID de hardware específicos que sean más susceptibles a las fallas de SSD?

No. El uso de la vida útil de SSD puede variar entre diferentes dispositivos en el mismo entorno. El uso de los discos SSD depende de la frecuencia con la que el dispositivo debe escribir los registros para el mantenimiento de eventos. Un dispositivo que registra un gran número de eventos que contribuyen a la inestabilidad de la red tiene el potencial de alcanzar su vida útil de SSD antes que otros. Por lo tanto, Cisco aboga por la necesidad de utilizar las versiones posteriores para garantizar que la optimización del código ayude a controlar las escrituras SSD y prolongue la vida útil de las SSD.