Explicación de la duración de SSD del nodo de switch ACI

Introducción

Este documento describe el comportamiento del agotamiento de la vida útil de las unidades de estado sólido (SSD) en las plataformas de switches de la infraestructura centrada en aplicaciones (ACI).

Si ha aterrizado en esta página como resultado de un fallo SSD provocado contra el Application Policy Infrastructure Controller (APIC) (no un nodo de switch), consulte FN64329.

La sustitución de APIC SSD documenta el procedimiento de sustitución de APIC SSD.

Antecedentes

Los nodos de columna y hoja de ACI aprovechan las SSD para el almacenamiento y el registro de eventos. Todas las SSD, independientemente del tipo de proveedor, tienen una vida útil fija basada en atributos específicos definidos por el fabricante. Algunos ejemplos incluyen el número de escrituras y borrados, así como el volumen de datos transferidos a las unidades durante un período de tiempo. La vida útil de SSD en los nodos de hoja y columna puede agotarse debido al desgaste regular. Si el usuario no toma las medidas adecuadas contra un switch que tiene una SSD que se acerca al agotamiento, el switch podría fallar debido a que la SSD entra en modo de solo lectura. Por esta razón, es imperativo priorizar la sustitución de SSD en el caso de que el fallo F3073 se plantee contra un nodo determinado. Las SSD son reemplazables in situ por un ingeniero de campo certificado por Cisco.

F3073 se implementó en las versiones 2.1(4), 2.2(4), 2.3(1o) y 3.1(2m). Cualquier versión de software posterior tiene la funcionalidad de elevar F3073.

Nota: Si ejecuta una versión de software de ACI que no tenga funcionalidad de supervisión SSD, se recomienda encarecidamente actualizar a una versión en la que dicha supervisión esté disponible.

Síntomas típicos si la SSD no se reemplaza

1. Cuando el switch no se inicia, en la consola puede ver estos errores:

/dev/hd-cfg0: ********** WARNING: Filesystem still has errors **********
e2fsck 1.42.1 (17-Feb-2012)
/dev/hd-cfg1: recovering journal
/sbin/e2fsck: unable to set superblock flags on /dev/hd-cfg1

2. El sistema puede generar de forma proactiva fallos relacionados con la SSD (F3073 o F3074 según el uso de la vida útil de la SSD) en versiones de código posteriores (que se tratarán en una sección posterior).

• F3074: fltEqptFlashFlash-minor-alarm (80% lifetime) 

• F3073: fltEqptFlashFlash-worn-out    (90% lifetime) 

3. También puede ver la falla F3525 provocada por el alto uso de SSD. Este fallo se confunde con F3073/F3074.

# fault.Inst
code : F3525
ack : no
annotation :
cause : equipment-flash-warning
changeSet : deltape (New: 21), peCycles (New: 1678), tbw (New: 32.465179), warning (New: yes)
childAction :
created : 2019-08-05T18:22:01.455-07:00
delegated : no
descr : High SSD usage observed. Please check switch activity and contact Cisco Technical Support about high SSD usage.
dn : topology/pod-1/node-206/sys/ch/supslot-1/sup/flash/fault-F3525
domain : infra
extMngdBy : undefined
highestSeverity : warning
lastTransition : 2019-08-05T18:24:02.029-07:00
lc : raised
modTs : never
occur : 1
origSeverity : warning
prevSeverity : warning
rn : fault-F3525
rule : eqpt-flash-flash-warning-alarm
severity : warning
status :
subject : flash-warning-alarm
type : operational

La falla F3525 se eleva si los ciclos P/E (borrado de programa) aumentan en más de 21 en siete días. Esto no significa que la SSD está desgastada, simplemente que hay una gran cantidad de pérdida de datos que podría eventualmente causar que las SSDs estén desgastadas.

Debe trabajar con el Technical Assistance Center (TAC) para comprender la causa de esta pérdida y solucionarla. También existe una política para cambiar los umbrales que hacen que F3525 se eleve para un tipo específico de SSD (consulte Políticas de acceso > Políticas > Switch > Políticas de configuración flash de equipos).

Cómo verificar el estado actual de una SSD

Existen dos formas de comprobar el estado de la vida útil de la SSD:

• Alertas proactivas del sistema
• Análisis manual de datos

Alertas proactivas del sistema

La supervisión de la duración de SSD se agregó como parte del Id. de error de Cisco CSCve88634 en estas versiones de código:

• 2.1(4) y posteriores para el tren 2.1
• 2.2(4) y posteriores para el tren 2.2
• 2.3(1o) y posterior para el tren 2.3
• 3.1(2m) y todas las versiones futuras

Se produce un fallo menor cuando la unidad se aproxima al 80% de su vida útil y un fallo mayor cuando supera el 90% de su vida útil.

Esto permite a los operadores de red supervisar y sustituir de forma proactiva cualquier switch antes de que falle debido a que se ha superado la vida útil de SSD.

• F3074: fltEqptFlashFlash-minor-alarm (duración del 80%)
• F3073: fltEqptFlashDesgastado por Flash (duración del 90%)

Las versiones anteriores del código no tenían una comprobación de duración de SSD para los SSD de switch. Por lo tanto, aunque el switch se acercara a la fecha de vencimiento de la SSD, no se produciría ningún fallo.

Análisis manual de datos

El registro de uso de SSD se introdujo a partir de estas versiones: 3.2(5d), 3.2(6i), 3.2(7f) y 4.1(1i).

a-leaf101# cat /mnt/pss/ssd_log_amp.log   (Tested on 4.2.3l)
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 16 19:00:01 EST 2019   16531370        0       29398      12350    100             0               122396965772    3825894828           60841125365               16         0.00 %              0               0
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 17 19:00:01 EST 2019   16531725        0       29422      12355    100             0               122447755358    3827482016           60858831240               16         0.00 %          12355      61606629993
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Dec 18 19:00:01 EST 2019   16532222        0       29446      12359    100             0               122495197374    3828964594           60875667807               16         0.00 %          12359      61636366134
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Dec 19 19:00:01 EST 2019   16533056        0       29470      12364    100             0               122542269672    3830435617           60892533342               16         0.00 %          12364      61666601865
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Fri Dec 20 19:00:01 EST 2019   16534010        0       29494      12367    100             0               122587126224    3831837398           60908759296               16         0.00 %          12367      61694592882
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sat Dec 21 19:00:01 EST 2019   16535311        0       29518      12372    100             0               122631804318    3833233605           60925205662               16         0.00 %          12372      61723045022
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sun Dec 22 19:00:01 EST 2019   16536727        0       29542      12376    100             0               122676829388    3834640654           60941741722               16         0.00 %          12376      61751623726
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 23 19:00:01 EST 2019   16538321        0       29566      12380    100             0               122722137414    3836056544           60958504969               16         0.00 %          12380      61780395692
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 24 19:00:01 EST 2019   16539858        0       29591      12384    100             0               122767087802    3837461258           60975050343               16         0.00 %          12384      61808582833
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Dec 25 19:00:01 EST 2019   16541121        0       29615      12388    100             0               122812238580    3838872234           60991578411               16         0.00 %          12388      61837188237
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Dec 26 19:00:01 EST 2019   16542653        0       29639      12393    100             0               122857007868    3840271286           61008101155               16         0.00 %          12393      61865429457
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Fri Dec 27 19:00:01 EST 2019   16544352        0       29663      12397    100             0               122901807026    3841671272           61024757511               16         0.00 %          12397      61893705871
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sat Dec 28 19:00:01 EST 2019   16546213        0       29687      12401    100             0               122946927200    3843081289           61041459287               16         0.00 %          12401      61922169689
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sun Dec 29 19:00:01 EST 2019   16549522        0       29711      12405    100             0               122991584018    3844476827           61058889999               16         0.00 %          12405      61950124731
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 30 19:00:01 EST 2019   16551885        0       29735      12410    100             0               123036252528    3845872732           61075846564               16         0.00 %          12410      61977362529
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 31 19:00:01 EST 2019   16553858        0       29759      12414    100             0               123098133082    3847806568           61093085451               16         0.00 %          12414      62022286518
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Jan  1 19:00:01 EST 2020   16555127        0       29783      12418    100             0               123142018610    3849178024           61109758713               16         0.00 %          12418      62048933159
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Jan  2 19:00:01 EST 2020   16556532        0       29808      12422    100             0               123186637556    3850572390           61126687626               16         0.00 %          12422      62076878843

Model                          SerialNo        SW-Version      Date         R.Error(1) GBB(5)     UpTime(9)  PE(173)  LifeTime(202)   Attr(210)  TBW(246)     WAF    DWAF       DPE      DTBW   
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-03   16557977   0          29832      12428    100             0          123278298184 16     0.00 %      0        0      
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-04   16558440   0          29856      12433    100             0          123323818606 16     0.00 %      5        45520422
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-05   16559031   0          29880      12438    100             0          123369348610 16     0.00 %      5        45530004
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-06   16561567   0          29904      12443    100             0          123415316270 16     0.00 %      5        45967660
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-07   16564701   0          29928      12448    100             0          123460483898 16     0.00 %      5        45167628
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-08   16565955   0          29952      12453    100             0          123505550532 16     0.00 %      5        45066634

el archivo ssd_log_amp.log se encuentra en los soportes técnicos del switch 1of3.

Para cualquier resultado de comandos adicionales relacionados con el fabricante, se necesitarían privilegios de un usuario raíz que requeriría una solicitud de servicio TAC.

Disparadores que conducen al agotamiento de la vida útil de la SSD del switch

• En un esfuerzo por garantizar la facilidad de mantenimiento y la capacidad de proporcionar la causa raíz de los eventos mucho después de que se haya producido ese evento, los APIC y los switches de ACI cuentan con un registro detallado de cada componente que es persistente en SSD.
  
  
• Esas capacidades de registro requieren una gran cantidad de escrituras y sobreescritura de disco. La capacidad de los discos para realizar esto no es infinita, por lo tanto, hay una vida útil asociada a la unidad. La inestabilidad de la red (gran número de movimientos o actualizaciones de políticas, etc.) durante un período prolongado puede provocar el agotamiento prematuro de una SSD de switch.
  
  
• Se han realizado muchas mejoras para optimizar las escrituras y mantener la facilidad de mantenimiento al tiempo que se reduce la cantidad de datos escritos en el disco. Estos cambios se introdujeron en diferentes versiones. Consulte la sección Optimización de código.
  
  
• Para una versión con las mejoras de optimización de código integradas, si todavía experimenta un consumo de SSD rápido como 2/3 P/E ciclo cada día, es muy probable que sea causado por escritura de la base de datos en lugar de registro, ya que la mayoría de ellos se escriben en RAMFS. Los registros solo se mueven a la SSD después del ZIP cuando se requiere la rotación.

Optimización de código

Se han realizado muchas mejoras para optimizar las escrituras y mantener la facilidad de mantenimiento, al tiempo que se reduce la cantidad de datos escritos en el disco. Estos cambios se introdujeron en diferentes versiones.

• Cisco bug ID CSCve88634 - Provoca un error cuando la SSD excede su vida útil.
  Añadido a las versiones 2.1(4), 2.2(4), 2.3(1o) y 3.1(2m)
• La ID de bug de Cisco CSCvi32353- F3073 La revisión a la vida útil de SSD excedió la lógica de detección
• Cisco bug ID CSCvh73803 - crear partición ramfs para tmp_logs para disminuir el impacto del registro en SSD
• Id. de error de Cisco CSCvm97108: error para realizar un seguimiento de los cambios de provisión excesiva de SSD
• Cisco bug ID CSCvt36458 - Se eliminó la capa persistente de SQL DB para los switches.
  Añadido a las versiones 4.2(6d) y 5.1(1h)

Las versiones 3.2.4d y posteriores y 4.x y posteriores cuentan con todas las mejoras de supervisión de fallos y optimización necesarias para prolongar la vida útil de la SSD. Esto, por supuesto, no significa que la actualización a estas versiones evita absolutamente el problema de la vida útil de SSD.

Recargar cambio de comportamiento de tipo

El Id. de error de Cisco CSCvt36458 cambió el comportamiento esperado de una recarga incorrecta del nodo del switch ACI:

En resumen, las graceful switch reloads continúan usando su DB en bringup. Las recargas de switch incorrectas ahora requieren que todas las políticas se obtengan del APIC, de forma similar a una actualización.

Preguntas frecuentes variadas

¿Se puede sustituir la SSD en el campo?

Yes. Cisco sustituye ahora las SSD in situ con la ayuda de un ingeniero de campo certificado. En las columnas modulares, se sustituye todo el supervisor.

¿Debe sustituir el hardware del switch de forma proactiva?

Los ingenieros del TAC pueden comprobar los valores smartctl y evaluar qué switches tienen más vida útil, de modo que se puedan realizar sustituciones para los switches más urgentes inmediatamente y, a continuación, pasar gradualmente a sustituir los switches que no son tan urgentes.

¿Existen PID de hardware específicos que sean más susceptibles a los fallos de SSD?

No. El uso de la vida útil de la SSD puede variar entre diferentes dispositivos en el mismo entorno. El uso de los discos SSD depende de la frecuencia con la que el dispositivo necesita escribir los registros para el mantenimiento de eventos. Un dispositivo que registra un gran número de eventos provocados por la inestabilidad de la red tiene el potencial de alcanzar su vida útil de SSD antes que otros. Por lo tanto, Cisco aboga por la necesidad de utilizar versiones posteriores para garantizar que la optimización del código ayude a controlar las escrituras SSD y prolongue la vida útil de la SSD.