Explicação do tempo de vida útil do SSD do nó de switch da ACI

Introduction

Este documento descreve o comportamento de esgotamento da vida útil do SSD nas plataformas de switch da ACI.

Se você tiver parado nesta página como resultado de uma falha de SSD levantada em relação ao APIC (não um nó de switch), consulte FN64329. 

Este TechNote documenta o procedimento de substituição do APIC SSD.

Informações de Apoio

Os nós leaf e spine da ACI aproveitam as unidades de estado sólido (SSD) para armazenamento e registro de eventos. Todos os SSD, independentemente do tipo de fornecedor, têm uma vida útil fixa com base em atributos específicos definidos pelo fabricante. Alguns exemplos incluem o número de gravações e apagamentos, bem como o volume de dados transferidos para as unidades durante um período de tempo. O tempo de vida útil do SSD nos nós de folha e coluna pode se tornar esgotado devido ao desgaste regular. Se o usuário não tomar a ação adequada contra um switch que tenha SSD se aproximando da exaustão, o switch poderá travar devido ao SSD estar entrando no modo somente leitura. Por esse motivo, é imperativo priorizar a substituição de SSD no caso de falha F3073 ser gerada contra um determinado nó. Nesse cenário, o switch inteiro é substituído porque o SSD não é uma unidade substituível em campo.

F3073 foi implementado em 2.1(4), 2.2(4), 2.3(1o) e 3.1(2m). Qualquer versão de software subsequente tem a funcionalidade para ativar a F3073.

Note: Se você executar uma versão do software da ACI que não tem a funcionalidade de monitoramento de SSD, é altamente aconselhável atualizar para uma versão onde esse monitoramento esteja disponível.

Sintomas típicos se o SSD não for substituído

1. Quando o switch falha na inicialização, no console você pode ver estes erros:

/dev/hd-cfg0: ********** WARNING: Filesystem still has errors **********
e2fsck 1.42.1 (17-Feb-2012)
/dev/hd-cfg1: recovering journal
/sbin/e2fsck: unable to set superblock flags on /dev/hd-cfg1

2. O sistema é capaz de elevar proativamente as falhas relacionadas à SSD (F3073 ou F3074 com base no uso do tempo de vida útil da SSD) em versões de código posteriores (abordadas em seção posterior)

• F3074: fltEqptFlashFlash-minor-alarm (80% lifetime) 

• F3073: fltEqptFlashFlash-worn-out    (90% lifetime) 

3. Você também pode ver a falha F3525 levantada para o alto uso de SSD. Essa falha é frequentemente confundida com F3073/F3074.

# fault.Inst
code : F3525
ack : no
annotation :
cause : equipment-flash-warning
changeSet : deltape (New: 21), peCycles (New: 1678), tbw (New: 32.465179), warning (New: yes)
childAction :
created : 2019-08-05T18:22:01.455-07:00
delegated : no
descr : High SSD usage observed. Please check switch activity and contact Cisco Technical Support about high SSD usage.
dn : topology/pod-1/node-206/sys/ch/supslot-1/sup/flash/fault-F3525
domain : infra
extMngdBy : undefined
highestSeverity : warning
lastTransition : 2019-08-05T18:24:02.029-07:00
lc : raised
modTs : never
occur : 1
origSeverity : warning
prevSeverity : warning
rn : fault-F3525
rule : eqpt-flash-flash-warning-alarm
severity : warning
status :
subject : flash-warning-alarm
type : operational

A falha F3525 é elevada se os ciclos P/E (programa-apagamento) aumentarem mais de 21 em 7 dias. Isso não significa que a SSD esteja gasta, simplesmente que há muita rotatividade que pode eventualmente causar o desgaste das SSDs.
Você precisa trabalhar com o TAC para entender o que está causando essa mudança e lidar com ela.
Também há uma política para alterar os limiares que fazem com que a F3525 seja aumentada para um tipo específico de SSDs (Políticas de acesso > Políticas > Switch > Equipment Flash Config Policies)

Como verificar a integridade atual de uma SSD?

Há duas maneiras de verificar o status de vida útil do SSD:

• Alerta pró-ativo do sistema
• Análise manual de dados

Alerta pró-ativo do sistema

A monitoração da vida útil do SSD foi adicionada como parte do CSCve88634 nestas versões de código:

• 2.1(4) e superior para o comboio 2.1
• 2.2(4) e superior para o comboio 2.2
• 2.3(1o) e superior para o trem 2.3
• 3.1(2m) e todas as versões futuras

Uma falha secundária é gerada quando a unidade se aproxima de 80% de sua vida útil e uma falha principal é gerada quando excede 90% de sua vida útil.  

Isso permite que os operadores de rede monitorem e substituam proativamente qualquer switch antes que ele falhe devido ao tempo de vida do SSD excedido.

• F3074: fltEqptFlash-minor-alarm (80% de duração)
• F3073: desgastado com fltEqptFlashFlash (90% de vida útil)

As versões anteriores do código não tinham a verificação da vida útil do SSD para os SSDs do switch e, portanto, mesmo que o switch estivesse se aproximando da expiração do SSD, não haveria falha. 

Análise manual de dados

O registro de uso do SSD foi introduzido a partir dessas versões 3.2(5d) 3.2(6i) 3.2(7f) 4.1(1i).

a-leaf101# cat /mnt/pss/ssd_log_amp.log   (Tested on 4.2.3l)
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 16 19:00:01 EST 2019   16531370        0       29398      12350    100             0               122396965772    3825894828           60841125365               16         0.00 %              0               0
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 17 19:00:01 EST 2019   16531725        0       29422      12355    100             0               122447755358    3827482016           60858831240               16         0.00 %          12355      61606629993
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Dec 18 19:00:01 EST 2019   16532222        0       29446      12359    100             0               122495197374    3828964594           60875667807               16         0.00 %          12359      61636366134
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Dec 19 19:00:01 EST 2019   16533056        0       29470      12364    100             0               122542269672    3830435617           60892533342               16         0.00 %          12364      61666601865
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Fri Dec 20 19:00:01 EST 2019   16534010        0       29494      12367    100             0               122587126224    3831837398           60908759296               16         0.00 %          12367      61694592882
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sat Dec 21 19:00:01 EST 2019   16535311        0       29518      12372    100             0               122631804318    3833233605           60925205662               16         0.00 %          12372      61723045022
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sun Dec 22 19:00:01 EST 2019   16536727        0       29542      12376    100             0               122676829388    3834640654           60941741722               16         0.00 %          12376      61751623726
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 23 19:00:01 EST 2019   16538321        0       29566      12380    100             0               122722137414    3836056544           60958504969               16         0.00 %          12380      61780395692
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 24 19:00:01 EST 2019   16539858        0       29591      12384    100             0               122767087802    3837461258           60975050343               16         0.00 %          12384      61808582833
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Dec 25 19:00:01 EST 2019   16541121        0       29615      12388    100             0               122812238580    3838872234           60991578411               16         0.00 %          12388      61837188237
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Dec 26 19:00:01 EST 2019   16542653        0       29639      12393    100             0               122857007868    3840271286           61008101155               16         0.00 %          12393      61865429457
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Fri Dec 27 19:00:01 EST 2019   16544352        0       29663      12397    100             0               122901807026    3841671272           61024757511               16         0.00 %          12397      61893705871
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sat Dec 28 19:00:01 EST 2019   16546213        0       29687      12401    100             0               122946927200    3843081289           61041459287               16         0.00 %          12401      61922169689
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sun Dec 29 19:00:01 EST 2019   16549522        0       29711      12405    100             0               122991584018    3844476827           61058889999               16         0.00 %          12405      61950124731
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 30 19:00:01 EST 2019   16551885        0       29735      12410    100             0               123036252528    3845872732           61075846564               16         0.00 %          12410      61977362529
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 31 19:00:01 EST 2019   16553858        0       29759      12414    100             0               123098133082    3847806568           61093085451               16         0.00 %          12414      62022286518
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Jan  1 19:00:01 EST 2020   16555127        0       29783      12418    100             0               123142018610    3849178024           61109758713               16         0.00 %          12418      62048933159
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Jan  2 19:00:01 EST 2020   16556532        0       29808      12422    100             0               123186637556    3850572390           61126687626               16         0.00 %          12422      62076878843

Model                          SerialNo        SW-Version      Date         R.Error(1) GBB(5)     UpTime(9)  PE(173)  LifeTime(202)   Attr(210)  TBW(246)     WAF    DWAF       DPE      DTBW   
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-03   16557977   0          29832      12428    100             0          123278298184 16     0.00 %      0        0      
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-04   16558440   0          29856      12433    100             0          123323818606 16     0.00 %      5        45520422
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-05   16559031   0          29880      12438    100             0          123369348610 16     0.00 %      5        45530004
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-06   16561567   0          29904      12443    100             0          123415316270 16     0.00 %      5        45967660
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-07   16564701   0          29928      12448    100             0          123460483898 16     0.00 %      5        45167628
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-08   16565955   0          29952      12453    100             0          123505550532 16     0.00 %      5        45066634

o arquivo ssd_log_amp.log está no suporte técnico do switch 1of3

Para qualquer saída adicional de comandos relacionados ao fabricante, seria necessário privilégios de um usuário raiz que exigiria uma solicitação de serviço do TAC.

Disparadores que levam ao esgotamento do ciclo de vida da SSD do switch

• Em um esforço para garantir a facilidade de manutenção e a capacidade de fornecer a causa básica de eventos muito depois que esse evento ocorreu, os APICs e switches da ACI têm registro detalhado para cada componente que é persistente em SSD.
  
  
• Os recursos de registro acima requerem uma grande quantidade de gravações e sobrescritos em disco. A capacidade dos discos de executar isso não é infinita, portanto, há uma vida útil associada à unidade.  A instabilidade na rede (grande número de movimentações ou atualizações de políticas, etc.), por um longo período de tempo, pode levar à exaustão prematura de um SSD de switch.
  
  
• Houve muitas melhorias para otimizar as gravações e manter a capacidade de manutenção enquanto diminui a quantidade de dados gravados no disco. Essas alterações foram introduzidas em versões diferentes. Consulte a seção Otimização de Código.
  
  
• Para uma versão com os aprimoramentos abaixo integrados, se você ainda tiver um rápido consumo de SSD como ciclo 2/3 P/E a cada dia, é muito provável que seja causado pela gravação de DB em vez de registrar, já que a maioria deles é gravada no RAMFS, os registros são movidos somente para SSD após ZIP quando a rotação é necessária.

Otimização de código

Houve muitas melhorias para otimizar as gravações para manter a capacidade de manutenção e, ao mesmo tempo, diminuir a quantidade de dados gravados no disco. Essas alterações foram introduzidas em versões diferentes.

CSCve88634 Aumente uma falha quando o SSD exceder sua vida útil.
                            Adicionado a 2.1(4), 2.2(4), 2.3(1o), 3.1(2m)
CSCvi32353 F3073 A revisão da vida útil do SSD excedeu a lógica de detecção
CSCvh73803 criar partição ramfs para tmp_logs para diminuir o impacto do registro no SSD
Erro CSCvm97108 para rastrear alterações de superprovisionamento de SSD

CSCvt36458 Removida a camada persistente do banco de dados SQL para switches.

                             Adicionado a 4.2(6d) e 5.1(1h)

3.2.4d e posterior, a 4.x e posterior tem todos os aprimoramentos de monitoramento e otimização de falhas necessários para prolongar o tempo de vida útil da SSD. Isso, claro, não significa que atualizar para essas versões evite absolutamente a questão do tempo de vida da SSD.

Recarregar alteração no comportamento do tipo

O CSCvt36458 alterou o comportamento esperado de um recarregamento incorreto de um nó de Switch ACI:

Tipo de recarregamento	Antes do CSCvt36458	Após CSCvt36458   [4.2(6d)+ e 5.1(1h)+]
Atualizações	Sem Estado	Sem Estado
Recarregações agradáveis (recargas manuais, reinicializações de contatos)	Stateful	Stateful
Recarregações inúteis (pânico do kernel, ciclo de energia)	Stateful	Sem Estado

Em resumo, as recargas Graceful switch continuam a usar seu DB na inicialização. Recarregamentos incorretos de switches agora exigem que todas as políticas sejam extraídas do APIC, semelhante a uma atualização.

                     

Perguntas frequentes diversas

A SSD pode ser substituída no campo?
Não. A SSD não é uma unidade substituível em campo. O chassi inteiro é RMAed quando a falha está na folha. Em Spines modulares, você precisa RMA para o supervisor.

Você deve substituir proativamente o hardware do switch?

Os engenheiros do TAC podem verificar os valores do smartctl e avaliar quais switches têm mais tempo de vida útil, de modo que as substituições possam ser feitas para os switches mais urgentes imediatamente e, em seguida, moverem-se gradualmente para substituir os switches que não são tão urgentes.

Há PIDs de hardware específicos mais susceptíveis a falhas de SSD?

Não. O uso do tempo de vida útil do SSD pode variar de um dispositivo para outro no mesmo ambiente. O uso dos discos SSD depende da frequência com que o dispositivo precisa gravar os registros para manter eventos. Um dispositivo que registra um grande número de eventos com contribuição da instabilidade da rede tem o potencial de atingir seu tempo de vida útil da SSD mais rápido que outros. Assim, a Cisco defende a necessidade de usar as versões posteriores para garantir que a otimização de código ajude a controlar as gravações SSD e prolonga o tempo de vida útil da SSD.