Inhalt

Ziel

Übersicht

Typische Symptome, wenn SSD nicht ersetzt wird

Überprüfen des aktuellen Status einer SSD

1. Proaktive Systemwarnungen

2. Manuelle Datenanalyse

Auslöser führen zur Erschöpfung der Switch-SSD-Lebensdauer

Codeoptimierung

Verschiedene FAQ

Ziel

In diesem Dokument wird detailliert auf das Verhalten bei der Auslastung von SSD-Festplatten auf ACI-Switch-Plattformen eingegangen.

Wenn Sie aufgrund eines SSD-Fehlers, der gegen den APIC (kein Switch-Knoten) ausgelöst wurde, auf dieser Seite gelandet sind, finden Sie weitere Informationen unter FN64329.

Im folgenden TechNote wird das APIC SSD-Austauschverfahren dokumentiert.

Übersicht

ACI-Leaf- und Spine-Knoten verwenden Solid State Drives (SSD) für die Speicherung und Ereignisprotokollierung. Alle SSDs haben unabhängig vom Herstellertyp eine feste Lebensdauer, die auf vom Hersteller festgelegten Attributen beruht. Einige Beispiele hierfür sind die Anzahl der Schreibvorgänge und Löschungen sowie das Volumen der Daten, die über einen bestimmten Zeitraum auf die Laufwerke übertragen wurden. Die SSD-Lebensdauer auf Leaf- und Spine-Knoten kann durch regelmäßigen Verschleiß erpunkt erschöpft werden. Wenn der Benutzer keine geeigneten Maßnahmen gegen einen Switch ergreift, dessen SSD bald erschöpft ist, kann der Switch aufgrund des Schreibvorgangs abstürzen. Aus diesem Grund ist es zwingend erforderlich, die SSD-Ersetzung zu priorisieren, wenn der Fehler F3073 für einen bestimmten Knoten ausgelöst wird. In diesem Fall wird der gesamte Switch ersetzt, da die SSD keine vor Ort austauschbare Einheit ist.

F3073 wurde in 2.1(4), 2.2(4), 2.3(1o) und 3.1(2m) implementiert. Alle nachfolgenden Softwareversionen verfügen über die Funktionalität, F3073 zu erhöhen.

Wenn eine ACI-Softwareversion ohne SSD-Überwachungsfunktion ausgeführt wird, wird dringend empfohlen, auf eine Version zu aktualisieren, in der eine solche Überwachung verfügbar ist.

Typische Symptome, wenn SSD nicht ersetzt wird

1. Wenn der Switch nicht bootet, werden in der Konsole möglicherweise folgende Fehler angezeigt:

/dev/hd-cfg0: ********** WARNING: Filesystem still has errors **********

e2fsck 1.42.1 (17-Feb-2012)

/dev/hd-cfg1: recovering journal

/sbin/e2fsck: unable to set superblock flags on /dev/hd-cfg1

2. Das System kann Fehler im Zusammenhang mit SSD (F3073 oder F3074, basierend auf der SSD-Lebensdauer) bei späteren Code-Releases proaktiv auslösen (wird im späteren Abschnitt behandelt).

- F3074: fltEqptFlash-Minor-Alarm (80 % Lebensdauer)

- F3073: fltEqptFlashAbgelehnt-out (90 % Lebensdauer)

3. Möglicherweise wird auch der Fehler F3525 für eine hohe SSD-Nutzung ausgelöst. Dieser Fehler wird häufig mit F3073/F3074 verwechselt.

# fault.Inst

code : F3525

ack : no

annotation :

cause : equipment-flash-warning

changeSet : deltape (New: 21), peCycles (New: 1678), tbw (New: 32.465179), warning (New: yes)

childAction :

created : 2019-08-05T18:22:01.455-07:00

delegated : no

descr : High SSD usage observed. Please check switch activity and contact Cisco Technical Support about high SSD usage.

dn : topology/pod-1/node-206/sys/ch/supslot-1/sup/flash/fault-F3525

domain : infra

extMngdBy : undefined

highestSeverity : warning

lastTransition : 2019-08-05T18:24:02.029-07:00

lc : raised

modTs : never

occur : 1

origSeverity : warning

prevSeverity : warning

rn : fault-F3525

rule : eqpt-flash-flash-warning-alarm

severity : warning

status :

subject : flash-warning-alarm

type : operational

Der Fehler F3525 wird ausgelöst, wenn die P/E-Zyklen (Programm-Löschung) innerhalb von 7 Tagen um mehr als 21 ansteigen. Das bedeutet nicht, dass die SSD abgenutzt ist, sondern dass es eine große Abwanderung gibt, die letztendlich dazu führen kann, dass die SSDs abgenutzt werden.

Sie müssen mit dem TAC zusammenarbeiten, um zu verstehen, was diese Abwanderung verursacht, und um sie zu beheben.

Es gibt auch eine Richtlinie zum Ändern der Schwellenwerte, durch die F3525 für bestimmte SSD-Typen ausgelöst wird (Zugriffsrichtlinien -> Richtlinien -> Switch -> Flash-Konfigurationsrichtlinien für Geräte).

Überprüfen des aktuellen Status einer SSD

Es gibt zwei Möglichkeiten, den Status der SSD-Lebensdauer zu überprüfen.

1. Proaktive Systemwarnungen

2. Manuelle Datenanalyse

1. Proaktive Systemwarnungen

Die SSD-Lebenszeitüberwachung wurde als Teil von CSCve88634 hinzugefügt. in den folgenden Codeversionen:

- 2.1(4) und höher für 2.1-Zug

- 2.2(4) und höher für 2.2-Zug

- 2.3(1o) und höher für 2.3-Zug

- 3.1(2 m) und alle zukünftigen Versionen

Ein geringfügiger Fehler tritt auf, wenn das Laufwerk 80 % seiner Lebensdauer erreicht und ein größerer Fehler ausgelöst wird, wenn es mehr als 90 % seiner Lebensdauer beträgt.

So können Netzwerkbetreiber jeden Switch überwachen und proaktiv austauschen, bevor er aufgrund einer Überschreitung der SSD-Lebensdauer ausfällt.

- F3074: fltEqptFlash-Minor-Alarm (80 % Lebensdauer)

- F3073: fltEqptFlashAbgelehnt-out (90 % Lebensdauer)

Bei früheren Codeversionen wurde die SSD-Lebenszeitprüfung nicht auf Switch-SSDs überprüft. Selbst wenn der Switch kurz vor dem Ablauf der SSD stand, wird daher kein Fehler ausgegeben.

2. Manuelle Datenanalyse

Die Protokollierung der SSD-Nutzung wurde ab diesen Versionen 3.2(5d) 3.2(6i) 3.2(7f) 4.1(1i) eingeführt.

a-leaf101# cat /mnt/pss/ssd_log_amp.log   (Tested on 4.2.3l)

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 16 19:00:01 EST 2019   16531370        0       29398      12350    100             0               122396965772    3825894828           60841125365               16         0.00 %              0               0

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 17 19:00:01 EST 2019   16531725        0       29422      12355    100             0               122447755358    3827482016           60858831240               16         0.00 %          12355      61606629993

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Dec 18 19:00:01 EST 2019   16532222        0       29446      12359    100             0               122495197374    3828964594           60875667807               16         0.00 %          12359      61636366134

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Dec 19 19:00:01 EST 2019   16533056        0       29470      12364    100             0               122542269672    3830435617           60892533342               16         0.00 %          12364      61666601865

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Fri Dec 20 19:00:01 EST 2019   16534010        0       29494      12367    100             0               122587126224    3831837398           60908759296               16         0.00 %          12367      61694592882

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sat Dec 21 19:00:01 EST 2019   16535311        0       29518      12372    100             0               122631804318    3833233605           60925205662               16         0.00 %          12372      61723045022

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sun Dec 22 19:00:01 EST 2019   16536727        0       29542      12376    100             0               122676829388    3834640654           60941741722               16         0.00 %          12376      61751623726

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 23 19:00:01 EST 2019   16538321        0       29566      12380    100             0               122722137414    3836056544           60958504969               16         0.00 %          12380      61780395692

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 24 19:00:01 EST 2019   16539858        0       29591      12384    100             0               122767087802    3837461258           60975050343               16         0.00 %          12384      61808582833

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Dec 25 19:00:01 EST 2019   16541121        0       29615      12388    100             0               122812238580    3838872234           60991578411               16         0.00 %          12388      61837188237

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Dec 26 19:00:01 EST 2019   16542653        0       29639      12393    100             0               122857007868    3840271286           61008101155               16         0.00 %          12393      61865429457

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Fri Dec 27 19:00:01 EST 2019   16544352        0       29663      12397    100             0               122901807026    3841671272           61024757511               16         0.00 %          12397      61893705871

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sat Dec 28 19:00:01 EST 2019   16546213        0       29687      12401    100             0               122946927200    3843081289           61041459287               16         0.00 %          12401      61922169689

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sun Dec 29 19:00:01 EST 2019   16549522        0       29711      12405    100             0               122991584018    3844476827           61058889999               16         0.00 %          12405      61950124731

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 30 19:00:01 EST 2019   16551885        0       29735      12410    100             0               123036252528    3845872732           61075846564               16         0.00 %          12410      61977362529

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 31 19:00:01 EST 2019   16553858        0       29759      12414    100             0               123098133082    3847806568           61093085451               16         0.00 %          12414      62022286518

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Jan  1 19:00:01 EST 2020   16555127        0       29783      12418    100             0               123142018610    3849178024           61109758713               16         0.00 %          12418      62048933159

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Jan  2 19:00:01 EST 2020   16556532        0       29808      12422    100             0               123186637556    3850572390           61126687626               16         0.00 %          12422      62076878843

Model                          SerialNo        SW-Version      Date         R.Error(1) GBB(5)     UpTime(9)  PE(173)  LifeTime(202)   Attr(210)  TBW(246)     WAF    DWAF       DPE      DTBW

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-03   16557977   0          29832      12428    100             0          123278298184 16     0.00 %      0        0

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-04   16558440   0          29856      12433    100             0          123323818606 16     0.00 %      5        45520422

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-05   16559031   0          29880      12438    100             0          123369348610 16     0.00 %      5        45530004

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-06   16561567   0          29904      12443    100             0          123415316270 16     0.00 %      5        45967660

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-07   16564701   0          29928      12448    100             0          123460483898 16     0.00 %      5        45167628

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-08   16565955   0          29952      12453    100             0          123505550532 16     0.00 %      5        45066634

Die Datei ssd_log_amp.log befindet sich im 1-von-3-Switch-technischen Support

Für alle zusätzlichen herstellerbezogenen Kommandoausgänge wären Berechtigungen eines Stammbenutzers erforderlich, der eine TAC-Serviceanfrage erfordert.

Auslöser führen zur Erschöpfung der Switch-SSD-Lebensdauer

· Um die Wartungsfreundlichkeit und die Möglichkeit zu gewährleisten, dass Ereignisse auch lange nach dem Eintreten dieses Ereignisses Ursache haben, verfügen die ACI APICs und Switches über eine ausführliche Protokollierung für jede Komponente, die für SSD persistent ist.

· Die oben genannten Protokollierungsfunktionen erfordern ein hohes Maß an Schreibvorgängen und Überschreibungen auf die Festplatte. Die Fähigkeit der Festplatten, dies zu tun, ist nicht unbegrenzt, daher ist dem Laufwerk eine Lebensdauer zugeordnet.  Instabilität im Netzwerk (große Anzahl von Verschiebungen oder Richtlinien-Updates usw.) über einen längeren Zeitraum kann zu einer vorzeitigen Erschöpfung der Switch-SSD führen.

· Es wurden zahlreiche Verbesserungen vorgenommen, um die Schreibvorgänge zu optimieren und die Benutzerfreundlichkeit aufrechtzuerhalten und gleichzeitig die Anzahl der auf die Festplatte geschriebenen Daten zu reduzieren. Diese Änderungen wurden in verschiedenen Versionen eingeführt. Weitere Informationen finden Sie im Abschnitt Codeoptimierung.

· Bei einer Version mit den unten aufgeführten Erweiterungen, die integriert ist, ist es sehr wahrscheinlich, dass der Kunde, wenn er immer noch eine schnelle SSD-Nutzung wie 2/3 P/E-Zyklus jeden Tag erfährt, durch DB-Schreiben verursacht wird, anstatt zu protokollieren, da die meisten von ihnen Schreiben in RAMFS sind, werden Logs nur nach ZIP verschoben, wenn eine Rotation erforderlich ist.

Codeoptimierung

Es wurden zahlreiche Verbesserungen vorgenommen, um die Schreibvorgänge zu optimieren, um die Betriebsfähigkeit aufrechtzuerhalten und gleichzeitig die Menge der auf die Festplatte geschriebenen Daten zu reduzieren. Diese Änderungen wurden in verschiedenen Versionen eingeführt.

CSCve88634 Löst einen Fehler aus, wenn die SSD ihre Lebensdauer überschreitet.

· Hinzugefügt unter 2.1(4), 2.2(4), 2.3(1o), 3.1(2m)

CSCvi32353 F3073 Revision to SSD Lifetime Überschreitet die Erkennungslogik

CSCvh73803 erstellt ramfs-Partition für tmp_logs, um die Auswirkungen der Protokollierung auf SSD zu verringern

CSCvm97108 Bug zur Nachverfolgung von Änderungen bei der SSD-Überprovisionierung

Ab 3.2.4d bietet 4.x alle Erweiterungen der Fehlerüberwachung und -optimierung, die für eine Verlängerung der SSD-Lebensdauer erforderlich sind. Dies bedeutet natürlich nicht, dass ein Upgrade auf diese Releases das Problem der SSD-Lebensdauer absolut verhindern wird.

Verschiedene FAQ

1. Kann die SSD im Feld ersetzt werden?

Nein. Die SSD ist keine vor Ort austauschbare Einheit. Wenn der Ausfall auf dem Leaf auftritt, muss das gesamte Chassis mit RMAs versehen werden. Bei modularen Spines muss der Supervisor eine RMA durchführen.

2. Soll Switch-Hardware proaktiv ersetzt werden?

TAC-Techniker können intelligente Werte prüfen und beurteilen, welche Switches eine längere Lebensdauer haben, sodass die wichtigsten Switches sofort ausgetauscht werden können. Anschließend können sie die nicht so dringend benötigten Switches schrittweise ersetzen.

2. Gibt es spezifische Hardware-PIDs, die anfälliger für SSD-Fehler sind?

Nein. Die SSD-Lebensdauer kann von Gerät zu Gerät in derselben Umgebung variieren. Die Verwendung der SSD-Festplatten hängt davon ab, wie oft das Gerät Protokolle für die Ereignisverwaltung schreiben muss. Ein Gerät, das eine große Anzahl von Ereignissen registriert, die durch Instabilität des Netzwerks verursacht wurden, kann seine SSD-Lebensdauer früher als andere erreichen. Daher empfiehlt Cisco, die späteren Versionen zu verwenden, um sicherzustellen, dass die Codeoptimierung bei der Steuerung der SSD-Schreibvorgänge und der Verlängerung der SSD-Lebensdauer hilft.