ACIスイッチノードSSDライフタイムの説明
内容
概要
このドキュメントでは、ACIスイッチプラットフォームでのSSDの寿命枯渇の動作について説明します。
APIC（スイッチノードではない）に対してSSD障害が発生した結果、このページにアクセスした場合は、FN64329を参照してください。
このTechNoteでは、APIC SSDの交換手順について説明します。
背景説明
ACIリーフ/スパインノードは、ソリッドステートドライブ(SSD)を使用してストレージとイベントのロギングを行います。すべてのSSDは、ベンダーのタイプに関係なく、メーカーによって定義された特定の属性に基づいて寿命が一定です。たとえば、書き込みと消去の数や、一定期間にドライブに転送されるデータのボリュームなどがあります。リーフ/スパイン型ノードのSSD寿命は、通常の損耗により消耗する可能性があります。SSDが枯渇に近づいているスイッチに対してユーザが適切なアクションを実行しないと、SSDが読み取り専用モードに移行したためにスイッチがクラッシュする可能性があります。このため、特定のノードに対してF3073障害が発生した場合には、SSDの交換に優先順位を付ける必要があります。このようなシナリオでは、SSDは現場交換可能ユニットではないため、スイッチ全体が交換されます。
F3073は2.1(4)、2.2(4)、2.3(1o)、3.1(2m)で実装されました。 それ以降のソフトウェアバージョンには、F3073を起動する機能があります。
SSDを交換しない場合の一般的な症状
1.スイッチのブートに失敗すると、コンソールに次のエラーが表示されます。
/dev/hd-cfg0: ********** WARNING: Filesystem still has errors **********
e2fsck 1.42.1 (17-Feb-2012)
/dev/hd-cfg1: recovering journal
/sbin/e2fsck: unable to set superblock flags on /dev/hd-cfg1
2.システムは、SSDに関連する障害（SSDの寿命使用状況に基づくF3073またはF3074）を後のコードリリース（後述）で予防的に引き起こすことができる
-
F3074: fltEqptFlashFlash-minor-alarm (80% lifetime)
-
F3073: fltEqptFlashFlash-worn-out (90% lifetime)
3. SSDの使用率が高い場合は、障害F3525が発生する可能性もあります。この障害は、F3073/F3074と混同されることがよくあります。
# fault.Inst
code : F3525
ack : no
annotation :
cause : equipment-flash-warning
changeSet : deltape (New: 21), peCycles (New: 1678), tbw (New: 32.465179), warning (New: yes)
childAction :
created : 2019-08-05T18:22:01.455-07:00
delegated : no
descr : High SSD usage observed. Please check switch activity and contact Cisco Technical Support about high SSD usage.
dn : topology/pod-1/node-206/sys/ch/supslot-1/sup/flash/fault-F3525
domain : infra
extMngdBy : undefined
highestSeverity : warning
lastTransition : 2019-08-05T18:24:02.029-07:00
lc : raised
modTs : never
occur : 1
origSeverity : warning
prevSeverity : warning
rn : fault-F3525
rule : eqpt-flash-flash-warning-alarm
severity : warning
status :
subject : flash-warning-alarm
type : operational
障害F3525は、P/E（プログラム消去）サイクルが7日間で21以上増加すると発生します。これは、SSDが消耗していることを意味しているわけではありません。単純に、SSDが消耗する原因となる可能性がある大量の原因があるということです。
TACと協力して、この解約の原因を理解し、対処する必要があります。
また、特定のタイプのSSDに対してF3525を起動させるしきい値を変更するポリシーもあります([Access Policies] > [Policies] > [Switch] > [Equipment Flash Config Policies)
SSDの現在の状態を確認する方法
SSDの寿命ステータスを確認するには、次の2つの方法があります。
- 予防的なシステムアラート
- 手動データ分析
予防的なシステムアラート
SSDライフタイムモニタリングがCSCve88634の一部として追加されました 
次のバージョンのコード：
- 2.1トレインでは2.1(4)以降
- 2.2トレインでは2.2(4)以降
- 2.3トレインでは2.3(1o)以降
- 3.1(2 m)および今後のすべてのリリース
ドライブがライフタイムの80 %に達するとマイナー障害が発生し、ライフタイムの90 %を超えるとメジャー障害が発生します。
これにより、ネットワークオペレータは、SSDのライフタイムを超過したために障害が発生する前に、任意のスイッチを監視して予防的に交換できます。
- F3074: fltEqptFlashFlash-minor-alarm（80 %ライフタイム）
- F3073: fltEqptFlashFlash消耗（90%ライフタイム）
以前のバージョンのコードでは、スイッチSSDのSSDライフタイムチェックが行われていなかったため、スイッチがSSDの有効期限に近づいても、障害は発生しません。
手動データ分析
SSDの使用ロギングは、3.2(5d) 3.2(6i) 3.2(7f) 4.1(1i)以降で導入されました。
a-leaf101# cat /mnt/pss/ssd_log_amp.log (Tested on 4.2.3l)
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Mon Dec 16 19:00:01 EST 2019 16531370 0 29398 12350 100 0 122396965772 3825894828 60841125365 16 0.00 % 0 0
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Tue Dec 17 19:00:01 EST 2019 16531725 0 29422 12355 100 0 122447755358 3827482016 60858831240 16 0.00 % 12355 61606629993
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Wed Dec 18 19:00:01 EST 2019 16532222 0 29446 12359 100 0 122495197374 3828964594 60875667807 16 0.00 % 12359 61636366134
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Thu Dec 19 19:00:01 EST 2019 16533056 0 29470 12364 100 0 122542269672 3830435617 60892533342 16 0.00 % 12364 61666601865
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Fri Dec 20 19:00:01 EST 2019 16534010 0 29494 12367 100 0 122587126224 3831837398 60908759296 16 0.00 % 12367 61694592882
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Sat Dec 21 19:00:01 EST 2019 16535311 0 29518 12372 100 0 122631804318 3833233605 60925205662 16 0.00 % 12372 61723045022
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Sun Dec 22 19:00:01 EST 2019 16536727 0 29542 12376 100 0 122676829388 3834640654 60941741722 16 0.00 % 12376 61751623726
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Mon Dec 23 19:00:01 EST 2019 16538321 0 29566 12380 100 0 122722137414 3836056544 60958504969 16 0.00 % 12380 61780395692
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Tue Dec 24 19:00:01 EST 2019 16539858 0 29591 12384 100 0 122767087802 3837461258 60975050343 16 0.00 % 12384 61808582833
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Wed Dec 25 19:00:01 EST 2019 16541121 0 29615 12388 100 0 122812238580 3838872234 60991578411 16 0.00 % 12388 61837188237
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Thu Dec 26 19:00:01 EST 2019 16542653 0 29639 12393 100 0 122857007868 3840271286 61008101155 16 0.00 % 12393 61865429457
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Fri Dec 27 19:00:01 EST 2019 16544352 0 29663 12397 100 0 122901807026 3841671272 61024757511 16 0.00 % 12397 61893705871
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Sat Dec 28 19:00:01 EST 2019 16546213 0 29687 12401 100 0 122946927200 3843081289 61041459287 16 0.00 % 12401 61922169689
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Sun Dec 29 19:00:01 EST 2019 16549522 0 29711 12405 100 0 122991584018 3844476827 61058889999 16 0.00 % 12405 61950124731
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Mon Dec 30 19:00:01 EST 2019 16551885 0 29735 12410 100 0 123036252528 3845872732 61075846564 16 0.00 % 12410 61977362529
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Tue Dec 31 19:00:01 EST 2019 16553858 0 29759 12414 100 0 123098133082 3847806568 61093085451 16 0.00 % 12414 62022286518
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Wed Jan 1 19:00:01 EST 2020 16555127 0 29783 12418 100 0 123142018610 3849178024 61109758713 16 0.00 % 12418 62048933159
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Thu Jan 2 19:00:01 EST 2020 16556532 0 29808 12422 100 0 123186637556 3850572390 61126687626 16 0.00 % 12422 62076878843
Model SerialNo SW-Version Date R.Error(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attr(210) TBW(246) WAF DWAF DPE DTBW
Micron_M600_MTFDDAT064MBF MSA195207V1 14.2(3l) 2020-01-03 16557977 0 29832 12428 100 0 123278298184 16 0.00 % 0 0
Micron_M600_MTFDDAT064MBF MSA195207V1 14.2(3l) 2020-01-04 16558440 0 29856 12433 100 0 123323818606 16 0.00 % 5 45520422
Micron_M600_MTFDDAT064MBF MSA195207V1 14.2(3l) 2020-01-05 16559031 0 29880 12438 100 0 123369348610 16 0.00 % 5 45530004
Micron_M600_MTFDDAT064MBF MSA195207V1 14.2(3l) 2020-01-06 16561567 0 29904 12443 100 0 123415316270 16 0.00 % 5 45967660
Micron_M600_MTFDDAT064MBF MSA195207V1 14.2(3l) 2020-01-07 16564701 0 29928 12448 100 0 123460483898 16 0.00 % 5 45167628
Micron_M600_MTFDDAT064MBF MSA195207V1 14.2(3l) 2020-01-08 16565955 0 29952 12453 100 0 123505550532 16 0.00 % 5 45066634
ssd_log_amp.logファイルは、1of3スイッチのテクニカルサポートにあります
追加の製造業者関連コマンド出力には、TACサービスリクエストを必要とするrootユーザの権限が必要です。
スイッチSSDの寿命枯渇につながるトリガー
- サービスアビリティを確保し、イベントの根本原因をイベントの発生後ずっと提供できるようにするため、ACI APICおよびスイッチは、SSDに永続的な各コンポーネントに対して冗長ロギングを備えています。
- 上記のロギング機能では、大量のディスク書き込みと上書きが必要です。この処理を実行するディスクの機能は無限ではないので、ドライブに関連するライフタイムがあります。 ネットワークの不安定性（大量の移動やポリシーの更新など）が長期にわたって続くと、スイッチのSSDが早期に枯渇する可能性があります。
- ディスクに書き込まれるデータの量を減らしながら、書き込みを最適化し、サービサビリティを維持するための多くの機能拡張が行われています。これらの変更は、異なるバージョンで導入されました。「コード最適化」セクションを参照してください。
- 下記の機能拡張が組み込まれたバージョンでは、毎日2/3 P/Eサイクルのような高速なSSD消費が続く場合、ほとんどのログがRAMFSに書き込まれるため、ログはZIP後にのみSSDに移動されます。
コード最適化
ディスクに書き込まれるデータの量を減らしながら、書き込みを最適化してサービサビリティを維持するための多くの機能拡張が行われています。これらの変更は、異なるバージョンで導入されました。
CSCve88634 SSDがライフタイムを超えたときに障害を発生させる。
・ 2.1(4)、2.2(4)、2.3(1o)、3.1(2m)に追加
CSCvi32353 F3073 Revision to SSD lifetime exceeded detection logic
CSCvh73803 tmp_logsのramfsパーティションを作成し、SSDへのロギングの影響を軽減
CSCvm97108 SSDオーバープロビジョニングの変更を追跡するバグ
CSCvt36458:Removed SQL DB persistent Layer for switches.
・ 4.2(6d)および5.1(1h)に追加
3.2.4d以降、4.x以降には、SSDの寿命を延ばすために必要な障害モニタリングおよび最適化の拡張機能がすべて備わっています。もちろん、これらのリリースにアップグレードしても、SSDの寿命問題が確実に防止されるわけではありません。
リロードタイプの動作変更
CSCvt36458は、ACIスイッチノードの予期される動作を正常なリロードから変更しました。
| リロードタイプ | CSCvt36458より前 |
CSCvt36458以降 [4.2(6d)+および5.1(1h)+] |
| アップグレード | ステートレス | ステートレス |
| グレースフルリロード（手動リロード、ハップリセット） | ステートフル | ステートフル |
| グレースフルリロード（カーネルパニック、電源の再投入） | ステートフル | ステートレス |
要約すると、グレースフルスイッチのリロードでは、引き続きDBが使用されます。アップグレードと同様に、すべてのポリシーをAPICから取得する必要がある状態のスイッチの無グレースフルリロード。
その他のFAQ
SSDは現場で交換できますか。
いいえ。SSDは現場交換可能ユニットではありません。障害がリーフに発生すると、シャーシ全体がRMA状態になります。モジュラスパインでは、スーパーバイザのRMAを行う必要があります。
スイッチハードウェアをプロアクティブに交換する必要がありますか。
TACエンジニアは、smartctlの値を確認し、よりライフタイムの長いスイッチを評価して、最も緊急のスイッチに対して即座に交換を行い、緊急の必要のないスイッチを徐々に交換するように移行できます。
SSD障害の影響を受けやすい特定のハードウェアPIDはありますか。
いいえ。SSDの寿命は、同じ環境の異なるデバイスによって異なる場合があります。SSDディスクの使用状況は、デバイスがイベントを保持するためにログを書き込む必要がある頻度によって異なります。ネットワークの不安定性によって発生する多数のイベントを登録するデバイスは、他のデバイスよりも早くSSDの寿命に達する可能性があります。そのため、コード最適化がSSDの書き込みの制御に役立ち、SSDの寿命を延ばすために、以降のリリースを使用する必要があるとシスコは主張しています。
更新履歴
| 改定 | 発行日 | コメント |
|---|---|---|
1.0 |
09-Jan-2020 |
初版 |
フィードバック