目录

简介

背景信息

未更换SSD时的典型症状

如何验证SSD的当前运行状况？

主动系统警报

手动数据分析

导致交换机SSD寿命耗尽的触发器

代码优化

重新加载类型行为更改

其他常见问题

简介

本文档介绍ACI交换机平台上的SSD寿命耗尽行为。

如果由于APIC（而非交换机节点）引发的SSD故障而登录此页，请参阅FN64329。

此技术说明记录了APIC SSD更换过程。

背景信息

ACI枝叶和主干节点利用固态驱动器(SSD)进行存储和事件记录。所有SSD（无论供应商类型如何）都具有基于制造商定义的特定属性的固定寿命。一些示例包括一段时间内写入和擦除的次数以及传输到驱动器的数据量。枝叶和主干节点上的SSD寿命可能因常规磨损而耗尽。如果用户对SSD即将耗尽的交换机未采取适当措施，则交换机可能因SSD进入只读模式而崩溃。因此，在针对给定节点提出F3073故障时，必须优先更换SSD。在这种情况下，整个交换机会被更换，因为SSD不是现场可更换单元。

F3073在2.1(4)、2.2(4)、2.3(1o)和3.1(2m)中实施。 任何后续软件版本都具有升级F3073的功能。

注意：如果您运行的ACI软件版本没有SSD监控功能，强烈建议升级到可进行此类监控的版本。

未更换SSD时的典型症状

1.当交换机无法启动时，在控制台上可以看到以下错误：

/dev/hd-cfg0: ********** WARNING: Filesystem still has errors **********

e2fsck 1.42.1 (17-Feb-2012)

/dev/hd-cfg1: recovering journal

/sbin/e2fsck: unable to set superblock flags on /dev/hd-cfg1

2.系统能够根据SSD寿命使用情况主动提出与SSD相关的故障（F3073或F3074），以用于更高的代码版本（在后面部分介绍）

- F3074: fltEqptFlashFlash-minor-alarm (80% lifetime)

- F3073: fltEqptFlashFlash-worn-out    (90% lifetime)

3.您可能还会看到F3525因高SSD使用率而引发故障。此故障通常与F3073/F3074相混淆。

# fault.Inst

code : F3525

ack : no

annotation :

cause : equipment-flash-warning

changeSet : deltape (New: 21), peCycles (New: 1678), tbw (New: 32.465179), warning (New: yes)

childAction :

created : 2019-08-05T18:22:01.455-07:00

delegated : no

descr : High SSD usage observed. Please check switch activity and contact Cisco Technical Support about high SSD usage.

dn : topology/pod-1/node-206/sys/ch/supslot-1/sup/flash/fault-F3525

domain : infra

extMngdBy : undefined

highestSeverity : warning

lastTransition : 2019-08-05T18:24:02.029-07:00

lc : raised

modTs : never

occur : 1

origSeverity : warning

prevSeverity : warning

rn : fault-F3525

rule : eqpt-flash-flash-warning-alarm

severity : warning

status :

subject : flash-warning-alarm

type : operational

如果P/E（程序擦除）周期在7天内增加超过21，则会引发故障F3525。这并不意味着SSD已磨损，只是因为存在大量故障，最终可能导致SSD磨损。

您需要与TAC合作，了解造成此客户流失的原因并解决此问题。

还有一项策略，用于更改导致特定类型SSD（访问策略>策略>交换机>设备闪存配置策略）的F3525提升的阈值

如何验证SSD的当前运行状况？

有两种方法可检查SSD寿命状态：

- 主动系统警报

- 手动数据分析

主动系统警报

SSD生命期监控是CSCve88634的一部分 在以下代码版本中：

- 2.1(4)及以上版本，用于2.1系列

- 2.2(4)及以上版本，用于2.2系列

- 2.3(1o)及以上版本，用于2.3系列

- 3.1(2m)和所有未来版本

当驱动器接近其使用寿命的80%时，会产生轻微故障，当驱动器超过其使用寿命的90%时，会产生严重故障。

这使网络运营商能够监控并主动更换任何交换机，以免因超出SSD寿命而发生故障。

- F3074:fltEqptFlashFlash-minor-alarm（80%寿命）

- F3073:fltEqptFlashFlash磨损（90%的寿命）

以前版本的代码没有对交换机SSD进行SSD生命期检查，因此，即使交换机即将到达SSD到期，也不会发生故障。

手动数据分析

从这些版本3.2(5d)3.2(6i)3.2(7f)4.1(1i)开始引入SSD使用日志记录。

a-leaf101# cat /mnt/pss/ssd_log_amp.log   (Tested on 4.2.3l)

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 16 19:00:01 EST 2019   16531370        0       29398      12350    100             0               122396965772    3825894828           60841125365               16         0.00 %              0               0

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 17 19:00:01 EST 2019   16531725        0       29422      12355    100             0               122447755358    3827482016           60858831240               16         0.00 %          12355      61606629993

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Dec 18 19:00:01 EST 2019   16532222        0       29446      12359    100             0               122495197374    3828964594           60875667807               16         0.00 %          12359      61636366134

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Dec 19 19:00:01 EST 2019   16533056        0       29470      12364    100             0               122542269672    3830435617           60892533342               16         0.00 %          12364      61666601865

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Fri Dec 20 19:00:01 EST 2019   16534010        0       29494      12367    100             0               122587126224    3831837398           60908759296               16         0.00 %          12367      61694592882

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sat Dec 21 19:00:01 EST 2019   16535311        0       29518      12372    100             0               122631804318    3833233605           60925205662               16         0.00 %          12372      61723045022

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sun Dec 22 19:00:01 EST 2019   16536727        0       29542      12376    100             0               122676829388    3834640654           60941741722               16         0.00 %          12376      61751623726

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 23 19:00:01 EST 2019   16538321        0       29566      12380    100             0               122722137414    3836056544           60958504969               16         0.00 %          12380      61780395692

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 24 19:00:01 EST 2019   16539858        0       29591      12384    100             0               122767087802    3837461258           60975050343               16         0.00 %          12384      61808582833

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Dec 25 19:00:01 EST 2019   16541121        0       29615      12388    100             0               122812238580    3838872234           60991578411               16         0.00 %          12388      61837188237

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Dec 26 19:00:01 EST 2019   16542653        0       29639      12393    100             0               122857007868    3840271286           61008101155               16         0.00 %          12393      61865429457

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Fri Dec 27 19:00:01 EST 2019   16544352        0       29663      12397    100             0               122901807026    3841671272           61024757511               16         0.00 %          12397      61893705871

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sat Dec 28 19:00:01 EST 2019   16546213        0       29687      12401    100             0               122946927200    3843081289           61041459287               16         0.00 %          12401      61922169689

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sun Dec 29 19:00:01 EST 2019   16549522        0       29711      12405    100             0               122991584018    3844476827           61058889999               16         0.00 %          12405      61950124731

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 30 19:00:01 EST 2019   16551885        0       29735      12410    100             0               123036252528    3845872732           61075846564               16         0.00 %          12410      61977362529

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 31 19:00:01 EST 2019   16553858        0       29759      12414    100             0               123098133082    3847806568           61093085451               16         0.00 %          12414      62022286518

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Jan  1 19:00:01 EST 2020   16555127        0       29783      12418    100             0               123142018610    3849178024           61109758713               16         0.00 %          12418      62048933159

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Jan  2 19:00:01 EST 2020   16556532        0       29808      12422    100             0               123186637556    3850572390           61126687626               16         0.00 %          12422      62076878843

Model                          SerialNo        SW-Version      Date         R.Error(1) GBB(5)     UpTime(9)  PE(173)  LifeTime(202)   Attr(210)  TBW(246)     WAF    DWAF       DPE      DTBW

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-03   16557977   0          29832      12428    100             0          123278298184 16     0.00 %      0        0

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-04   16558440   0          29856      12433    100             0          123323818606 16     0.00 %      5        45520422

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-05   16559031   0          29880      12438    100             0          123369348610 16     0.00 %      5        45530004

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-06   16561567   0          29904      12443    100             0          123415316270 16     0.00 %      5        45967660

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-07   16564701   0          29928      12448    100             0          123460483898 16     0.00 %      5        45167628

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-08   16565955   0          29952      12453    100             0          123505550532 16     0.00 %      5        45066634

ssd_log_amp.log文件位于1of3交换机技术支持中

对于任何与制造商相关的其他命令，输出需要根用户的权限，而根用户需要TAC服务请求。

导致交换机SSD寿命耗尽的触发器

- 为确保可维护性以及在事件发生很久后提供事件根本原因的能力，ACI APIC和交换机对每个持续到SSD的组件都执行详细日志记录。

- 上述日志记录功能需要大量磁盘写入和覆盖。磁盘执行此操作的能力不是无限的，因此，存在与驱动器关联的生命期。  网络不稳定（大量移动或策略更新等），持续时间较长，可能导致交换机SSD过早耗尽。

- 在优化写操作和维护可维护性的同时减少写入磁盘的数据量，已经有了许多增强功能。这些更改是在不同版本中引入的。请参阅代码优化部分。

- 对于集成了以下增强功能的版本，如果您每天仍然体验到2/3 P/E周期等快速SSD消耗，则很可能是由数据库写入而非日志记录（因为大多数日志都写入RAMFS）导致的，则只有在需要轮换时，才会在ZIP之后将日志移动到SSD。

代码优化

在优化写操作以维护可维护性的同时减少写入磁盘的数据量方面，已经进行了许多增强功能。这些更改是在不同版本中引入的。

CSCve88634当SSD超过其使用寿命时引发故障。

·添加到2.1(4)、2.2(4)、2.3(1o)、3.1(2m)

CSCvi32353 F3073 SSD修订版超出检测逻辑

CSCvh73803为tmp_logs创建ramfs分区，以减少对SSD的日志记录影响

CSCvm97108 Bug，用于跟踪SSD过度调配更改

CSCvt36458为交换机删除了SQL数据库持久层。

·添加到4.2(6d)和5.1(1h)

3.2.4d及更高版本、4.x及更高版本均具备延长SSD寿命所需的所有故障监控和优化增强功能。当然，这并不意味着升级到这些版本会绝对避免SSD寿命问题。

重新加载类型行为更改

CSCvt36458更改了ACI交换机节点不平稳重新加载的预期行为：

重新加载类型

在CSCvt36458之前

在CSCvt36458之后   [4.2(6d)+和5.1(1h)+]

升级

无状态

无状态

平稳重新加载（手动重新加载、hap-resets）

状态

状态

不流畅的重新加载（内核死机、电源循环）

状态

无状态

总之，平滑交换机重新加载后继续使用其数据库进行启动。不流畅的交换机重新加载现在需要从APIC提取所有策略，类似于升级。

其他常见问题

现场是否可以更换SSD?

否。SSD不是可现场更换的单元。当故障发生在枝叶上时，整个机箱将RMA。在模块化主干上，您必须对主管进行RMA。

您是否应主动更换交换机硬件？

TAC工程师可以检查smartctl值并评估哪些交换机具有更长的使用寿命，以便立即更换最紧急的交换机，然后逐步更换那些不紧急的交换机。

是否有更易发生SSD故障的特定硬件PID?

否。SSD使用寿命可能因同一环境中不同设备而异。SSD磁盘的使用情况取决于设备需要多长时间写入日志以保留事件。注册由网络不稳定引起的大量事件的设备可能比其他设备更早达到其SSD寿命。因此，思科提倡使用更高版本来确保代码优化有助于控制SSD写入并延长SSD的寿命。