목차

소개

배경 정보

SSD를 교체하지 않은 경우의 일반적인 증상

SSD의 현재 상태를 확인하는 방법

사전 대응적 시스템 알림

수동 데이터 분석

스위치 SSD 수명 소모를 유발하는 트리거

코드 최적화

다시 로드 유형 동작 변경

기타 FAQ

소개

이 문서에서는 ACI 스위치 플랫폼의 SSD 수명 소모 행동에 대해 설명합니다.

스위치 노드가 아닌 APIC에 대해 제기된 SSD 결함 때문에 이 페이지에 도달한 경우 FN64329를 참조하십시오.

이 TechNote에서는 APIC SSD 교체 절차를 문서화합니다.

배경 정보

ACI 리프 및 스파인 노드는 스토리지 및 이벤트 로깅을 위해 SSD(Solid-State Drive)를 활용합니다.벤더 유형에 관계없이 모든 SSD는 제조업체에서 정의한 특정 특성에 따라 고정된 수명을 가집니다.일부 예에는 쓰기 및 삭제 수와 일정 기간 동안 드라이브로 전송된 데이터 볼륨이 포함됩니다.Leaf 및 Spine 노드의 SSD 수명은 정규적인 마모와 손상 때문에 소진될 수 있습니다.사용자가 SSD가 고갈되는 스위치에 대해 적절한 조치를 취하지 않을 경우 SSD가 읽기 전용 모드로 전환되어 스위치가 충돌할 수 있습니다.따라서 지정된 노드에 대해 F3073 결함이 발생하는 경우 SSD 교체의 우선 순위를 지정해야 합니다.이러한 시나리오에서는 SSD가 현장 교체 가능 장치가 아니므로 전체 스위치가 교체됩니다.

F3073은 2.1(4), 2.2(4), 2.3(1o) 및 3.1(2m)에 구현되었습니다. 이후의 모든 소프트웨어 버전에는 F3073을 실행하는 기능이 있습니다.

참고:SSD 모니터링 기능이 없는 ACI 소프트웨어 버전을 실행하는 경우 이러한 모니터링을 사용할 수 있는 버전으로 업그레이드하는 것이 좋습니다.

SSD를 교체하지 않은 경우의 일반적인 증상

1. 스위치가 부팅되지 않으면 콘솔에 다음과 같은 오류가 표시됩니다.

/dev/hd-cfg0: ********** WARNING: Filesystem still has errors **********

e2fsck 1.42.1 (17-Feb-2012)

/dev/hd-cfg1: recovering journal

/sbin/e2fsck: unable to set superblock flags on /dev/hd-cfg1

2. 시스템이 이후 코드 릴리스(이후 섹션에서 설명)에서 SSD(F3073 또는 F3074)와 관련된 결함을 사전에 발생시킬 수 있습니다(SSD 수명 사용량 기준).

- F3074: fltEqptFlashFlash-minor-alarm (80% lifetime)

- F3073: fltEqptFlashFlash-worn-out    (90% lifetime)

3. SSD 사용량이 높은 경우 결함 F3525도 발생할 수 있습니다.이 결함은 종종 F3073/F3074와 혼동됩니다.

# fault.Inst

code : F3525

ack : no

annotation :

cause : equipment-flash-warning

changeSet : deltape (New: 21), peCycles (New: 1678), tbw (New: 32.465179), warning (New: yes)

childAction :

created : 2019-08-05T18:22:01.455-07:00

delegated : no

descr : High SSD usage observed. Please check switch activity and contact Cisco Technical Support about high SSD usage.

dn : topology/pod-1/node-206/sys/ch/supslot-1/sup/flash/fault-F3525

domain : infra

extMngdBy : undefined

highestSeverity : warning

lastTransition : 2019-08-05T18:24:02.029-07:00

lc : raised

modTs : never

occur : 1

origSeverity : warning

prevSeverity : warning

rn : fault-F3525

rule : eqpt-flash-flash-warning-alarm

severity : warning

status :

subject : flash-warning-alarm

type : operational

P/E(프로그램 지우기) 주기가 7일 동안 21회 이상 증가하면 Fault F3525가 제기됩니다.SSD가 다 닳았다는 의미는 아닙니다. 단지 많은 이탈이 발생하며 결국 SSD가 다 닳게 될 수도 있습니다.

TAC과 함께 무엇이 이러한 혼란을 일으키는지 파악하고 해결해야 합니다.

특정 유형의 SSD에 대해 F3525를 발생시키는 임계값을 변경하는 정책도 있습니다(Access Policies > Policies > Switch > Equipment Flash Config Policies).

SSD의 현재 상태를 확인하는 방법

SSD 수명 상태를 확인하는 방법에는 두 가지가 있습니다.

- 사전 대응적 시스템 알림

- 수동 데이터 분석

사전 대응적 시스템 알림

SSD 수명 모니터링이 CSCve88634의 일부로 추가되었습니다. 다음 버전의 코드:

- 2.1 열차용 2.1(4) 이상

- 2.2 열차용 2.2(4) 이상

- 2.3 열차용 2.3(1o) 이상

- 3.1(2m) 및 모든 향후 릴리스

드라이브가 수명이 80%에 도달할 때 사소한 결함이 제기되고, 수명이 90%를 초과할 때 주요 결함이 제기됩니다.

이를 통해 네트워크 운영자는 SSD 수명이 초과되어 장애가 발생하기 전에 모든 스위치를 모니터링하고 사전 대응적으로 교체할 수 있습니다.

- F3074: fltEqptFlashFlash-minor-alarm(80% 수명)

- F3073: fltEqptFlashFlash-마모(90% 수명)

이전 버전의 코드에는 스위치 SSD에 대한 SSD 수명 검사가 없습니다. 따라서 스위치가 SSD 만료에 근접하고 있더라도 결함이 발생하지 않습니다.

수동 데이터 분석

SSD 사용량 로깅은 이 릴리스 3.2(5d) 3.2(6i) 3.2(7f) 4.1(1i)부터 도입되었습니다.

a-leaf101# cat /mnt/pss/ssd_log_amp.log   (Tested on 4.2.3l)

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 16 19:00:01 EST 2019   16531370        0       29398      12350    100             0               122396965772    3825894828           60841125365               16         0.00 %              0               0

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 17 19:00:01 EST 2019   16531725        0       29422      12355    100             0               122447755358    3827482016           60858831240               16         0.00 %          12355      61606629993

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Dec 18 19:00:01 EST 2019   16532222        0       29446      12359    100             0               122495197374    3828964594           60875667807               16         0.00 %          12359      61636366134

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Dec 19 19:00:01 EST 2019   16533056        0       29470      12364    100             0               122542269672    3830435617           60892533342               16         0.00 %          12364      61666601865

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Fri Dec 20 19:00:01 EST 2019   16534010        0       29494      12367    100             0               122587126224    3831837398           60908759296               16         0.00 %          12367      61694592882

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sat Dec 21 19:00:01 EST 2019   16535311        0       29518      12372    100             0               122631804318    3833233605           60925205662               16         0.00 %          12372      61723045022

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sun Dec 22 19:00:01 EST 2019   16536727        0       29542      12376    100             0               122676829388    3834640654           60941741722               16         0.00 %          12376      61751623726

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 23 19:00:01 EST 2019   16538321        0       29566      12380    100             0               122722137414    3836056544           60958504969               16         0.00 %          12380      61780395692

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 24 19:00:01 EST 2019   16539858        0       29591      12384    100             0               122767087802    3837461258           60975050343               16         0.00 %          12384      61808582833

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Dec 25 19:00:01 EST 2019   16541121        0       29615      12388    100             0               122812238580    3838872234           60991578411               16         0.00 %          12388      61837188237

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Dec 26 19:00:01 EST 2019   16542653        0       29639      12393    100             0               122857007868    3840271286           61008101155               16         0.00 %          12393      61865429457

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Fri Dec 27 19:00:01 EST 2019   16544352        0       29663      12397    100             0               122901807026    3841671272           61024757511               16         0.00 %          12397      61893705871

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sat Dec 28 19:00:01 EST 2019   16546213        0       29687      12401    100             0               122946927200    3843081289           61041459287               16         0.00 %          12401      61922169689

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sun Dec 29 19:00:01 EST 2019   16549522        0       29711      12405    100             0               122991584018    3844476827           61058889999               16         0.00 %          12405      61950124731

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 30 19:00:01 EST 2019   16551885        0       29735      12410    100             0               123036252528    3845872732           61075846564               16         0.00 %          12410      61977362529

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 31 19:00:01 EST 2019   16553858        0       29759      12414    100             0               123098133082    3847806568           61093085451               16         0.00 %          12414      62022286518

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Jan  1 19:00:01 EST 2020   16555127        0       29783      12418    100             0               123142018610    3849178024           61109758713               16         0.00 %          12418      62048933159

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Jan  2 19:00:01 EST 2020   16556532        0       29808      12422    100             0               123186637556    3850572390           61126687626               16         0.00 %          12422      62076878843

Model                          SerialNo        SW-Version      Date         R.Error(1) GBB(5)     UpTime(9)  PE(173)  LifeTime(202)   Attr(210)  TBW(246)     WAF    DWAF       DPE      DTBW

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-03   16557977   0          29832      12428    100             0          123278298184 16     0.00 %      0        0

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-04   16558440   0          29856      12433    100             0          123323818606 16     0.00 %      5        45520422

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-05   16559031   0          29880      12438    100             0          123369348610 16     0.00 %      5        45530004

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-06   16561567   0          29904      12443    100             0          123415316270 16     0.00 %      5        45967660

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-07   16564701   0          29928      12448    100             0          123460483898 16     0.00 %      5        45167628

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-08   16565955   0          29952      12453    100             0          123505550532 16     0.00 %      5        45066634

ssd_log_amp.log 파일은 1of3 스위치 기술 지원

추가 제조업체 관련 명령 출력에는 TAC 서비스 요청이 필요한 루트 사용자의 권한이 필요합니다.

스위치 SSD 수명 소모를 유발하는 트리거

- ACI APIC와 스위치는 서비스 가용성을 보장하고 이벤트 발생 후 오랫동안 이벤트의 근본 원인을 제공할 수 있도록 SSD에 지속적인 각 구성 요소에 대해 자세한 로깅 기능을 제공합니다.

- 위의 로깅 기능을 사용하려면 많은 양의 디스크 쓰기 및 덮어쓰기를 수행해야 합니다.이 작업을 수행하는 디스크 기능은 무한대가 아니므로 드라이브와 연결된 수명이 있습니다.  네트워크의 불안정성(수많은 이동 또는 정책 업데이트 등)은 장기간 지속되어 스위치 SSD의 조기 고갈로 이어질 수 있습니다.

- 쓰기 작업을 최적화하고 서비스 가용성을 유지하는 동시에 디스크에 기록된 데이터의 양을 줄일 수 있도록 여러 가지 기능이 개선되었습니다.이러한 변경 사항은 여러 버전에 걸쳐 도입되었습니다.코드 최적화 섹션을 참조하십시오.

- 아래 개선 사항이 통합된 버전의 경우, 매일 2/3 P/E 주기와 같은 빠른 SSD 소비를 경험할 경우 대부분의 RAMFS가 기록되므로 DB 쓰기가 아닌 DB 쓰기로 인해 발생할 수 있으며, 회전이 필요한 경우 로그가 ZIP 후에만 SSD로 이동됩니다.

코드 최적화

쓰기 작업을 최적화하여 서비스 가용성을 유지하고 디스크에 기록된 데이터의 양을 줄이는 등 여러 가지 기능이 향상되었습니다.이러한 변경 사항은 여러 버전에 걸쳐 도입되었습니다.

CSCve88634 SSD가 수명을 초과하는 경우 결함을 제기합니다.

· 2.1(4), 2.2(4), 2.3(1o), 3.1(2m)에 추가

CSCvi32353 F3073 SSD 수명 수정 버전이 탐지 논리를 초과했습니다.

CSCvh73803은 SSD에 대한 로깅 영향을 줄이기 위해 tmp_logs용 ramfs 파티션을 생성합니다.

CSCvm97108 버그 - SSD 초과 프로비저닝 변경 사항 추적

CSCvt36458 스위치용 SQL DB 영구 레이어를 제거했습니다.

· 4.2(6d) 및 5.1(1h)에 추가

3.2.4d 이상, 4.x 이상에는 SSD 수명을 연장하기 위해 필요한 모든 결함 모니터링 및 최적화 개선 사항이 포함되어 있습니다.물론 이러한 릴리스로 업그레이드한다고 해서 SSD 수명 문제가 절대 발생하지 않습니다.

다시 로드 유형 동작 변경

CSCvt36458에서 ACI 스위치 노드의 정상 리로드 시 예상 동작을 변경했습니다.

다시 로드 유형

CSCvt36458 이전

CSCvt36458 이후   [4.2(6d)+ 및 5.1(1h)+]

업그레이드

상태 비저장

상태 비저장

Graceful Reloads(수동 재로드, hap-reset)

상태 저장

상태 저장

Ungraceful Reloads(커널 패닉, 전원 사이클)

상태 저장

상태 비저장

요약하자면, Graceful 스위치 다시 로드에서는 DB를 계속 사용할 수 있습니다.이제 Ungraceful 스위치를 다시 로드하려면 업그레이드와 마찬가지로 APIC에서 모든 정책을 가져와야 합니다.

기타 FAQ

현장에서 SSD를 교체할 수 있습니까?

아니요. SSD는 현장 교체 장치가 아닙니다.결함이 leaf에 있는 경우 전체 섀시가 RMA됩니다.모듈형 스파인에서는 수퍼바이저를 RMA해야 합니다.

스위치 하드웨어를 사전에 교체해야 합니까?

TAC 엔지니어는 smartctl 값을 확인하고 수명이 더 긴 스위치를 평가할 수 있으므로 가장 시급한 스위치를 즉시 교체하고, 급하지 않은 스위치를 점진적으로 교체하도록 할 수 있습니다.

SSD 장애에 더 민감한 특정 하드웨어 PID가 있습니까?

아니요. SSD 수명 사용량은 동일한 환경에서 여러 장치에 따라 다를 수 있습니다.SSD 디스크 사용량은 디바이스가 이벤트 보관을 위해 로그를 작성해야 하는 빈도에 따라 달라집니다.네트워크 불안정으로 인해 많은 수의 이벤트를 등록하는 디바이스는 다른 장치보다 SSD 수명이 더 빨리 이루어질 수 있습니다.따라서 Cisco는 코드 최적화가 SSD 쓰기를 제어하고 SSD 수명을 늘리는 데 도움이 되도록 최신 릴리스를 사용해야 한다고 주장합니다.