ACI 스위치 노드 SSD 수명 설명
목차
소개
이 문서에서는 ACI 스위치 플랫폼의 SSD 수명 소모 행동에 대해 설명합니다.
스위치 노드가 아닌 APIC에 대해 제기된 SSD 결함 때문에 이 페이지에 도달한 경우 FN64329를 참조하십시오.
이 TechNote에서는 APIC SSD 교체 절차를 문서화합니다.
배경 정보
ACI 리프 및 스파인 노드는 스토리지 및 이벤트 로깅을 위해 SSD(Solid-State Drive)를 활용합니다.벤더 유형에 관계없이 모든 SSD는 제조업체에서 정의한 특정 특성에 따라 고정된 수명을 가집니다.일부 예에는 쓰기 및 삭제 수와 일정 기간 동안 드라이브로 전송된 데이터 볼륨이 포함됩니다.Leaf 및 Spine 노드의 SSD 수명은 정규적인 마모와 손상 때문에 소진될 수 있습니다.사용자가 SSD가 고갈되는 스위치에 대해 적절한 조치를 취하지 않을 경우 SSD가 읽기 전용 모드로 전환되어 스위치가 충돌할 수 있습니다.따라서 지정된 노드에 대해 F3073 결함이 발생하는 경우 SSD 교체의 우선 순위를 지정해야 합니다.이러한 시나리오에서는 SSD가 현장 교체 가능 장치가 아니므로 전체 스위치가 교체됩니다.
F3073은 2.1(4), 2.2(4), 2.3(1o) 및 3.1(2m)에 구현되었습니다. 이후의 모든 소프트웨어 버전에는 F3073을 실행하는 기능이 있습니다.
SSD를 교체하지 않은 경우의 일반적인 증상
1. 스위치가 부팅되지 않으면 콘솔에 다음과 같은 오류가 표시됩니다.
/dev/hd-cfg0: ********** WARNING: Filesystem still has errors **********
e2fsck 1.42.1 (17-Feb-2012)
/dev/hd-cfg1: recovering journal
/sbin/e2fsck: unable to set superblock flags on /dev/hd-cfg1
2. 시스템이 이후 코드 릴리스(이후 섹션에서 설명)에서 SSD(F3073 또는 F3074)와 관련된 결함을 사전에 발생시킬 수 있습니다(SSD 수명 사용량 기준).
-
F3074: fltEqptFlashFlash-minor-alarm (80% lifetime)
-
F3073: fltEqptFlashFlash-worn-out (90% lifetime)
3. SSD 사용량이 높은 경우 결함 F3525도 발생할 수 있습니다.이 결함은 종종 F3073/F3074와 혼동됩니다.
# fault.Inst
code : F3525
ack : no
annotation :
cause : equipment-flash-warning
changeSet : deltape (New: 21), peCycles (New: 1678), tbw (New: 32.465179), warning (New: yes)
childAction :
created : 2019-08-05T18:22:01.455-07:00
delegated : no
descr : High SSD usage observed. Please check switch activity and contact Cisco Technical Support about high SSD usage.
dn : topology/pod-1/node-206/sys/ch/supslot-1/sup/flash/fault-F3525
domain : infra
extMngdBy : undefined
highestSeverity : warning
lastTransition : 2019-08-05T18:24:02.029-07:00
lc : raised
modTs : never
occur : 1
origSeverity : warning
prevSeverity : warning
rn : fault-F3525
rule : eqpt-flash-flash-warning-alarm
severity : warning
status :
subject : flash-warning-alarm
type : operational
P/E(프로그램 지우기) 주기가 7일 동안 21회 이상 증가하면 Fault F3525가 제기됩니다.SSD가 다 닳았다는 의미는 아닙니다. 단지 많은 이탈이 발생하며 결국 SSD가 다 닳게 될 수도 있습니다.
TAC과 함께 무엇이 이러한 혼란을 일으키는지 파악하고 해결해야 합니다.
특정 유형의 SSD에 대해 F3525를 발생시키는 임계값을 변경하는 정책도 있습니다(Access Policies > Policies > Switch > Equipment Flash Config Policies).
SSD의 현재 상태를 확인하는 방법
SSD 수명 상태를 확인하는 방법에는 두 가지가 있습니다.
- 사전 대응적 시스템 알림
- 수동 데이터 분석
사전 대응적 시스템 알림
SSD 수명 모니터링이 CSCve88634의 일부로 추가되었습니다. 
다음 버전의 코드:
- 2.1 열차용 2.1(4) 이상
- 2.2 열차용 2.2(4) 이상
- 2.3 열차용 2.3(1o) 이상
- 3.1(2m) 및 모든 향후 릴리스
드라이브가 수명이 80%에 도달할 때 사소한 결함이 제기되고, 수명이 90%를 초과할 때 주요 결함이 제기됩니다.
이를 통해 네트워크 운영자는 SSD 수명이 초과되어 장애가 발생하기 전에 모든 스위치를 모니터링하고 사전 대응적으로 교체할 수 있습니다.
- F3074: fltEqptFlashFlash-minor-alarm(80% 수명)
- F3073: fltEqptFlashFlash-마모(90% 수명)
이전 버전의 코드에는 스위치 SSD에 대한 SSD 수명 검사가 없습니다. 따라서 스위치가 SSD 만료에 근접하고 있더라도 결함이 발생하지 않습니다.
수동 데이터 분석
SSD 사용량 로깅은 이 릴리스 3.2(5d) 3.2(6i) 3.2(7f) 4.1(1i)부터 도입되었습니다.
a-leaf101# cat /mnt/pss/ssd_log_amp.log (Tested on 4.2.3l)
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Mon Dec 16 19:00:01 EST 2019 16531370 0 29398 12350 100 0 122396965772 3825894828 60841125365 16 0.00 % 0 0
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Tue Dec 17 19:00:01 EST 2019 16531725 0 29422 12355 100 0 122447755358 3827482016 60858831240 16 0.00 % 12355 61606629993
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Wed Dec 18 19:00:01 EST 2019 16532222 0 29446 12359 100 0 122495197374 3828964594 60875667807 16 0.00 % 12359 61636366134
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Thu Dec 19 19:00:01 EST 2019 16533056 0 29470 12364 100 0 122542269672 3830435617 60892533342 16 0.00 % 12364 61666601865
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Fri Dec 20 19:00:01 EST 2019 16534010 0 29494 12367 100 0 122587126224 3831837398 60908759296 16 0.00 % 12367 61694592882
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Sat Dec 21 19:00:01 EST 2019 16535311 0 29518 12372 100 0 122631804318 3833233605 60925205662 16 0.00 % 12372 61723045022
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Sun Dec 22 19:00:01 EST 2019 16536727 0 29542 12376 100 0 122676829388 3834640654 60941741722 16 0.00 % 12376 61751623726
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Mon Dec 23 19:00:01 EST 2019 16538321 0 29566 12380 100 0 122722137414 3836056544 60958504969 16 0.00 % 12380 61780395692
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Tue Dec 24 19:00:01 EST 2019 16539858 0 29591 12384 100 0 122767087802 3837461258 60975050343 16 0.00 % 12384 61808582833
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Wed Dec 25 19:00:01 EST 2019 16541121 0 29615 12388 100 0 122812238580 3838872234 60991578411 16 0.00 % 12388 61837188237
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Thu Dec 26 19:00:01 EST 2019 16542653 0 29639 12393 100 0 122857007868 3840271286 61008101155 16 0.00 % 12393 61865429457
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Fri Dec 27 19:00:01 EST 2019 16544352 0 29663 12397 100 0 122901807026 3841671272 61024757511 16 0.00 % 12397 61893705871
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Sat Dec 28 19:00:01 EST 2019 16546213 0 29687 12401 100 0 122946927200 3843081289 61041459287 16 0.00 % 12401 61922169689
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Sun Dec 29 19:00:01 EST 2019 16549522 0 29711 12405 100 0 122991584018 3844476827 61058889999 16 0.00 % 12405 61950124731
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Mon Dec 30 19:00:01 EST 2019 16551885 0 29735 12410 100 0 123036252528 3845872732 61075846564 16 0.00 % 12410 61977362529
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Tue Dec 31 19:00:01 EST 2019 16553858 0 29759 12414 100 0 123098133082 3847806568 61093085451 16 0.00 % 12414 62022286518
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Wed Jan 1 19:00:01 EST 2020 16555127 0 29783 12418 100 0 123142018610 3849178024 61109758713 16 0.00 % 12418 62048933159
Model SerialNo Software-Version Date RawReadError(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attribute(210) TBW(246) HostPageCount(247) BackgroundPageCount(248) WAF Delta_WAF Delta_PE Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1 Thu Jan 2 19:00:01 EST 2020 16556532 0 29808 12422 100 0 123186637556 3850572390 61126687626 16 0.00 % 12422 62076878843
Model SerialNo SW-Version Date R.Error(1) GBB(5) UpTime(9) PE(173) LifeTime(202) Attr(210) TBW(246) WAF DWAF DPE DTBW
Micron_M600_MTFDDAT064MBF MSA195207V1 14.2(3l) 2020-01-03 16557977 0 29832 12428 100 0 123278298184 16 0.00 % 0 0
Micron_M600_MTFDDAT064MBF MSA195207V1 14.2(3l) 2020-01-04 16558440 0 29856 12433 100 0 123323818606 16 0.00 % 5 45520422
Micron_M600_MTFDDAT064MBF MSA195207V1 14.2(3l) 2020-01-05 16559031 0 29880 12438 100 0 123369348610 16 0.00 % 5 45530004
Micron_M600_MTFDDAT064MBF MSA195207V1 14.2(3l) 2020-01-06 16561567 0 29904 12443 100 0 123415316270 16 0.00 % 5 45967660
Micron_M600_MTFDDAT064MBF MSA195207V1 14.2(3l) 2020-01-07 16564701 0 29928 12448 100 0 123460483898 16 0.00 % 5 45167628
Micron_M600_MTFDDAT064MBF MSA195207V1 14.2(3l) 2020-01-08 16565955 0 29952 12453 100 0 123505550532 16 0.00 % 5 45066634
ssd_log_amp.log 파일은 1of3 스위치 기술 지원
추가 제조업체 관련 명령 출력에는 TAC 서비스 요청이 필요한 루트 사용자의 권한이 필요합니다.
스위치 SSD 수명 소모를 유발하는 트리거
- ACI APIC와 스위치는 서비스 가용성을 보장하고 이벤트 발생 후 오랫동안 이벤트의 근본 원인을 제공할 수 있도록 SSD에 지속적인 각 구성 요소에 대해 자세한 로깅 기능을 제공합니다.
- 위의 로깅 기능을 사용하려면 많은 양의 디스크 쓰기 및 덮어쓰기를 수행해야 합니다.이 작업을 수행하는 디스크 기능은 무한대가 아니므로 드라이브와 연결된 수명이 있습니다. 네트워크의 불안정성(수많은 이동 또는 정책 업데이트 등)은 장기간 지속되어 스위치 SSD의 조기 고갈로 이어질 수 있습니다.
- 쓰기 작업을 최적화하고 서비스 가용성을 유지하는 동시에 디스크에 기록된 데이터의 양을 줄일 수 있도록 여러 가지 기능이 개선되었습니다.이러한 변경 사항은 여러 버전에 걸쳐 도입되었습니다.코드 최적화 섹션을 참조하십시오.
- 아래 개선 사항이 통합된 버전의 경우, 매일 2/3 P/E 주기와 같은 빠른 SSD 소비를 경험할 경우 대부분의 RAMFS가 기록되므로 DB 쓰기가 아닌 DB 쓰기로 인해 발생할 수 있으며, 회전이 필요한 경우 로그가 ZIP 후에만 SSD로 이동됩니다.
코드 최적화
쓰기 작업을 최적화하여 서비스 가용성을 유지하고 디스크에 기록된 데이터의 양을 줄이는 등 여러 가지 기능이 향상되었습니다.이러한 변경 사항은 여러 버전에 걸쳐 도입되었습니다.
CSCve88634 SSD가 수명을 초과하는 경우 결함을 제기합니다.
· 2.1(4), 2.2(4), 2.3(1o), 3.1(2m)에 추가
CSCvi32353 F3073 SSD 수명 수정 버전이 탐지 논리를 초과했습니다.
CSCvh73803은 SSD에 대한 로깅 영향을 줄이기 위해 tmp_logs용 ramfs 파티션을 생성합니다.
CSCvm97108 버그 - SSD 초과 프로비저닝 변경 사항 추적
CSCvt36458 스위치용 SQL DB 영구 레이어를 제거했습니다.
· 4.2(6d) 및 5.1(1h)에 추가
3.2.4d 이상, 4.x 이상에는 SSD 수명을 연장하기 위해 필요한 모든 결함 모니터링 및 최적화 개선 사항이 포함되어 있습니다.물론 이러한 릴리스로 업그레이드한다고 해서 SSD 수명 문제가 절대 발생하지 않습니다.
다시 로드 유형 동작 변경
CSCvt36458에서 ACI 스위치 노드의 정상 리로드 시 예상 동작을 변경했습니다.
| 다시 로드 유형 | CSCvt36458 이전 |
CSCvt36458 이후 [4.2(6d)+ 및 5.1(1h)+] |
| 업그레이드 | 상태 비저장 | 상태 비저장 |
| Graceful Reloads(수동 재로드, hap-reset) | 상태 저장 | 상태 저장 |
| Ungraceful Reloads(커널 패닉, 전원 사이클) | 상태 저장 | 상태 비저장 |
요약하자면, Graceful 스위치 다시 로드에서는 DB를 계속 사용할 수 있습니다.이제 Ungraceful 스위치를 다시 로드하려면 업그레이드와 마찬가지로 APIC에서 모든 정책을 가져와야 합니다.
기타 FAQ
현장에서 SSD를 교체할 수 있습니까?
아니요. SSD는 현장 교체 장치가 아닙니다.결함이 leaf에 있는 경우 전체 섀시가 RMA됩니다.모듈형 스파인에서는 수퍼바이저를 RMA해야 합니다.
스위치 하드웨어를 사전에 교체해야 합니까?
TAC 엔지니어는 smartctl 값을 확인하고 수명이 더 긴 스위치를 평가할 수 있으므로 가장 시급한 스위치를 즉시 교체하고, 급하지 않은 스위치를 점진적으로 교체하도록 할 수 있습니다.
SSD 장애에 더 민감한 특정 하드웨어 PID가 있습니까?
아니요. SSD 수명 사용량은 동일한 환경에서 여러 장치에 따라 다를 수 있습니다.SSD 디스크 사용량은 디바이스가 이벤트 보관을 위해 로그를 작성해야 하는 빈도에 따라 달라집니다.네트워크 불안정으로 인해 많은 수의 이벤트를 등록하는 디바이스는 다른 장치보다 SSD 수명이 더 빨리 이루어질 수 있습니다.따라서 Cisco는 코드 최적화가 SSD 쓰기를 제어하고 SSD 수명을 늘리는 데 도움이 되도록 최신 릴리스를 사용해야 한다고 주장합니다.
Revision History
| Revision | Publish Date | Comments |
|---|---|---|
1.0 |
09-Jan-2020 |
Initial Release |
피드백