예기치 않은 보안 방화벽/Firepower 재부팅 문제 해결

소개

이 문서에서는 보안 방화벽/Firepower 방화벽을 예기치 않게 다시 로드하는 문제 해결 단계에 대해 설명합니다.

사전 요구 사항

요구 사항

기본 제품 지식

사용되는 구성 요소

이 문서의 정보는 특정 랩 환경의 디바이스를 토대로 작성되었습니다. 이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다. 현재 네트워크가 작동 중인 경우 모든 명령의 잠재적인 영향을 미리 숙지하시기 바랍니다.

이 문서의 정보는 다음 소프트웨어 및 하드웨어 버전을 기반으로 합니다.

• 보안 방화벽 1200, 3100, 4200
• Firepower 1000, 4100, 9300
• Cisco FXOS(Secure eXtensible Operating System) 2.16(0.136)
• Cisco FTD(Secure Firewall Threat Defense) 7.6.1.291
• Cisco FMC(Secure Firewall Management Center) 7.6.1.291
• ASA(Adaptive Security Appliance) 9.22.2.9

배경 정보

이 문서에서는 "reboot", "reload" 및 "restart"가 교대로 사용됩니다. 사용자 관점에서 예기치 않은 재부팅은 잘 알려지거나 문서화되거나 예상되는 경우를 제외하고 대략 리부팅으로 정의할 수 있습니다.

1. 소프트웨어 설치 또는 업그레이드로 인해 재부팅합니다.
2. CLI(Command Line Interface) 또는 UI(Graphical User Interface)에서 재부팅하거나 수동 전원 끄기/켜기 작업과 같은 사용자 트리거 작업으로 인해 재부팅합니다.

트리거에 따라 재부팅은 정상 또는 비정상일 수 있습니다.

1. 정상 재부팅은 일반적으로 모든 현재 프로세스가 제대로 완료되고 재시작이 발생하기 전에 모든 파일 또는 데이터가 저장되도록 하는 방식으로 시스템, 디바이스 또는 서비스를 재시작하는 것을 말합니다. 이렇게 하면 데이터 손실이나 손상을 방지할 수 있습니다. 정상 재부팅 예:
   • 소프트웨어 설치 또는 업그레이드로 인해 재부팅합니다.
   • CLI(Command Line Interface) 또는 UI(Graphical User Interface)에서 재부팅하는 등의 사용자 트리거 작업으로 인해 재부팅됩니다.
   • 경우에 따라 소프트웨어 역추적.

2. Ungraceful reboot는 시스템이 정상적으로 리부팅할 때 프로세스가 정상적으로 종료되지 않는 Graceful Reboot의 반대입니다. 부자연스러운 재부팅은 데이터 손실 또는 손상을 초래할 수 있습니다. 트리거는 다음과 같습니다.
   • 모든 전원 케이블을 분리하거나 전원 버튼을 전환하여 실수로 전원을 껐다가 켭니다.
   • 전원 공급 장치 부족, 섀시 전원 공급 장치 문제
   • 하드웨어, FPGA, 환경 등의 다양한 문제로 인해 갑작스러운 재부팅이 발생합니다.

재부팅의 일반적인 원인:

• CLI 또는 관리 UI에서 사용자가 수행하는 작업
• 소프트웨어 업그레이드 또는 다운그레이드
• 소프트웨어 역추적.
• 소프트웨어에서 역추적 이외의 이유로 OS/시스템 크리티컬 프로세스에 의해 트리거됩니다.
• 손상된 SSD, 메모리 오류, CPU 예외, 내부 FPGA 등과 같은 하드웨어 문제
• 전원 손실, 과열 등의 환경 문제.
• 타사 구성 요소의 소프트웨어 결함 또는 기타 문제
• 디스크 공간 사용량이 많습니다.

섀시 기반 플랫폼의 경우 재부팅 범위, 특히 정확히 리부팅된 항목을 고려하는 것이 중요합니다.

• ASA/FTD 애플리케이션,
• 보안 모듈(Firepower 4100/9300)
• 섀시를 선택합니다.

기본 동작에는 다음이 포함됩니다.

1. 기본 모드에서 실행 중인 FTD 또는 Firepower 1000/2100의 ASA 또는 Secure Firewall 3100/4200에서 재부팅이 트리거되면 섀시도 재부팅됩니다.
2. 기본 모드에서 실행 중인 FTD 또는 Firepower 4100/9300 보안 모듈의 ASA에서 재부팅이 트리거되면 보안 모듈도 재부팅됩니다. 섀시는 영향을 받지 않습니다.
3. firepower 4100/9300 보안 모듈의 FTD 다중 인스턴스 모드에서 재부팅이 트리거되면 해당 인스턴스만 재부팅되고 보안 모듈 및 섀시는 영향을 받지 않습니다.
4. Secure Firewall 3100 및 4200에서 FTD 다중 인스턴스 모드의 재부팅이 트리거되면 해당 인스턴스만 재부팅되고 섀시는 영향을 받지 않습니다.
5. firepower 4100/9300 보안 모듈을 재부팅하면 멀티 인스턴스 모드에 관계없이 영향을 받는 모듈에서 실행 중인 모든 애플리케이션이 재부팅됩니다.
6. 섀시를 재부팅하면 모든 보안 모듈과 모든 애플리케이션이 재부팅됩니다.

정상 또는 비정상이든 특정 중요 프로세스가 종료되면 재부팅될 수 있습니다. 예를 들면 다음과 같습니다.

• lina라고도 하는 데이터 플레인 프로세스가 역추적으로 인해 종료되면 방화벽이 재부팅됩니다. 단, 특정 플랫폼에 대해 ASA 9.20(x) 및 FTD 7.4.1에 도입된 "데이터 플레인 빠른 다시 로드" 기능이 있는 소프트웨어 버전은 예외입니다.
• 프로세스 관리자 pm이 종료되면 방화벽이 재부팅됩니다.

문제 해결 워크플로

문제 해결 단계를 참조하는 문제 해결 워크플로를 진행합니다.

문제 해결 단계

1. 시간대를 고려하여 최대한 정확하게 이벤트 타임스탬프를 기록합니다.
2. 정확한 하드웨어, 보안 방화벽 소프트웨어 유형(ASA 또는 FTD), 소프트웨어 버전 및 구축 모드(기본 또는 다중 인스턴스 모드)를 확인합니다. 자세한 확인 단계는 Firepower 소프트웨어 버전 확인 및 Firepower, 인스턴스, 가용성, 확장성 구성 확인을 참조하십시오.

3. ASA/FTD 애플리케이션, 보안 모듈(Firepower 4100/9300에만 해당) 및 섀시의 업타임의 상관관계를 분석하려면 Analyze the Uptime 섹션을 참조하십시오. 목표는 재부팅 범위를 명확히 하는 것입니다. 애플리케이션, 보안 모듈 또는 섀시에 대해 설명합니다.
4. 섀시가 리부팅된 경우 다음 단계를 진행합니다.

기본 모드에서 FTD를 실행하거나 ASA를 실행하는 firepower 1000, 2100, Secure Firewall 1200, 3100 및 4200

4.1. FTD 메시지 파일 분석 섹션(FTD에만 해당)을 선택합니다.

4.2. ssp-pm.log 파일 분석 섹션을 확인합니다.

4.3. ssp-shutdown.log 파일 분석 섹션을 확인합니다.

4.4. ASA/FTD 콘솔 로그 분석 섹션을 선택합니다.

4.5. 소프트웨어 추적 및 데이터 수집의 증상 확인을 위해 보안 방화벽에서 소프트웨어 추적/충돌의 근본 원인 분석을 위한 데이터 수집의 단계를 진행합니다.

4.6. Analyze Chassis Reset Reasons(섀시 재설정 이유 분석) 섹션을 확인합니다.

4.7. 하드웨어 오류 또는 예외 분석 섹션을 확인합니다.

4.8. 플랫폼 로그 파일 분석 섹션을 확인합니다.

컨테이너 모드에서 FTD를 실행하는 보안 방화벽 3100, 4200

4.9. ssp-pm.log 파일 분석 섹션을 확인합니다.

4.10. ssp-shutdown.log 파일 분석 섹션을 확인합니다.

4.11. 소프트웨어 추적 및 데이터 수집의 증상 확인을 위해 보안 방화벽에서 소프트웨어 추적/충돌의 근본 원인 분석을 위한 데이터 수집의 단계를 진행합니다.

4.12. Analyze Chassis Reset Reasons 섹션을 확인합니다.

4.13. 하드웨어 오류 또는 예외 분석 섹션을 확인합니다.

4.14. 플랫폼 로그 파일 분석 섹션을 확인합니다.

Firepower 4100/9300

4.15. Analyze Chassis Reset Reasons(섀시 재설정 이유 분석) 섹션을 확인합니다.

4.16. 소프트웨어 추적 및 데이터 수집의 증상 확인을 위해 보안 방화벽에서 소프트웨어 추적/충돌의 근본 원인 분석을 위한 데이터 수집의 단계를 진행합니다.

FTD를 실행하는 가상 플랫폼

4.17. FTD 메시지 파일 분석 섹션을 선택합니다.

4.18. ASA/FTD 콘솔 로그 분석 섹션을 확인합니다.

4.19. Secure Firewall에서 소프트웨어 역추적/충돌의 근본 원인 분석을 위한 데이터 수집의 단계를 진행하여 소프트웨어 역추적의 증상 및 데이터 수집을 확인합니다.

5. Analyze Chassis Reset Reasons(섀시 재설정 사유 분석) 섹션에서 이러한 재설정 사유를 발견하면 Analyze Power Voltage and Supply Issues(전원 전압 및 공급 문제 분석) 섹션을 참조하십시오.

• 전원 켜기
• PowerCycle요청
• 불량 전압으로 인해 재설정 
• 시간 없음(이유: 알 수 없음)

6. 섀시 재부팅이 반복되면 콘솔 로그를 수집합니다.

7. 보안 모듈이 재부팅된 경우 Firepower 4100/9300에 대해 다음 단계를 수행합니다.

기본 모드에서 FTD를 실행하거나 ASA를 실행하는 firepower 4100/9300 보안 모듈

7.1. FTD 메시지 파일 분석 섹션(FTD에만 해당)을 선택합니다.

7.2. ssp-pm.log 파일 분석 섹션을 확인합니다.

7.3. ssp-shutdown.log 파일 분석 섹션을 확인합니다.

7.4. ASA/FTD 콘솔 로그 분석 섹션을 선택합니다.

7.5. Secure Firewall에서 소프트웨어 역추적/충돌의 근본 원인 분석을 위한 데이터 수집의 단계를 진행하여 소프트웨어 역추적의 증상 및 데이터 수집을 확인합니다.

7.6. 하드웨어 오류 또는 예외 분석 섹션을 확인합니다.

7.7. SEL/OBFL 파일 분석 섹션을 확인합니다.

7.8. 플랫폼 로그 파일 분석 섹션을 확인합니다.

Firepower 모드에서 FTD를 실행하는 4100/9300 보안 모듈

7.9 .  ssp-pm.log 파일 분석 섹션을 선택합니다.

7.10. ssp-shutdown.log 파일 분석 섹션을 확인합니다.

7.11. Secure Firewall에서 소프트웨어 역추적/충돌의 근본 원인 분석을 위한 데이터 수집의 단계를 진행하여 소프트웨어 역추적의 증상 및 데이터 수집을 확인합니다.

7.12. 하드웨어 오류 또는 예외 분석 섹션을 확인합니다.

7.13. SEL/OBFL 파일 분석 섹션을 확인합니다.

7.14. 플랫폼 로그 파일 분석 섹션을 확인합니다.

8. firepower 4100, 9300 또는 Secure Firewall 3100, 4200에서 실행 중인 다중 인스턴스 FTD가 재부팅되었지만 섀시와 Firepower 4100 및 9300 보안 모듈이 모두 재부팅되지 않은 경우 다음 단계를 진행합니다.

8.1. FTD 메시지 파일 분석 섹션을 선택합니다.

8.2. ssp-pm.log 파일 분석 섹션을 확인합니다.

8.3. ssp-shutdown.log 파일 분석 섹션을 확인합니다.

8.4. ASA/FTD 콘솔 로그 분석 섹션을 선택합니다.

8.5. Secure Firewall에서 소프트웨어 역추적/충돌의 근본 원인 분석을 위한 데이터 수집의 단계를 진행하여 소프트웨어 역추적의 증상 및 데이터 수집을 확인합니다.

9. 소프트웨어 역추적에 따른 재부팅 징후가 있으면 TAC 케이스를 열고 수집된 데이터를 제공합니다.

10. 예기치 않은 키워드, 재부팅, 전원, 다시 로드, 다시 시작, 자동으로 소프트웨어 결함을 검색합니다.

일치하는 결함이 발견되면

• 증상 및 상태가 결함에 기술된 것과 일치하는지 확인합니다.
• 해결 방법 적용(있는 경우)
• 고정 버전(있는 경우)으로 업그레이드합니다.

11. 데이터 수집 섹션을 통해 TAC 케이스를 엽니다.

가동 시간 분석

이 섹션의 목표는 ASA/FTD 애플리케이션, 보안 모듈(Firepower 4100/9300만 해당) 및 섀시의 업타임을 확인하는 것입니다.

1. ASA의 show version 명령과 FTD의 show version system 명령을 사용하여 방화벽 엔진 가동 시간을 확인합니다.

> show version system
---------------[ firewall-FTD ]---------------
Model                     : Cisco Firepower 4112 Threat Defense (76) Version 7.6.1 (Build 291)
UUID                      : e9460e12-674c-11f0-97e5-d5ad3617d287
LSP version               : lsp-rel-20241211-1948
VDB version               : 408
---------------------------------------------------

Cisco Adaptive Security Appliance Software Version 9.22(1)21
SSP Operating System Version 2.16(0.3007)

Compiled on Thu 29-May-25 01:38 GMT by fpbesprd
System image file is "disk0:/fxos-lfbff-k8.2.16.0.136.SPA"

Config file at boot was "startup-config"

firewall-FTD up 5 days 0 hours

FTD 문제 해결 파일에서 command-outputs/'usr-local-sf-bin-sfcli.pl show_tech_support asa_lina_cli_util.output' 파일을 확인합니다.

/command-outputs$ less 'usr-local-sf-bin-sfcli.pl show_tech_support asa_lina_cli_util.output'
…
firewall-FTD up 5 days 0 hours
…

ASA의 경우 show-tech 파일에서 가동 시간을 확인합니다.

2. 가상 플랫폼, Firepower 1000, 2100, Secure Firewall 1200, 3100 및 4200에서 기본 모드로 실행되는 FTD의 경우, expert 모드에서 운영 체제 가동 시간(일, 시간, 분)을 확인합니다.  이 경우 섀시 가동 시간은 운영 체제 가동 시간과 거의 같습니다.

> expert
admin@firepower:/ngfw/Volume/home/admin$ uptime
 06:30:40 up 6 days,  8:01,  1 user,  load average: 5.14, 5.45, 5.48

FTD 문제 해결 파일에서 dir-archives/var-log/top.log 파일을 확인합니다.

dir-archives/var-log$ less top.log
===================================================================================================

Tue Jul 22 04:02:11 UTC 2025

top - 04:02:11 up 6 days, 13:57,  4 users,  load average: 2.23, 2.42, 2.59
Tasks: 167 total,   2 running, 165 sleeping,   0 stopped,   0 zombie
%Cpu(s): 26.6 us,  7.8 sy,  1.6 ni, 64.1 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
MiB Mem :   7629.8 total,   2438.4 free,   4559.6 used,    631.8 buff/cache
MiB Swap:   5369.2 total,   3713.7 free,   1655.5 used.   2849.9 avail Mem

3. Secure Firewall 3100 또는 4200의 다중 인스턴스 모드에서 FTD를 사용하고 Firepower 1000, 2100, Secure Firewall 1200, 3100 및 4200에서 실행되는 ASA의 경우, 섀시 가동 시간을 확인하는 데 사용할 수 있는 명령이 없습니다.

블레이드 업타임을 확인할 수 있습니다.

> connect fxos
…
firewall# scope ssa
firewall /ssa # show slot detail expand

Slot:
    Slot ID: 1
    …
        Blade Uptime: up 16 hours, 2 min       

섀시 문제 해결 파일에서 opt/cisco/platform/logs/sysmgr/sam_logs/topout.log 파일의 가동 시간을 확인합니다.

opt/cisco/platform/logs/sysmgr/sam_logs/topout.log $ less topout.log
[Jul 23 13:15:22]
top - 13:15:22 up 16:02,  1 user,  load average: 12.24, 11.85, 11.75

4. firepower 4100/9300의 경우 FXOS CLI에서 섀시 및 보안 모듈 업타임을 확인합니다.

섀시 가동 시간:

firewall /ssa # connect fxos
firewall(fxos)# show system uptime
System start time:          Tue Jul 22 21:57:44 2025
System uptime:              6 days, 9 hours, 49 minutes, 50 seconds
Kernel uptime:              6 days, 9 hours, 45 minutes, 58 seconds
Active supervisor uptime:   6 days, 9 hours, 49 minutes, 50 seconds

보안 모듈 가동 시간:

firewall# scope ssa
firewall /ssa # show slot detail expand
Slot:
    Slot ID: 1
    …
        Blade Uptime: up 5 days, 37 min       

섀시 문제 해결 파일에서 *_BC1_all/FPRM_A_TechSupport/sw_techsupportinfo 파일의 show system uptime 명령 출력과 *_BC1_all/FPRM_A_TechSupport/sam_techsupportinfo 파일의 show slot expand detail expand 명령을 확인합니다. 여기서 *는 20250311123356_FW_BC1_all과 같이 문제 해결 파일 이름의 일부입니다.

FTD 메시지 파일 분석

이 섹션에서는 종료, 재부팅 및 잠재적 트리거와 관련된 로그가 포함된 FTD 메시지 파일의 분석에 대해 설명합니다.

모든 플랫폼에서 실행되는 FTD

이 파일에는 종료, 재부팅 및 실행 중인 FTD의 잠재적 트리거와 관련된 로그가 포함되어 있습니다.

• 가상 플랫폼, Firepower 1000, 2100 및 Secure Firewall 1200, 3100, 4200 섀시.
• Firepower 4100 및 9300 보안 모듈.

파일에 액세스할 수 있는 위치:

• 전문가 모드의 FTD CLISH: /ngfw/var/log/messages
• FTD 문제 해결 파일: dir-archives/var-log/messages

종료 또는 재부팅의 트리거를 찾으려면 FTD 트러블슈팅 파일 내 파일 메시지 파일에서 Defense가 포함된 메시지를 확인합니다. messages.1, messages.2 등을 포함한 모든 메시지 파일을 확인합니다. 이러한 메시지는 정상 종료를 나타냅니다.

• Cisco Secure Firewall을 중지하거나 Cisco Firepower을 중지하는 중...
• ...Threat Defense를 종료하는 중

root@CSF1220-2:/ngfw/var/log# grep -a Defense /ngfw/var/log/messages
messages:Jul 22 21:07:10 firepower-1220 SF-IMS[36894]: [36894] S11audit-startup-shutdown:start [INFO] Cisco Secure Firewall 1220CX Threat Defense has started
messages:Jul 22 21:12:37 firepower-1220 SF-IMS[62594]: [62594] sensor:CLI Start [INFO] Starting Cisco Secure Firewall 1220CX Threat Defense
messages:Jul 22 21:13:03 firepower-1220 SF-IMS[65410]: [65410] S99sensor:CLI Start [INFO] Starting Cisco Secure Firewall 1220CX Threat Defense
messages:Jul 23 12:56:43 CSF1220-2 SF-IMS[61878]: [61878] K01sensor:CLI Stop [INFO] Stopping Cisco Secure Firewall 1220CX Threat Defense
messages:Jul 23 12:57:03 CSF1220-2 SF-IMS[62749]: [62749] K69audit-startup-shutdown:stop [INFO] Cisco Secure Firewall 1220CX Threat Defense is shutting down
messages:Jul 23 13:00:21 CSF1220-2 SF-IMS[10866]: [10866] S11audit-startup-shutdown:start [INFO] Cisco Secure Firewall 1220CX Threat Defense has started
messages:Jul 23 13:00:36 CSF1220-2 SF-IMS[13443]: [13443] S99sensor:CLI Start [INFO] Starting Cisco Secure Firewall 1220CX Threat Defense

root@1140-2:/ngfw/var/log# grep -a Defense /ngfw/var/log/messages

messages:Jul 22 09:20:42 FPR1140-2 SF-IMS[6012]: [6012] S11audit-startup-shutdown:start [INFO] Cisco Firepower 1140 Threat Defense has started
messages:Jul 22 09:21:35 FPR1140-2 SF-IMS[9050]: [9050] S99sensor:CLI Start [INFO] Starting Cisco Firepower 1140 Threat Defense
messages:Jul 22 11:32:37 FPR1140-2 SF-IMS[15129]: [15129] K01sensor:CLI Stop [INFO] Stopping Cisco Firepower 1140 Threat Defense
messages:Jul 22 11:32:55 FPR1140-2 SF-IMS[15940]: [15940] K69audit-startup-shutdown:stop [INFO] Cisco Firepower 1140 Threat Defense is shutting down
messages:Jul 22 11:36:38 FPR1140-2 SF-IMS[5980]: [5980] S11audit-startup-shutdown:start [INFO] Cisco Firepower 1140 Threat Defense has started
messages:Jul 22 11:36:53 FPR1140-2 SF-IMS[7594]: [7594] S99sensor:CLI Start [INFO] Starting Cisco Firepower 1140 Threat Defense

보안 모듈 또는 섀시 메시지 파일 분석

이 섹션에서는 OS 커널과 관련된 로그가 포함된 보안 모듈 또는 섀시 메시지 파일의 분석에 대해 설명합니다.

이 파일에는 종료, 재부팅 및 실행 중인 FTD의 잠재적 트리거와 관련된 로그가 포함되어 있습니다.

• Firepower 1000, 2100 및 보안 방화벽 1200, 3100, 4200 섀시
• Firepower 4100 및 9300 보안 모듈.

파일에 액세스할 수 있는 위치:

• 기본 모드에서 실행되는 하드웨어 기반 FTD: /opt/cisco/platform/log/messages
• 기본 모드에서 실행 중인 하드웨어 기반 FTD의 파일 문제 해결: dir-archives/opt-cisco-platform-logs/messages.
• Firepower 1000, 2100 및 보안 방화벽 1200, 3100, 4200 섀시 문제 해결 파일: /opt/cisco/platform/log/messages
• Firepower 4100/9300 보안 모듈 show-tech 파일: /opt/cisco/platform/log/messages

다음은 이 파일의 로그에 대한 핵심 사항입니다.

• messages.1, messages.2 등을 포함한 모든 메시지 파일을 확인합니다.
• OS 커널이 부팅되면 커널 로그가 이 파일에 기록됩니다. 하드웨어 플랫폼 및 보안 모듈에서는 부팅 시간 동안 사용자 지정 표준 시간대가 적용될 때까지 로그가 UTC 표준 시간대로 작성됩니다.

따라서 동일한 파일의 서로 다른 로그는 서로 다른 시간대의 서로 다른 타임스탬프를 가질 수 있습니다.

UTC+2 표준 시간대가 있는 Firepower 4100 보안 모듈에서 다음 예를 고려하십시오.

2025-08-18T14:54:16+02:00 Firepower-module1/2 root: FXOS shutdown log started: pid = 52994 cmdline = /bin/sh/sbin/fxos_log_shutdown ####
2025-08-18T14:54:16+02:00 Firepower-module1/2 root: FXOS shutdown log completed: pid = 52994
2025-08-18T14:54:17+02:00 Firepower-module1/2 syslog-ng[1230]: syslog-ng shutting down; version='3.36.1' <--- syslog-ng shutting down indicates graceful shutdown
2025-08-18T12:57:11+00:00 intel-x86-64/1 syslog-ng[1237]: syslog-ng starting up; version='3.36.1' <--- syslog-ng start timestamp with UTC timezone
2025-08-18T12:57:11+00:00 intel-x86-64/1 kernel: [    0.000000] Linux version 5.10.200-yocto-standard (oe-user@oe-host) (x86_64-wrs-linux-gcc (GCC) 10.3.0, GNU ld (GNU Binutils) 2.36.1.20210703) #1 SMP Fri Feb 7 01:00:00 UTC 2025
2025-08-18T12:57:11+00:00 intel-x86-64/1 kernel: [    0.000000] Command line: rw console=ttyS0,38400 loglevel=2 auto kstack=128 reboot=force panic=1 ide_generic.probe_mask=0x1 ide1=noprobe pci=nocrs pci=realloc processor.max_cstate=1 iommu=pt nousb platform=sspxru boot_img=disk0:/fxos-lfbff-k8.2.16.0.136.SPA ciscodmasz=1048576 cisconrsvsz=1572864 hugepagesz=1g hugepages=12 pti=off  rom_ver=1.3.1.44 ssp_mode=0
…
2025-08-18T12:58:34+00:00 intel-x86-64/1 csp-console: Adi not started yet, trying to bring up
2025-08-18T12:58:34+00:00 intel-x86-64/1 ssp_tz[12159]: INFO: Lina is started
2025-08-18T12:58:34+00:00 intel-x86-64/1 SMA: INFO ExecProcessorMain [140588852127296]: finished processing of sma_slot1.deletePlatformLicense, removed it from queue
2025-08-18T12:58:34+00:00 intel-x86-64/1 ssp_tz[12167]: INFO: notify TZ to ASA LINA <---- Time zone change was propagated to the firewall
2025-08-18T14:58:35+02:00 intel-x86-64/1 ssp_tz[12192]: INFO: successfully notified TZ to ASA LINA, wait <---- Logs with the UTC+2 timestamp
2025-08-18T14:58:36+02:00 intel-x86-64/1 csp-console: Adi not started yet, trying to bring up
2025-08-18T14:58:39+02:00 intel-x86-64/1 csp-console[1237]: Last message 'Adi not started yet,' repeated 1 times, suppressed by syslog-ng on intel-x86-64

ssp-pm.log 파일 분석

이 섹션에서는 ASA/FTD 애플리케이션 종료 또는 재부팅과 관련된 로그가 포함된 /opt/cisco/platform/logs/ssp-pm.log 파일의 분석에 대해 설명합니다.

이 파일에는 다음에서 실행되는 ASA/FTD 애플리케이션에 대한 종료 또는 재부팅 로그가 포함되어 있습니다.

• Firepower 1000, 2100 및 Secure Firewall 1200, 3100, 4200 섀시
• Firepower 4100 및 9300 보안 모듈(섀시 아님)

이 파일은 다음에서만 액세스할 수 있습니다.

• FTD 기본 모드(다중 인스턴스가 아님) 전문가 모드의 CLISH: opt/cisco/platform/logs/ssp-pm.log을 참조하십시오.
• FTD 기본 모드 문제 해결 파일: dir-archives/opt-cisco-platform-logs/ssp-pm.log을 참조하십시오.
• firepower 1000, 2100 및 Secure Firewall 1200, 3100, 4200의 섀시 문제 해결 파일: /opt/cisco/platform/logs/ssp-pm.log

정상 종료 또는 재부팅을 식별하려면 재부팅/종료 타임스탬프와 일치하는 SHUTDOWN WARNING과 같은 행을 찾습니다. ssp-pm.log.1, ssp-pm.log.2 등을 포함한 모든 ssp-pm.log 파일을 확인하십시오. 이러한 메시지는 정상 종료를 나타냅니다.

Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING: Beginning System Shutdown request for CSP Apps
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING:-GetShutdownMaxForceQuitTimer: acquiring max force_quit_timeout from all heimdall confs
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING: Upgrade process ready for reboot
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING:-GetShutdownMaxForceQuitTimer: No force_quit_timeout found among conf files. Sendsigs_Sleep = 1
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING: Continue System Shutdown request for CSP Apps
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING:-SysShutdown_HeimdallSvcDownAllCspApps: corresponding heimdall conf file folder:
cisco-asa.9.22.2.9__asa_001_JMX2324G1DJ947ECO1.conf
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING:-SysShutdown_HeimdallSvcDownAllCspApps: corresponding cspCfgXML file folder:
...cspCfg_cisco-asa.9.22.2.9__asa_001_JMX2324G1DJ947ECO1.xml.allocated_cpu_core
…
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING:-SysShutdown_HeimdallSvcDownAllCspApps: stopping all CSPs according to existing heimdall/etc/confs
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING:-SysShutdown_HeimdallSvcDownAllCspApps: Stopping App for CONF:cisco-asa.9.22.2.9__asa_001_JMX2324G1DJ947ECO1.conf

ssp-shutdown.log 파일 분석

이 섹션에서는 섀시/보안 모듈이 종료되거나 재부팅될 때 생성되는 로그가 포함된 /opt/cisco/platform/logs/ssp-shutdown.log 파일의 분석에 대해 설명합니다.

파일에 다음에 대한 종료 또는 재부팅 로그가 포함되어 있습니다.

• Firepower 1000, 2100 및 보안 방화벽 1200, 3100, 4200 섀시
• Firepower 4100 및 9300 보안 모듈(섀시 아님)

이 파일은 다음에서만 액세스할 수 있습니다.

• FTD 기본 모드(다중 인스턴스가 아님) 전문가 모드의 CLISH: opt/cisco/platform/logs/ssp-shutdown.log을 참조하십시오.
• FTD 기본 모드 문제 해결 파일: dir-archives/opt-cisco-platform-logs/ssp-shutdown.log을 참조하십시오.
• firepower 1000, 2100 및 보안 방화벽 1200, 3100, 4200의 섀시 문제 해결 파일: /opt/cisco/platform/logs/ssp-shutdown.log
• Firepower 4100/9300 보안 모듈 문제 해결 파일: opt/cisco/platform/logs/ssp-shutdown.log을 참조하십시오.

FTD, 섀시 및 보안 모듈 문제 해결 파일을 생성하는 방법은 https://www.cisco.com/c/en/us/support/docs/security/sourcefire-defense-center/117663-technote-SourceFire-00.html을 참조하십시오.

정상 종료 또는 재부트의 트리거를 찾으려면 다음 단계를 수행하십시오.

1. FXOS 종료가 재부팅/종료 타임스탬프와 일치하는 것으로 시작됨 등의 행을 확인합니다. ssp-shutdown.log.1, ssp-shutdown.log.2 등을 포함한 모든 ssp-shutdown.log 파일을 확인하십시오.

#### Wed Jul 23 12:56:42 UTC 2025: FXOS shutdown started: pid = 61677 cmdline = /bin/sh/sbin/fxos_log_shutdown

2. 프로세스 트리에서 fxos_log_shutdown 또는 shutdown이 포함된 줄을 찾습니다. reboot.sh.
   
   예 1 - 재부팅 요청은 UUID 068f09e6-3825-11ee-a72c-e78d34d303cc 및 IP 주소 192.0.2.100(FMC)을 사용하는 피어에서 나왔습니다.

root     61074  4593  2 12:56 ?        00:00:00          |   \_ /usr/bin/perl /ngfw/usr/local/sf/bin/exec_perl.pl 068f09e6-3825-11ee-a72c-e78d34d303cc 192.0.2.100 068f09e6-3825-11ee-a72c-e78d34d303cc SF::System::
Privileged::RebootSystem
root     61097 61074  0 12:56 ?        00:00:00          |       \_ /bin/sh /ngfw/usr/local/sf/bin/reboot.sh
root     61670 61097  0 12:56 ?        00:00:00          |           \_ /bin/sh /sbin/shutdown -r now
root     61671 61670  0 12:56 ?        00:00:00          |               \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root     61676 61671  0 12:56 ?        00:00:00          |                   \_ /usr/bin/timeout 15 /sbin/fxos_log_shutdown
root     61677 61676  0 12:56 ?        00:00:00          |                       \_ /bin/sh /sbin/fxos_log_shutdown
root     61685 61677  0 12:56 ?        00:00:00          |                           \_ /bin/ps -ef –forest

> show managers
Type                      : Manager
Host                      : 192.0.2.100
Display name              : 192.0.2.100
Version                   : 7.6.1 (Build 291)
Identifier                : 068f09e6-3825-11ee-a72c-e78d34d303cc
Registration              : Completed
Management type           : Configuration and analytics

예 2 - 소프트웨어 업그레이드로 인한 재부팅:

root      2432     1  0 03:59 ?        00:00:00 /bin/bash /isan/bin/kp_reboot.sh Reboot requested for Software Upgrade
root      2694  2432  0 03:59 ?        00:00:00  \_ /bin/sh /isan/bin/sam_reboot.sh Reboot requested for Software Upgrade
root      3774  2694  0 04:00 ?        00:00:00      \_ /usr/bin/sudo /sbin/shutdown -r now Reboot requested for Software Upgrade
root      3777  3774  0 04:00 ?        00:00:00          \_ /bin/sh /sbin/shutdown -r now Reboot requested for Software Upgrade
root      3778  3777  0 04:00 ?        00:00:00              \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root      3783  3778  0 04:00 ?        00:00:00                  \_ /usr/bin/timeout 15 /sbin/fxos_log_shutdown
root      3784  3783  0 04:00 ?        00:00:00                      \_ /bin/sh /sbin/fxos_log_shutdown
root      3790  3784  0 04:00 ?        00:00:00                          \_ /bin/ps -ef –forest

예 3 - 관리자 사용자가 CLISH reboot 명령을 실행하여 리부팅을 요청했습니다.

root     22189     1  0 Jul23 ?        00:00:01 sshd: /usr/sbin/sshd [listener] 0 of 10-100 startups
root     20963 22189  0 06:55 ?        00:00:00  \_ sshd: admin [priv]
admin    20970 20963  0 06:55 ?        00:00:00  |   \_ sshd: admin@pts/0
admin    20975 20970  0 06:55 pts/0    00:00:00  |       \_ /isan/bin/ucssh --ucs-mgmt -p admin -c connect ftd -z /home/admin
admin    21077 20975  0 06:55 pts/0    00:00:00  |           \_ /ngfw/usr/bin/clish
admin    36022 21077  0 07:23 pts/0    00:00:00  |               \_ /ngfw/usr/bin/clish
admin    36023 21077  0 07:23 pts/0    00:00:00  |               \_ /bin/sh /tmp/klish.fifo.21077.1Hwyq1
admin    36024 36023  8 07:23 pts/0    00:00:01  |                   \_ /usr/bin/perl /usr/local/sf/bin/sfcli.pl reboot system
root     36083 36024  0 07:23 pts/0    00:00:00  |                       \_ /usr/bin/sudo /ngfw/usr/local/sf/bin/reboot.sh
root     36088 36083  0 07:23 pts/0    00:00:00  |                           \_ /bin/sh /usr/local/sf/bin/reboot.sh
root     36433 36088  0 07:23 pts/0    00:00:00  |                               \_ /bin/sh /sbin/shutdown -r now
root     36434 36433  0 07:23 pts/0    00:00:00  |                                   \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root     36439 36434  0 07:23 pts/0    00:00:00  |                                       \_ /usr/bin/timeout 15 /sbin/fxos_log_shutdown
root     36440 36439  0 07:23 pts/0    00:00:00  |                                           \_ /bin/sh /sbin/fxos_log_shutdown
root     36448 36440  0 07:23 pts/0    00:00:00  |                                               \_ /bin/ps -ef --forest

예 4 - 전원 버튼을 클릭하여 종료가 트리거되었습니다. PBTN은 물리적 전원 단추 누르기를 나타냅니다. 시스템의 전원 버튼을 누르면 이 이벤트가 트리거됩니다. 스크립트는 일반적으로 사용자가 방화벽을 안전하게 끄려고 하기 때문에 이 이벤트를 사용하여 종료 프로세스를 시작합니다.

root      1310     1  0 00:14 ?        00:00:00 /usr/sbin/acpid -c /etc/acpi/events
root     50700  1310  0 00:32 ?        00:00:00  \_ /bin/sh /etc/acpi/acpi_handler.sh button/power PBTN 00000080 00000000
root     50701 50700  0 00:32 ?        00:00:00      \_ /bin/sh /sbin/shutdown -h now
root     50702 50701  0 00:32 ?        00:00:00          \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root     50707 50702  0 00:32 ?        00:00:00              \_ /usr/bin/timeout 15 /sbin/fxos_log_shutdown
root     50708 50707  0 00:32 ?        00:00:00                  \_ /bin/sh /sbin/fxos_log_shutdown
root     50715 50708  0 00:32 ?        00:00:00                      \_ /bin/ps -ef –forest

예 5 - 내부 npu_accel_mgr 프로세스에 의해 재부팅이 요청되었습니다.

root     12649  5280  0 13:59 ?        00:01:06  \_ npu_accel_mgr
root     19030 12649  0 18:22 ?        00:00:00  |   \_ /bin/sh /sbin/shutdown -r now
root     19031 19030  0 18:22 ?        00:00:00  |       \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root     19036 19031  0 18:22 ?        00:00:00  |           \_ /usr/bin/ timeout 15 /sbin/fxos_log_shutdown
root     19037 19036  0 18:22 ?        00:00:00  |               \_ /bin/sh /sbin/fxos_log_shutdown
root     19043 19037  0 18:22 ?        00:00:00  |                   \_ /bin/ps -ef –forest

예 6 - 내부 poshd 프로세스에 의해 종료가 요청되었습니다.

root       643     1  0 13:00 ?        00:00:00 /usr/bin/poshd
root     13207   643  0 13:43 ?        00:00:00  \_ /bin/sh /sbin/shutdown -h -P now
root     13208 13207  0 13:43 ?        00:00:00      \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root     13213 13208  0 13:43 ?        00:00:00          \_ /usr/bin/timeout 15 /sbin/fxos_log_shutdown
root     13214 13213  0 13:43 ?        00:00:00              \_ /bin/sh /sbin/fxos_log_shutdown
root     13221 13214  0 13:43 ?        00:00:00                  \_ /bin/ps -ef –forest

poshd는 전원 문제(전원 버튼 또는 외부 전원 팩터를 통해)에 대한 디바이스의 정상적인 종료를 담당합니다.

예 7 - 리부팅은 다음과 같은 방화벽 엔진 Lina의 상태 변경에 의해 트리거되었습니다.

• asa CLI 또는 FTD 진단 CLI에서 reload 명령을 실행하여
• lina 엔진 역추적(ASA 9.20(x) 및 FTD 7.4.1에 도입된 "데이터 플레인 빠른 다시 로드" 기능이 있는 버전 제외)
• 액티브 유닛에서 스탠바이 유닛으로의 불완전/부분 동기화

root     56833 56198  0 00:48 ?        00:00:00  |   \_ /ngfw/usr/local/sf/bin/consoled /ngfw/var/run/lina.pid -coredump_filter=0x67 /ngfw/usr/local/asa/bin/lina_monitor -l
root     57003 56833  0 00:48 ?        00:00:00  |       \_ /bin/sh /sbin/shutdown -r now
root     59448 57003  0 00:48 ?        00:00:00  |           \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root     59453 59448  0 00:48 ?        00:00:00  |               \_ /usr/bin/timeout 15 /sbin/fxos_log_shutdown
root     59454 59453  0 00:48 ?        00:00:00  |                   \_ /bin/sh /sbin/fxos_log_shutdown
root     59461 59454  0 00:48 ?        00:00:00  |                       \_ /bin/ps -ef –forest

섀시 재설정 이유 분석

이 섹션에서는 섀시 재설정 이유 분석에 대해 설명합니다. Firepower 4100/9300 섀시에서 재설정 이유는 다음 항목에서만 액세스할 수 있습니다.

• FXOS CLI:

# connect fxos
(fxos)# show system reset-reason

• 섀시 문제 해결 파일의 show system reset-reason 명령 출력에서 *_BC1_all/FPRM_A_TechSupport/sw_techsupportinfo, 여기서 *는 문제 해결 파일 이름의 일부입니다(예: 20250311123356_FW_BC1_all).

firepower 1000, 2100, Secure Firewall 1200, 3100, 4200에서 재설정 이유는 다음 항목에서만 액세스할 수 있습니다.

• FTD 기본 모드(다중 인스턴스가 아님) 전문가 모드의 CLISH: opt/cisco/platform/logs/portmgr.out을 참조하십시오.
• FTD 기본 모드 문제 해결 파일: dir-archives/opt-cisco-platform-logs/portmgr.out을 참조하십시오.
• firepower 1000, 2100 및 Secure Firewall 1200, 3100, 4200의 섀시 문제 해결 파일: /opt/cisco/platform/logs/portmgr.out

FTD, 섀시 및 보안 모듈 문제 해결 파일을 생성하는 방법은 https://www.cisco.com/c/en/us/support/docs/security/sourcefire-defense-center/117663-technote-SourceFire-00.html을 참조하십시오.

firepower 4100/9300 이외의 하드웨어 플랫폼에 대한 재설정 이유를 찾으려면 다음 단계를 수행하십시오.

1. /opt/cisco/platform/logs/portmgr.out에서 Last reset cause와 같은 라인이 재부팅/종료 타임스탬프와 일치하는지 확인합니다. portmgr.out.1, portmgr.out.2 등 모든 portmgr.out 파일을 확인합니다.

2. 일반적인 재설정 이유에 대한 설명은 이 표를 참조하십시오.

firepower 4100/9300의 재설정 이유를 찾으려면 다음 단계를 수행하십시오.

1. FXOS CLI에서 fxos 명령 셸에서 show system reset-reason 명령을 실행합니다. 

FPR4115-2 # connect fxos
…
FPR4115-2(fxos)# show system reset-reason
----- reset reason for Supervisor-module 1 (from Supervisor in slot 1) ---
1) At 612806449 usecs after Tue Jul 22 23:50:33 2025
    Reason: Reset Requested by CLI command reload
    Service:
    Version: 5.0(3)N2(4.141)

2) No time
    Reason: Unknown
    Service:
    Version: 5.0(3)N2(4.141)

3) No time
    Reason: Unknown
    Service:
    Version: 5.0(3)N2(4.141)

4) At 723697 usecs after Thu Oct  3 17:56:08 2024
    Reason: Reset Requested by CLI command reload
    Service:
    Version: 5.0(3)N2(4.120)

이 명령의 출력은 섀시 문제 해결 파일 *_BC1_all/FPRM_A_TechSupport/sw_techsupportinfo에서도 사용할 수 있습니다. 여기서 *는 문제 해결 파일 이름의 일부입니다(예: 20250311123356_ FW_BC1_all).

# pwd
20250521112103_FPR9300_BC1_all/FPRM_A_TechSupport
# less sam_techsupportinfo

가장 일반적인 이유:

2. 1단계에서 시간이 없는 알 수 없는 이유는 일반적으로 갑작스러운 전원 손실 또는 PSU(전원 공급 장치) 문제를 나타냅니다. 외부 전력 손실 또는 PDU(전력 분배) 문제에 대한 인시던트를 확인하는 것이 좋습니다.

3. 또한 show logging onboard internal reset-reason의 출력을 확인합니다 | no-more 명령. 이 명령의 출력은 섀시 문제 해결 파일 *_BC1_all/FPRM_A_TechSupport/sw_kernel_trace_log에서도 사용할 수 있습니다. 여기서 *는 문제 해결 파일 이름의 일부입니다(예: 20250311123356_FW_BC1_all).

FPR4115-2 # connect fxos
…
KSEC-FPR4115-2(fxos)# show logging onboard internal reset-reason | no-more 
----------------------------
OBFL Data for
    Module:  1
----------------------------
Reset Reason for this card:
        Image Version : 5.0(3)N2(4.141)
        Reset Reason (SW): Unknown (0) at time Fri Jul  4 23:57:21 2025
          Service (Additional Info):
        Reset Reason (HW): FPGA  reset code: 0x0001
          FPGA Power-ON Reset at time Fri Jul  4 23:57:21 2025

하드웨어 오류 또는 예외 분석

이 섹션에서는 하드웨어 오류 또는 예외가 포함된 파일의 분석에 대해 설명합니다.

Firepower 1000, 2100, Secure Firewall 1200, 3100, 4200, Firepower 4100/9300 보안 모듈

관련 파일은 다음과 같습니다.

• /opt/cisco/platform/logs/mce.log(컴퓨터 검사 예외 로그)
• /ngfw/var/log/dmesg.log(FTD만 해당)
• /opt/cisco/config/var/logs/dmesg.log
• /opt/cisco/platform/logs/messages

이러한 파일에는 다음에 대한 하드웨어 오류 또는 예외 로그가 포함될 수 있습니다.

• Firepower 1000, 2100 및 Secure Firewall 1200, 3100, 4200 섀시
• Firepower 4100 및 9300 보안 모듈(섀시 아님)

이 파일은 다음에서만 액세스할 수 있습니다.

• FTD 기본 모드(다중 인스턴스가 아님) 전문가 모드의 CLISH:
  • /opt/cisco/platform/logs/mce.log
  • /ngfw/var/log/dmesg.log(FTD만 해당)
  • /opt/cisco/config/var/logs/dmesg.log
  • /opt/cisco/platform/logs/messages
• FTD 기본 모드 문제 해결 파일:
  • dir-archives/var-common-platform_ts/opt/cisco/platform/logs/mce.log을 참조하십시오.
  • dir-archives/var-common-platform_ts/opt/cisco/platform/logs/messages
  • dir-archives/var-common-platform_ts/opt/cisco/config/var/logs/dmesg.log을 참조하십시오.
  • dir-archives/var-log/dmesg.log을 참조하십시오.
• firepower 1000, 2100 및 Secure Firewall 1200, 3100, 4200의 섀시 문제 해결 파일:
  • /opt/cisco/platform/logs/mce.log
  • /opt/cisco/config/var/logs/dmesg.log
  • /opt/cisco/platform/logs/messages
• firepower 4100/9300의 보안 모듈 show-tech 파일:
  • /opt/cisco/platform/logs/mce.log
  • /opt/cisco/config/var/logs/dmesg.log
  • /opt/cisco/platform/logs/messages

하드웨어 관련 오류의 예:

opt/cisco/config/var/logs/ $ less dmesg.log
[Sun Apr 27 05:17:10 2025] mce: [Hardware Error]: Machine check events logged
[Sun Apr 27 05:17:10 2025] mce: [Hardware Error]: Machine check events logged

/opt/cisco/platform/logs $ less messages
Jul  9 17:39:38 fw2 kernel: [  628.949572] [Hardware Error]: Corrected error, no action required.
Jul  9 17:39:38 fw2 kernel: [  629.023798] [Hardware Error]: CPU:2 (19:1:1) MC18_STATUS[Over|CE|MiscV|AddrV|-|-|SyndV|CECC|-|-|-]: 0xdc2040000000011b
Jul  9 17:39:38 fw2 kernel: [  629.152245] [Hardware Error]: Error Addr: 0x0000000068d06d40
Jul  9 17:39:38 fw2 kernel: [  629.152248] [Hardware Error]: PPIN: 0x02b0bc114ba60075
Jul  9 17:39:38 fw2 kernel: [  629.281830] [Hardware Error]: IPID: 0x0000009600550f00, Syndrome: 0x000400040a801200
Jul  9 17:39:38 fw2 kernel: [  629.374797] [Hardware Error]: Unified Memory Controller Ext. Error Code: 0, DRAM ECC error.
Jul  9 17:39:38 fw2 kernel: [  629.475078] [Hardware Error]: cache level: L3/GEN, tx: GEN, mem-tx: RD
Jul  9 17:44:40 fw2 kernel: [  930.967028] [Hardware Error]: Corrected error, no action required.
Jul  9 17:44:40 fw2 kernel: [  931.041247] [Hardware Error]: CPU:2 (19:1:1) MC18_STATUS[Over|CE|MiscV|AddrV|-|-|SyndV|CECC|-|-|-]: 0xdc2040000000011b
Jul  9 17:44:40 fw2 kernel: [  931.169689] [Hardware Error]: Error Addr: 0x000000007191d0c0
Jul  9 17:44:40 fw2 kernel: [  931.237616] [Hardware Error]: PPIN: 0x02b0bc114ba60075
Jul  9 17:44:40 fw2 kernel: [  931.299275] [Hardware Error]: IPID: 0x0000009600550f00, Syndrome: 0x000040000a801100


/opt/cisco/platform/logs $ less mce.log
Hardware event. This is not a software error.
MCE 0
CPU 0 BANK 7 TSC 7b29f624ae62e 
MISC 140129286 ADDR 3402b9a00 
TIME 1745747035 Sun Apr 27 09:43:55 2025
MCG status:
MCi status:
Corrected error
MCi_MISC register valid
MCi_ADDR register valid
MCA: MEMORY CONTROLLER RD_CHANNEL0_ERR
Transaction: Memory read error
STATUS 8c00004000010090 MCGSTATUS 0
MCGCAP 1000c16 APICID 0 SOCKETID 0 
PPIN afeebaf20487b95
MICROCODE 700000d
CPUID Vendor Intel Family 6 Model 86 Step 3
mcelog: failed to prefill DIMM database from DMI data

firepower 4100/9300 보안 모듈의 치명적인 오류(CATER)

CATER는 프로세서에서 주장하는 예외입니다. CATER는 CPU 충돌 또는 블레이드를 액세스할 수 없게 만드는 낮은 수준의 문제를 나타낼 수 있습니다. 섀시 수퍼바이저가 CATER를 경험한 보안 모듈을 재부팅합니다. CATER 로그는 Firepower 4100/9300 문제 해결 파일 내부에 있습니다. CIMC <X>_TechSupport/obfl/ 및 CIMC<X>_TechSupport/var/log/sel, 여기서 <X>는 모듈 번호를 나타냅니다.

샘플 섀시 문제 해결 파일 *_BC1_all/CIMC<X>_TechSupport.tar.gz/CIMC<X>_TechSupport.tar/obfl/obfl-log의 예를 들어 보겠습니다. 여기서 *는 문제 해결 파일 이름의 일부입니다(예: 20250311123356_ FW_BC1_all 및 <X >)는 보안 모듈 ID:

2022 Mar 25 22:33:13 CET:4.1(30b):selparser:1950: selparser.c:727: # BF 06 00 00 01 02 00 00 19 35 3E 62 20 00 04 07 81 00 00 00 04 01 FF FF # 6bf | 03/25/2022 22:33:13 CET | CIMC | Processor CATERR_N #0x81 | Predictive Failure asserted | Asserted

현재 DME(Data Management Engine)가 *_BC1_all/FPRM_A_TechSupport.tar.gz\FPRM_A_TechSupport.tar\var\sysmgr\sam_logs\svc_sam_dme.log*에 로그인하거나, *_BC1_all/FPRM_A_TechSupport.tar.gz/FPRM_A_TechSupport.tar/opt/sam_logs.tgz/sam_logs.tar/sam_logs/svc_sam_dme.log*에서 재부팅하기 전의 로그에는 CATER로 인한 전원 사이클 블레이드 X가 있는 행이 포함되어 있습니다. 여기서 X는 블레이드 ID입니다.

CATER의 경우 크래시 덤프를 생성할 수 있습니다. 크래시 덤프는 *_BC1_all/CIMC<X>_TechSupport.tar.gz/CIMC<X>_TechSupport.tar/techsupport_pidxxxx/nv/etc/log/eng-repo/caterrlog.first에 있습니다.

내용 예:

CRASH DUMP START TIME = Mon Dec 19 00:42:40 2022
               SERVER: presidio
               GetCpuID: CPUID = 0x00050654
               PresidioCatErrHandler: CPU TYPE : Skylake
               handleCaterr_Purley: ---
               PECI BUS : LOCKED
               CPU Socket 1 : Populated
               CPU Socket 2 : Populated
               Stage1Dump: ---
               MC0: IFU - Instruction Fetch Unit and Instruction Cache
               CPU1 (0x30): ThreadID 0 : IA32_MC0_CTL (0x400) : 0x0000000000000fff
               CPU1 (0x30): ThreadID 0 : IA32_MC0_STATUS (0x401) : 0x0000000000000000
               CPU1 (0x30): ThreadID 0 : IA32_MC0_ADDR (0x402) : 0x0000000000000000

다른 플랫폼 로그 파일 분석

이 섹션에서는 플랫폼 로그가 포함된 파일의 분석에 대해 설명합니다. 하드웨어에 따라 이러한 파일 중 일부는 특정 구성 요소에 의해 트리거된 재부팅과 관련된 로그를 포함할 수 있습니다.

Firepower 1000, 2100, Secure Firewall 1200, 3100, 4200, Firepower 4100/9300 보안 모듈

파일에는 다음에 대한 섀시 로그가 포함되어 있습니다.

• Firepower 1000, 2100 및 Secure Firewall 1200, 3100, 4200 섀시
• Firepower 4100 및 9300 보안 모듈(섀시 아님)

이 파일은 다음에서만 액세스할 수 있습니다.

• FTD 기본 모드(다중 인스턴스가 아님) /opt/cisco/platform/logs의 expert 모드 CLISH
• FTD 네이티브 모드 파일 dir-archives/var-common-platform_ts/opt/cisco/platform/logs/
• Firepower 1000, 2100 및 Secure Firewall 1200, 3100, 4200 in/opt/cisco/platform/logs의 섀시 문제 해결 파일
• 보안 모듈 show-tech file on Firepower 4100/9300 in /opt/cisco/platform/logs/

재부팅 관련 잠재적 로그를 찾으려면 reboot, restart, power, shut, reload와 같은 키워드가 포함된 라인을 검색합니다. 참고는 검색 결과가 일치하는 라인을 많이 반환할 수 있으므로 이 방법은 최상의 접근 방법입니다. 사용자는 일치하는 라인을 분석해야 합니다.

예 1:

admin@firewall:/opt/cisco/platform/logs$ grep -Ei "power|reboot|reload|restart|shut" *
...
npu_accel_fatal_err_stats.log:nic_top_inb_q_restart_drop_cnt = 0
npu_accel_fatal_err_stats.log:nic_top_norm_q_restart_drop_cnt = 0
npu_accel_fatal_err_stats.log:nic_top_inb_q_restart_drop_cnt = 0
npu_accel_mgr.log:2025 Oct 03 14:29:16 NPU ACCEL MGR: FATAL - NPU Accelerator FAILED - REBOOTING the device !!
npu_accel_mgr.log:2025 Oct 09 18:13:09 NPU ACCEL MGR: FATAL - NPU Accelerator FAILED - REBOOTING the device !!
npu_accel_mgr.log:2025 Oct 17 17:11:23 NPU ACCEL MGR: FATAL - NPU Accelerator FAILED - REBOOTING the device !!
npu_accel_mgr.log:2025 Oct 17 17:31:55 NPU ACCEL MGR: FATAL - NPU Accelerator FAILED - REBOOTING the device !!
npu_accel_mgr.log:2025 Oct 17 19:29:29 NPU ACCEL MGR: FATAL - NPU Accelerator FAILED - REBOOTING the device !!
ntp.log:27 Sep 02:21:16 ntpd[1580]: 0.0.0.0 c016 06 restart
ntp.log:27 Sep 02:23:27 ntpd[10193]: 0.0.0.0 c016 06 restart
...

이 경우, 보안 방화벽(4200)의 NPU(Network Processing Unit) 가속기에 장애가 발생하여 재부팅이 트리거되었습니다.

SEL/OBFL 파일 분석

이 섹션에서는 Firepower 4100/9300 보안 모듈의 SEL(Security Event Logs) 및 OBFL(Onboard Failure Logs)을 사용하여 파일을 분석하는 방법을 다룹니다.

이러한 파일에는 모듈 하드웨어 이벤트 및 전원 상태 변경 사항이 포함되어 있으며 Firepower 4100/9300 문제 해결 파일(CIMC<X>_TechSupport/obfl/ 및 CIMC<X>_TechSupport/var/log/sel)에 있습니다. 여기서 <X>는 모듈 번호를 나타냅니다.

대/소문자를 구분하지 않는 중지, 종료, 전원 끄기, 재설정, 위험의 행을 찾습니다.

예 1:

2023 Sep 21 13:53:13:4.1(30b):cipmi:1088: [[xxxCVxxx]]:oem_command.c:457:IPMI Request Message --> Chan:15, Netfn:0x04, Cmd:0x02, Data: 0x41 0x03 0x20 0x46 0x6f 0xa1 0x61 0x74, CC:0x00
2023 Sep 21 13:53:13:4.1(30b):selparser:1203: [[xxxCVxxx]]:selparser.c:727: # A9 04 00 00 01 02 00 00 49 DA 0B 65 41 F0 04 20 46 00 00 00 6F A1 61 74 # 4a9 | 09/21/2023 13:53:13 AWST | System Mgmt Software | OS stop/shutdown #0x46 | Run-time critical stop |  | Asserted
2023 Sep 21 13:53:14:4.1(30b):cipmi:1088: peci.c:278:Error: Failed to read local PCI config after 3 retries! Completion Code error [PECI Dev=0x30,Resp=0x00,CC=0x80] Request Details: [pci_bus=0x02,pci_dev=0x0a,pci_fxn=0x03,pci_reg=0x104,length=0x04]
2023 Sep 21 13:53:15:4.1(30b):kernel:-:<5>[platform_reset_cb_handler]:75:Platform Reset ISR -> ResetState: 1
2023 Sep 21 13:53:15:4.1(30b):cipmi:1088: ocmds_intel_me.c:251:Intel ME Operating State:[M0 without UMA](5)
2023 Sep 21 13:53:15:4.1(30b):cipmi:1088: ocmds_intel_me.c:261:Intel ME is initializing.

예 2 - OS 레벨 종료:

2025 Jul 30 23:31:02 UTC:4.1(30b):cipmi:1052: [[xxxCVxxx]]:oem_command.c:457:IPMI Request Message --> Chan:15, Netfn:0x04, Cmd:0x02, Data: 0x41 0x03 0x20 0x46 0x6f 0xa1 0x61 0x74, CC:0x00
2025 Jul 30 23:31:02 UTC:4.1(30b):selparser:1169: [[xxxCVxxx]]:selparser.c:727: # 48 03 00 00 01 02 00 00 36 AB 8A 68 41 F0 04 20 46 00 00 00 6F A1 61 74 # 348 | 07/30/2025 23:31:02 UTC | System Mgmt Software | OS stop/shutdown #0x46 | Run-time critical stop |  | Asserted
2025 Jul 30 23:31:04 UTC:4.1(30b):kernel:-:<5>[platform_reset_cb_handler]:75:Platform Reset ISR -> ResetState: 1
2025 Jul 30 23:31:05 UTC:4.1(30b):kernel:-:<4>[peci_ioctl]:293:non-responsive controller, resetting peci.  process = qpi_logger.
2025 Jul 30 23:31:05 UTC:4.1(30b):cipmi:1052: ocmds_intel_me.c:251:Intel ME Operating State:[M0 without UMA](5)
2025 Jul 30 23:31:05 UTC:4.1(30b):cipmi:1052: ocmds_intel_me.c:261:Intel ME is initializing.
2025 Jul 30 23:31:05 UTC:4.1(30b):information_logger:589: uptime.c:1219:Host Transition Ocurred. Event Count: 146. New state is "Power Off".

예 3 - watchdog로 인해 베이스보드 관리 컨트롤러가 재설정되었습니다.

2025 Jun 14 07:44:50 CDT:4.1(30b):kernel:-:<3>[watchdog_init]:487:BMC Watchdog resetted BMC.
2025 Jun 14 07:44:50 CDT:4.1(30b):kernel:-:<3>[watchdog_init]:489:BMC Watchdog System Bus Debug Status Registers: 0x0 and0x0
2025 Jun 14 07:44:50 CDT:4.1(30b):kernel:-:<3>[watchdog_init]:523:BMC Watchdog resetted BMC due to OOM.

ASA/FTD 콘솔 로그 분석

이 섹션에서는 Lina 엔진의 로그를 포함하고 소프트웨어 역추적 또는 재부팅 징후를 확인할 수 있는 ASAConsole.log 파일 분석에 대해 설명합니다.

이 파일에는 가상 플랫폼, Firepower 1000, 2100, Secure Firewall 1200, 3100, 4200, Firepower 4100 및 9300 보안 모듈(섀시가 아님)에서 실행되는 ASA/FTD에 대한 종료 또는 재부팅 로그가 포함되어 있습니다

이 파일은 다음에서만 액세스할 수 있습니다.

• 전문가 모드의 FTD CLISH: /ngfw/var/log/ASAConsole.log
• FTD 문제 해결 파일: dir-archives/opt-cisco-platform-logs/ASAConsole.log을 참조하십시오.
• firepower 4100/9300의 보안 모듈 문제 해결 파일: /opt/platform/logs/ASAConsole.log
• Firepower 1000, 2100 및 Secure Firewall 1200, 3100, 4200 섀시는 기술 파일을 보여줍니다. /opt/platform/logs/ASAConsole.log

역추적 및 코어 파일 생성의 증상:

root@KSEC-CSF1210-6:/ngfw/var/log# less ASAconsole.log
2025-08-09 01:06:11 /bin/grep: (standard input): Resource temporarily unavailable
2025-08-09 01:06:11 /bin/grep: (standard input): Resource temporarily unavailable
2025-08-09 01:06:11 /bin/grep: (standard input): Resource temporarily unavailable
2025-08-09 01:06:35 !! !! First Crash in tid: 14834 signo: 11
2025-08-09 01:06:35
2025-08-09 01:06:35 Writing live core file to flash. Please do not reload.
2025-08-09 01:06:35
2025-08-09 01:06:35 Coredump starting....
2025-08-09 01:06:35 Corehelper: /opt/cisco/csp/cores/core.lina.11.14550.1754701595
2025-08-09 01:06:35 Waiting for Corehelper to finish....
2025-08-09 01:06:35 Livecore: generating coredump of 14550
2025-08-09 01:06:35 [New LWP 14795]
2025-08-09 01:06:35 [New LWP 14796]
2025-08-09 01:06:35 [New LWP 14834]
2025-08-09 01:06:35 [New LWP 14835]
2025-08-09 01:06:35 [New LWP 14836]
2025-08-09 01:06:35 [New LWP 14869]
2025-08-09 01:06:35 [New LWP 14934]
2025-08-09 01:06:35 [New LWP 14939]
2025-08-09 01:06:35 [New LWP 14940]
2025-08-09 01:06:35 [New LWP 14941]
2025-08-09 01:06:35 [New LWP 14942]
2025-08-09 01:06:35 [New LWP 14943]
2025-08-09 01:06:35 [New LWP 14945]
2025-08-09 01:06:35 [New LWP 14947]
2025-08-09 01:06:35 [New LWP 14948]

 Lina 엔진 부팅의 증상은 로그 타임스탬프의 간격을 확인합니다.

root@KSEC-CSF1210-6:/ngfw/var/log# less ASAconsole.log
2024-11-13 22:43:09 INFO: SW-DRBG health test passed.
2024-11-13 22:43:09 M_MMAP_THRESHOLD 65536, M_MMAP_MAX 82155
2024-11-13 22:43:10 /bin/grep: (standard input): Resource temporarily unavailable
2024-11-13 22:43:10 /bin/grep: (standard input): Resource temporarily unavailable
2024-11-13 22:43:10 /bin/grep: (standard input): Resource temporarily unavailable
2024-11-13 22:43:10 /bin/grep: (standard input): Resource temporarily unavailable
2024-11-13 22:43:10 User enable_1 logged in to firepower
2024-11-13 22:43:10 Logins over the last 1 days: 1. 
2024-11-13 22:43:10 Failed logins since the last login: 0. 
2024-11-13 22:43:10 Type help or '?' for a list of available commands.
2024-11-13 22:43:10 ^Mfirepower>
2025-04-04 09:11:46 System Cores 8 Nodes 1 Max Cores 24
2025-04-04 09:11:46 Number of Cores 3
2025-04-04 09:11:46 IO Memory Nodes: 1
2025-04-04 09:11:46 IO Memory Per Node: 1073741824 bytes num_pages = 262144 page_size = 4096
2025-04-04 09:11:46
2025-04-04 09:11:46 Global Reserve Memory Per Node: 2147483648 bytes Nodes=1
2025-04-04 09:11:46
2025-04-04 09:11:46 LCMB: got DMA 1073741824 bytes on numa-id=0, phys=0x00000001c0000000, virt=0x0000400040000000
2025-04-04 09:11:46 LCMB: HEAP-CACHE POOL got 2147483648 bytes on numa-id=0, virt=0x0000400080000000
2025-04-04 09:11:46
2025-04-04 09:11:46 total_reserved_mem = 1073741824
2025-04-04 09:11:46
2025-04-04 09:11:46 total_heapcache_mem = 2147483648
2025-04-04 09:11:46 total mem 5384115842 system 16318316544 kernel 21847377 image 85732792
2025-04-04 09:11:46 new 5384115842 old 1159474616 reserve 3221225472 priv new 2184737747 priv old 0
2025-04-04 09:11:46 Processor memory:   5384115842
2025-04-04 09:11:46 POST started...
2025-04-04 09:11:46 POST finished, result is 0 (hint: 1 means it failed)
2025-04-04 09:11:46
2025-04-04 09:11:46 Cisco Adaptive Security Appliance Software Version 9.22(1)1

전원 전압 및 전원 공급 장치 문제 분석

Analyze chassis reset reasons(섀시 재설정 사유 분석) 섹션의 일부로 다음과 같은 재설정 사유가 발견되면 이 섹션을 진행합니다.

• 전원 켜기
• PowerCycle요청
• 불량 전압으로 인해 재설정
• 알 수 없는 이유:

No time
    Reason: Unknown
    Service:
    Version:

이러한 이유는 다음 중 하나 이상에 문제가 있을 수 있음을 나타냅니다.

• 전력 공급 부족
• 전원 공급 장치(PSU) 문제
• 전원 케이블 문제
• 랙의 PDU(Power Distribution Unit) 문제
• 전원 공급 장치 문제

다음 단계를 진행합니다.

1. 문제 범위를 좁히려면 다음 질문에 답하십시오.

• 전원 손실이 일회성 문제였습니까? 아니면 반복적인 문제였습니까?
• 방화벽에 이중화 PSU가 있습니까?
• PSU가 서로 다른 전원 및/또는 PDU에 연결되어 있습니까?
• 동일한 전원 및/또는 PSU에 연결된 다른 장치가 있습니까?
• 동일한 전원 및/또는 PSU에 연결된 다른 장치에서도 전원 손실이 발생했습니까?

2. 첫 번째 단계의 질문에 따라 방화벽만 영향을 받는 경우 다음을 확인합니다.

• 전원 케이블은 전원 및 섀시에 긴밀하게 연결되어 있습니다.
• 전원 케이블이 손상되지 않았습니다. 전원 케이블을 교체하여 케이블에 발생할 수 있는 문제를 해결하십시오.
  
  

3. 섀시가 예기치 않게 계속 재부팅되는 경우 FXOS에서 다음 명령의 출력을 몇 번 수집합니다.

scope chassis 1
show psu detail expand
scope psu 1
show stats history psu-stats detail expand
show stats psu-stats detail expand
exit
scope psu 2
show stats history psu-stats detail expand
show stats psu-stats detail expand

4. 섀시 문제 해결 파일을 수집합니다.

참조 

1. firepower 소프트웨어 버전 확인
2. firepower, 인스턴스, 가용성, 확장성 컨피그레이션 확인
3. 보안 방화벽에서 소프트웨어 추적/충돌의 근본 원인 분석을 위한 데이터 수집
4. firepower 파일 생성 절차 문제 해결