本產品的文件集力求使用無偏見用語。針對本文件集的目的,無偏見係定義為未根據年齡、身心障礙、性別、種族身分、民族身分、性別傾向、社會經濟地位及交織性表示歧視的用語。由於本產品軟體使用者介面中硬式編碼的語言、根據 RFP 文件使用的語言,或引用第三方產品的語言,因此本文件中可能會出現例外狀況。深入瞭解思科如何使用包容性用語。
思科已使用電腦和人工技術翻譯本文件,讓全世界的使用者能夠以自己的語言理解支援內容。請注意,即使是最佳機器翻譯,也不如專業譯者翻譯的內容準確。Cisco Systems, Inc. 對這些翻譯的準確度概不負責,並建議一律查看原始英文文件(提供連結)。
本文檔介紹意外過載Secure Firewall/Firepower防火牆的故障排除步驟。
基本產品知識。
本文中的資訊是根據特定實驗室環境內的裝置所建立。文中使用到的所有裝置皆從已清除(預設)的組態來啟動。如果您的網路運作中,請確保您瞭解任何指令可能造成的影響。
本文中的資訊係根據以下軟體和硬體版本:
在本檔案中,「reboot」、「reload」和「restart」可互換使用。從使用者的角度來看,意外重啟大致可定義為任何重啟,除了以下已知、有案可稽或預期的情況外:
根據觸發器的不同,重新引導可以是正常的,也可以是不正常的:
重新啟動的常見原因:
在基於機箱的平台中,必須考慮重新引導的範圍,尤其是重新引導的具體內容:
預設行為包括:
某些關鍵進程(無論是正常還是不正常)的終止都可能導致重新啟動。舉例來說:
請按照故障排除步驟執行故障排除工作流程:

在本地模式下運行FTD或運行ASA的Firepower 1000、2100、安全防火牆1200、3100和4200
4.1.檢查分析FTD訊息檔案區段(僅限FTD)。
4.2.檢查分析ssp-pm.log檔案部分。
4.3.檢查分析ssp-shutdown.log檔案部分。
4.4.檢查分析ASA/FTD控制檯日誌部分。
4.5.繼續執行收集資料以進行安全防火牆中的軟體回溯/崩潰的根本原因分析中的步驟,以驗證軟體回溯和資料收集的症狀。
4.6.檢查分析機箱重置原因部分。
4.7.檢查分析硬體錯誤或例外部分。
4.8.檢查分析平台日誌檔案部分。
在容器模式下執行FTD的安全防火牆3100、4200
4.9.檢查分析ssp-pm.log檔案部分。
4.10.檢查分析ssp-shutdown.log Files 部分。
4.11.繼續執行收集資料以進行安全防火牆中的軟體回溯/崩潰的根本原因分析中的步驟,以驗證軟體回溯和資料收集的症狀。
4.12.檢查分析機箱重置原因部分。
4.13.檢查「Analyze Hardware Errors or Exceptions」部分。
4.14.檢查分析平台日誌檔案部分。
Firepower 4100/9300
4.15.檢查分析機箱重置原因部分。
4.16.繼續執行收集資料以進行安全防火牆中的軟體回溯/崩潰的根本原因分析中的步驟,以驗證軟體回溯和資料收集的症狀。
執行FTD的虛擬平台
4.17.檢查分析FTD報文檔案部分。
4.18.檢查分析ASA/FTD控制檯日誌部分。
4.19.繼續執行收集資料以分析安全防火牆中的軟體回溯/崩潰的根本原因中的步驟,以驗證軟體回溯的症狀並收集資料。
在原生模式下執行FTD或執行ASA的Firepower 4100/9300安全模組
7.1.檢查分析FTD訊息檔案區段(僅限FTD)。
7.2.檢查分析ssp-pm.log檔案部分。
7.3.檢查分析ssp-shutdown.log檔案部分。
7.4.檢查分析ASA/FTD控制檯日誌部分。
7.5.繼續執行收集資料以進行安全防火牆中的軟體回溯/崩潰的根本原因分析中的步驟,以驗證軟體回溯的症狀和資料收集。
7.6.檢查分析硬體錯誤或例外部分。
7.7.檢查分析SEL/OBFL檔案部分。
7.8.檢查分析平台日誌檔案部分。
在容器模式下執行FTD的Firepower 4100/9300安全模組
7.9. 檢查分析ssp-pm.log Files部分。
7.10.檢查分析ssp-shutdown.log Files 部分。
7.11.繼續執行收集資料以分析安全防火牆中的軟體回溯/崩潰的根本原因中的步驟,以驗證軟體回溯的症狀並收集資料。
7.12.檢查「Analyze Hardware Errors or Exceptions」部分。
7.13.檢查分析SEL/OBFL檔案部分。
7.14.檢查分析平台日誌檔案部分。
8.1.檢查分析FTD報文檔案部分。
8.2.檢查分析ssp-pm.log檔案部分。
8.3.檢查分析ssp-shutdown.log檔案部分。
8.4.檢查分析ASA/FTD控制檯日誌部分。
8.5.繼續執行收集資料以進行安全防火牆中的軟體回溯/崩潰的根本原因分析中的步驟,以驗證軟體回溯的症狀和資料收集。
9.如果由於軟體回溯而出現重新啟動的跡象,請開啟TAC案例並提供收集的資料。
10.搜尋軟體缺陷,包含意外關鍵字、reboot、power、reload、restart、silent:

如果找到相符的缺陷,則:
11.通過Data Collection部分開啟TAC案例。
本節的目標是檢查ASA/FTD應用、安全模組(僅限Firepower 4100/9300)和機箱的運行時間。
> show version system
---------------[ firewall-FTD ]---------------
Model : Cisco Firepower 4112 Threat Defense (76) Version 7.6.1 (Build 291)
UUID : e9460e12-674c-11f0-97e5-d5ad3617d287
LSP version : lsp-rel-20241211-1948
VDB version : 408
---------------------------------------------------
Cisco Adaptive Security Appliance Software Version 9.22(1)21
SSP Operating System Version 2.16(0.3007)
Compiled on Thu 29-May-25 01:38 GMT by fpbesprd
System image file is "disk0:/fxos-lfbff-k8.2.16.0.136.SPA"
Config file at boot was "startup-config"
firewall-FTD up 5 days 0 hours
在FTD疑難排解檔案中,檢查檔案command-outputs/'usr-local-sf-bin-sfcli.pl show_tech_support asa_lina_cli_util.output':
/command-outputs$ less 'usr-local-sf-bin-sfcli.pl show_tech_support asa_lina_cli_util.output'
…
firewall-FTD up 5 days 0 hours
…
對於ASA,檢查show-tech檔案中的運行時間。
> expert
admin@firepower:/ngfw/Volume/home/admin$ uptime
06:30:40 up 6 days, 8:01, 1 user, load average: 5.14, 5.45, 5.48
在FTD疑難排解檔案中,檢查檔案dir-archives/var-log/top.log:
dir-archives/var-log$ less top.log
===================================================================================================
Tue Jul 22 04:02:11 UTC 2025
top - 04:02:11 up 6 days, 13:57, 4 users, load average: 2.23, 2.42, 2.59
Tasks: 167 total, 2 running, 165 sleeping, 0 stopped, 0 zombie
%Cpu(s): 26.6 us, 7.8 sy, 1.6 ni, 64.1 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
MiB Mem : 7629.8 total, 2438.4 free, 4559.6 used, 631.8 buff/cache
MiB Swap: 5369.2 total, 3713.7 free, 1655.5 used. 2849.9 avail Mem
您可以檢查刀片正常運行時間:
> connect fxos
…
firewall# scope ssa
firewall /ssa # show slot detail expand
Slot:
Slot ID: 1
…
Blade Uptime: up 16 hours, 2 min
在機箱疑難排解檔案中,檢查opt/cisco/platform/logs/sysmgr/sam_logs/topout.log 檔案中的正常運行時間:
opt/cisco/platform/logs/sysmgr/sam_logs/topout.log $ less topout.log
[Jul 23 13:15:22]
top - 13:15:22 up 16:02, 1 user, load average: 12.24, 11.85, 11.75
機箱正常運行時間:
firewall /ssa # connect fxos
firewall(fxos)# show system uptime
System start time: Tue Jul 22 21:57:44 2025
System uptime: 6 days, 9 hours, 49 minutes, 50 seconds
Kernel uptime: 6 days, 9 hours, 45 minutes, 58 seconds
Active supervisor uptime: 6 days, 9 hours, 49 minutes, 50 seconds
安全模組正常運行時間:
firewall# scope ssa
firewall /ssa # show slot detail expand
Slot:
Slot ID: 1
…
Blade Uptime: up 5 days, 37 min
在機箱疑難排解檔案中,檢查檔案*_BC1_all/FPRM_A_TechSupport/sw_techsupportinfo中show system uptime命令的輸出,和檔案*_BC1_all/FPRM_A_TechSupport/sam_techsupportinfo 中show slot expand detail expand命令的輸出,其中*是疑難排解檔案名稱的一部分,例如20250311123356_ FWloc1_all。
本節介紹如何分析FTD messages 檔案(包含有關關閉、重新開機及潛在觸發器的日誌)。
在所有平台上運行的FTD
檔案包含與以下時間執行的FTD上的關閉、重新開機及其潛在觸發器相關的日誌:
可在以下位置訪問該檔案:
若要尋找關閉或重新啟動的觸發器,請檢查FTD疑難排解檔案中檔案訊息檔案中包含Defense的訊息。確保檢查所有messages檔案,包括messages.1、messages.2等。以下訊息清楚表示正常關機:
root@CSF1220-2:/ngfw/var/log# grep -a Defense /ngfw/var/log/messages
messages:Jul 22 21:07:10 firepower-1220 SF-IMS[36894]: [36894] S11audit-startup-shutdown:start [INFO] Cisco Secure Firewall 1220CX Threat Defense has started
messages:Jul 22 21:12:37 firepower-1220 SF-IMS[62594]: [62594] sensor:CLI Start [INFO] Starting Cisco Secure Firewall 1220CX Threat Defense
messages:Jul 22 21:13:03 firepower-1220 SF-IMS[65410]: [65410] S99sensor:CLI Start [INFO] Starting Cisco Secure Firewall 1220CX Threat Defense
messages:Jul 23 12:56:43 CSF1220-2 SF-IMS[61878]: [61878] K01sensor:CLI Stop [INFO] Stopping Cisco Secure Firewall 1220CX Threat Defense
messages:Jul 23 12:57:03 CSF1220-2 SF-IMS[62749]: [62749] K69audit-startup-shutdown:stop [INFO] Cisco Secure Firewall 1220CX Threat Defense is shutting down
messages:Jul 23 13:00:21 CSF1220-2 SF-IMS[10866]: [10866] S11audit-startup-shutdown:start [INFO] Cisco Secure Firewall 1220CX Threat Defense has started
messages:Jul 23 13:00:36 CSF1220-2 SF-IMS[13443]: [13443] S99sensor:CLI Start [INFO] Starting Cisco Secure Firewall 1220CX Threat Defense
root@1140-2:/ngfw/var/log# grep -a Defense /ngfw/var/log/messages
messages:Jul 22 09:20:42 FPR1140-2 SF-IMS[6012]: [6012] S11audit-startup-shutdown:start [INFO] Cisco Firepower 1140 Threat Defense has started
messages:Jul 22 09:21:35 FPR1140-2 SF-IMS[9050]: [9050] S99sensor:CLI Start [INFO] Starting Cisco Firepower 1140 Threat Defense
messages:Jul 22 11:32:37 FPR1140-2 SF-IMS[15129]: [15129] K01sensor:CLI Stop [INFO] Stopping Cisco Firepower 1140 Threat Defense
messages:Jul 22 11:32:55 FPR1140-2 SF-IMS[15940]: [15940] K69audit-startup-shutdown:stop [INFO] Cisco Firepower 1140 Threat Defense is shutting down
messages:Jul 22 11:36:38 FPR1140-2 SF-IMS[5980]: [5980] S11audit-startup-shutdown:start [INFO] Cisco Firepower 1140 Threat Defense has started
messages:Jul 22 11:36:53 FPR1140-2 SF-IMS[7594]: [7594] S99sensor:CLI Start [INFO] Starting Cisco Firepower 1140 Threat Defense
本節介紹對包含與作業系統核心相關的日誌的安全模組或機箱消息檔案的分析。
檔案包含與以下時間執行的FTD上的關閉、重新開機及其潛在觸發器相關的日誌:
可在以下位置訪問該檔案:
以下是有關此檔案中日誌的關鍵點:
因此,同一檔案中的不同日誌可以具有不同時區的不同時間戳。
考慮以下來自Firepower 4100安全模組的UTC+2時區示例:
2025-08-18T14:54:16+02:00 Firepower-module1/2 root: FXOS shutdown log started: pid = 52994 cmdline = /bin/sh/sbin/fxos_log_shutdown ####
2025-08-18T14:54:16+02:00 Firepower-module1/2 root: FXOS shutdown log completed: pid = 52994
2025-08-18T14:54:17+02:00 Firepower-module1/2 syslog-ng[1230]: syslog-ng shutting down; version='3.36.1' <--- syslog-ng shutting down indicates graceful shutdown
2025-08-18T12:57:11+00:00 intel-x86-64/1 syslog-ng[1237]: syslog-ng starting up; version='3.36.1' <--- syslog-ng start timestamp with UTC timezone
2025-08-18T12:57:11+00:00 intel-x86-64/1 kernel: [ 0.000000] Linux version 5.10.200-yocto-standard (oe-user@oe-host) (x86_64-wrs-linux-gcc (GCC) 10.3.0, GNU ld (GNU Binutils) 2.36.1.20210703) #1 SMP Fri Feb 7 01:00:00 UTC 2025
2025-08-18T12:57:11+00:00 intel-x86-64/1 kernel: [ 0.000000] Command line: rw console=ttyS0,38400 loglevel=2 auto kstack=128 reboot=force panic=1 ide_generic.probe_mask=0x1 ide1=noprobe pci=nocrs pci=realloc processor.max_cstate=1 iommu=pt nousb platform=sspxru boot_img=disk0:/fxos-lfbff-k8.2.16.0.136.SPA ciscodmasz=1048576 cisconrsvsz=1572864 hugepagesz=1g hugepages=12 pti=off rom_ver=1.3.1.44 ssp_mode=0
…
2025-08-18T12:58:34+00:00 intel-x86-64/1 csp-console: Adi not started yet, trying to bring up
2025-08-18T12:58:34+00:00 intel-x86-64/1 ssp_tz[12159]: INFO: Lina is started
2025-08-18T12:58:34+00:00 intel-x86-64/1 SMA: INFO ExecProcessorMain [140588852127296]: finished processing of sma_slot1.deletePlatformLicense, removed it from queue
2025-08-18T12:58:34+00:00 intel-x86-64/1 ssp_tz[12167]: INFO: notify TZ to ASA LINA <---- Time zone change was propagated to the firewall
2025-08-18T14:58:35+02:00 intel-x86-64/1 ssp_tz[12192]: INFO: successfully notified TZ to ASA LINA, wait <---- Logs with the UTC+2 timestamp
2025-08-18T14:58:36+02:00 intel-x86-64/1 csp-console: Adi not started yet, trying to bring up
2025-08-18T14:58:39+02:00 intel-x86-64/1 csp-console[1237]: Last message 'Adi not started yet,' repeated 1 times, suppressed by syslog-ng on intel-x86-64
本節介紹/opt/cisco/platform/logs/ssp-pm.log 檔案的分析,這些檔案包含與ASA/FTD應用程式關閉或重新啟動相關的日誌。
該檔案包含在上運行的ASA/FTD應用程式的關閉或重新啟動日誌:
該檔案只能在以下位置訪問:
要識別正常關機或重新啟動,請查詢與重新啟動/關機時間戳匹配的關機警告等行。確保檢查所有ssp-pm.log檔案,包括ssp-pm.log.1、ssp-pm.log.2等。以下訊息清楚表示正常關機:
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING: Beginning System Shutdown request for CSP Apps
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING:-GetShutdownMaxForceQuitTimer: acquiring max force_quit_timeout from all heimdall confs
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING: Upgrade process ready for reboot
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING:-GetShutdownMaxForceQuitTimer: No force_quit_timeout found among conf files. Sendsigs_Sleep = 1
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING: Continue System Shutdown request for CSP Apps
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING:-SysShutdown_HeimdallSvcDownAllCspApps: corresponding heimdall conf file folder:
cisco-asa.9.22.2.9__asa_001_JMX2324G1DJ947ECO1.conf
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING:-SysShutdown_HeimdallSvcDownAllCspApps: corresponding cspCfgXML file folder:
...cspCfg_cisco-asa.9.22.2.9__asa_001_JMX2324G1DJ947ECO1.xml.allocated_cpu_core
…
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING:-SysShutdown_HeimdallSvcDownAllCspApps: stopping all CSPs according to existing heimdall/etc/confs
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING:-SysShutdown_HeimdallSvcDownAllCspApps: Stopping App for CONF:cisco-asa.9.22.2.9__asa_001_JMX2324G1DJ947ECO1.conf
本節介紹/opt/cisco/platform/logs/ssp-shutdown.log 檔案的分析,這些檔案包含機箱/安全模組關閉或重新啟動時生成的日誌。
檔案包含下列內容的關閉或重新啟動日誌:
該檔案只能在以下位置訪問:
有關如何產生FTD、機箱和安全模組疑難排解檔案,請參閱https://www.cisco.com/c/en/us/support/docs/security/sourcefire-defense-center/117663-technote-SourceFire-00.html。
要查詢正常關機或重新啟動的觸發因素,請執行以下步驟:
#### Wed Jul 23 12:56:42 UTC 2025: FXOS shutdown started: pid = 61677 cmdline = /bin/sh/sbin/fxos_log_shutdown
root 61074 4593 2 12:56 ? 00:00:00 | \_ /usr/bin/perl /ngfw/usr/local/sf/bin/exec_perl.pl 068f09e6-3825-11ee-a72c-e78d34d303cc 192.0.2.100 068f09e6-3825-11ee-a72c-e78d34d303cc SF::System::
Privileged::RebootSystem
root 61097 61074 0 12:56 ? 00:00:00 | \_ /bin/sh /ngfw/usr/local/sf/bin/reboot.sh
root 61670 61097 0 12:56 ? 00:00:00 | \_ /bin/sh /sbin/shutdown -r now
root 61671 61670 0 12:56 ? 00:00:00 | \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root 61676 61671 0 12:56 ? 00:00:00 | \_ /usr/bin/timeout 15 /sbin/fxos_log_shutdown
root 61677 61676 0 12:56 ? 00:00:00 | \_ /bin/sh /sbin/fxos_log_shutdown
root 61685 61677 0 12:56 ? 00:00:00 | \_ /bin/ps -ef –forest
> show managers
Type : Manager
Host : 192.0.2.100
Display name : 192.0.2.100
Version : 7.6.1 (Build 291)
Identifier : 068f09e6-3825-11ee-a72c-e78d34d303cc
Registration : Completed
Management type : Configuration and analytics
範例2 — 由於軟體升級而重新開機:
root 2432 1 0 03:59 ? 00:00:00 /bin/bash /isan/bin/kp_reboot.sh Reboot requested for Software Upgrade
root 2694 2432 0 03:59 ? 00:00:00 \_ /bin/sh /isan/bin/sam_reboot.sh Reboot requested for Software Upgrade
root 3774 2694 0 04:00 ? 00:00:00 \_ /usr/bin/sudo /sbin/shutdown -r now Reboot requested for Software Upgrade
root 3777 3774 0 04:00 ? 00:00:00 \_ /bin/sh /sbin/shutdown -r now Reboot requested for Software Upgrade
root 3778 3777 0 04:00 ? 00:00:00 \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root 3783 3778 0 04:00 ? 00:00:00 \_ /usr/bin/timeout 15 /sbin/fxos_log_shutdown
root 3784 3783 0 04:00 ? 00:00:00 \_ /bin/sh /sbin/fxos_log_shutdown
root 3790 3784 0 04:00 ? 00:00:00 \_ /bin/ps -ef –forest
示例3 — 管理員使用者通過運行CLISH reboot命令請求重新啟動:
root 22189 1 0 Jul23 ? 00:00:01 sshd: /usr/sbin/sshd [listener] 0 of 10-100 startups
root 20963 22189 0 06:55 ? 00:00:00 \_ sshd: admin [priv]
admin 20970 20963 0 06:55 ? 00:00:00 | \_ sshd: admin@pts/0
admin 20975 20970 0 06:55 pts/0 00:00:00 | \_ /isan/bin/ucssh --ucs-mgmt -p admin -c connect ftd -z /home/admin
admin 21077 20975 0 06:55 pts/0 00:00:00 | \_ /ngfw/usr/bin/clish
admin 36022 21077 0 07:23 pts/0 00:00:00 | \_ /ngfw/usr/bin/clish
admin 36023 21077 0 07:23 pts/0 00:00:00 | \_ /bin/sh /tmp/klish.fifo.21077.1Hwyq1
admin 36024 36023 8 07:23 pts/0 00:00:01 | \_ /usr/bin/perl /usr/local/sf/bin/sfcli.pl reboot system
root 36083 36024 0 07:23 pts/0 00:00:00 | \_ /usr/bin/sudo /ngfw/usr/local/sf/bin/reboot.sh
root 36088 36083 0 07:23 pts/0 00:00:00 | \_ /bin/sh /usr/local/sf/bin/reboot.sh
root 36433 36088 0 07:23 pts/0 00:00:00 | \_ /bin/sh /sbin/shutdown -r now
root 36434 36433 0 07:23 pts/0 00:00:00 | \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root 36439 36434 0 07:23 pts/0 00:00:00 | \_ /usr/bin/timeout 15 /sbin/fxos_log_shutdown
root 36440 36439 0 07:23 pts/0 00:00:00 | \_ /bin/sh /sbin/fxos_log_shutdown
root 36448 36440 0 07:23 pts/0 00:00:00 | \_ /bin/ps -ef --forest
示例4 — 通過按一下電源按鈕觸發關閉。PBTN表示按物理電源按鈕。按電腦上的電源按鈕會觸發此事件。指令碼使用此事件來啟動關閉進程,通常是因為使用者希望安全地關閉防火牆:
root 1310 1 0 00:14 ? 00:00:00 /usr/sbin/acpid -c /etc/acpi/events
root 50700 1310 0 00:32 ? 00:00:00 \_ /bin/sh /etc/acpi/acpi_handler.sh button/power PBTN 00000080 00000000
root 50701 50700 0 00:32 ? 00:00:00 \_ /bin/sh /sbin/shutdown -h now
root 50702 50701 0 00:32 ? 00:00:00 \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root 50707 50702 0 00:32 ? 00:00:00 \_ /usr/bin/timeout 15 /sbin/fxos_log_shutdown
root 50708 50707 0 00:32 ? 00:00:00 \_ /bin/sh /sbin/fxos_log_shutdown
root 50715 50708 0 00:32 ? 00:00:00 \_ /bin/ps -ef –forest
示例5 — 內部npu_accel_mgr進程請求重新啟動:
root 12649 5280 0 13:59 ? 00:01:06 \_ npu_accel_mgr
root 19030 12649 0 18:22 ? 00:00:00 | \_ /bin/sh /sbin/shutdown -r now
root 19031 19030 0 18:22 ? 00:00:00 | \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root 19036 19031 0 18:22 ? 00:00:00 | \_ /usr/bin/ timeout 15 /sbin/fxos_log_shutdown
root 19037 19036 0 18:22 ? 00:00:00 | \_ /bin/sh /sbin/fxos_log_shutdown
root 19043 19037 0 18:22 ? 00:00:00 | \_ /bin/ps -ef –forest
示例6 — 內部poshd進程請求關閉:
root 643 1 0 13:00 ? 00:00:00 /usr/bin/poshd
root 13207 643 0 13:43 ? 00:00:00 \_ /bin/sh /sbin/shutdown -h -P now
root 13208 13207 0 13:43 ? 00:00:00 \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root 13213 13208 0 13:43 ? 00:00:00 \_ /usr/bin/timeout 15 /sbin/fxos_log_shutdown
root 13214 13213 0 13:43 ? 00:00:00 \_ /bin/sh /sbin/fxos_log_shutdown
root 13221 13214 0 13:43 ? 00:00:00 \_ /bin/ps -ef –forest
poshd負責在電源問題(通過電源按鈕或外部電源因素)時正常關閉裝置。
範例7 — 防火牆引擎Lina的狀態變更觸發重新開機,例如:
root 56833 56198 0 00:48 ? 00:00:00 | \_ /ngfw/usr/local/sf/bin/consoled /ngfw/var/run/lina.pid -coredump_filter=0x67 /ngfw/usr/local/asa/bin/lina_monitor -l
root 57003 56833 0 00:48 ? 00:00:00 | \_ /bin/sh /sbin/shutdown -r now
root 59448 57003 0 00:48 ? 00:00:00 | \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root 59453 59448 0 00:48 ? 00:00:00 | \_ /usr/bin/timeout 15 /sbin/fxos_log_shutdown
root 59454 59453 0 00:48 ? 00:00:00 | \_ /bin/sh /sbin/fxos_log_shutdown
root 59461 59454 0 00:48 ? 00:00:00 | \_ /bin/ps -ef –forest
本節介紹機箱重設原因的分析。在Firepower 4100/9300機箱上,重設原因只能通過以下方式訪問:
# connect fxos
(fxos)# show system reset-reason
在Firepower 1000、2100和安全防火牆1200、3100和4200上,重置原因僅在以下位置訪問:
有關如何產生FTD、機箱和安全模組疑難排解檔案,請參閱https://www.cisco.com/c/en/us/support/docs/security/sourcefire-defense-center/117663-technote-SourceFire-00.html。
要查詢Firepower 4100/9300以外的硬體平台的重置原因,請執行以下步驟:
|
重置原因 |
說明 |
|
加電 |
上次重置是由電源開啟事件引起的(交流電源重啟) |
|
LocalSoft |
上次重置是由本地軟體重置(軟體重置為CPU)引起的 |
|
FanFail |
風扇托架缺失或風扇故障檢測導致系統重新通電 |
|
RP-Reset |
此位表示軟體請求重新通電 |
|
BootRom升級 |
上次重置是由映像升級快閃記憶體重置引起的 |
|
BootRomUpgradeFail |
升級過程失敗 |
|
監視程式/PCH |
上一次重置是由FPGA中的監視器計時器超時引起的 |
|
手動 |
上次重置是由手動按鈕重置引起的 |
|
SwitchOff |
上次重置是由手動電源開關關閉引起的 |
|
無法恢復的錯誤 |
由CPU災難性錯誤訊號導致 |
|
ResetRequest |
上次重置是由斷言重置訊號的CPU引起的 這也可能由核心緊急狀態引起 當從CLISH、Lina或FMC手動觸發FTD重新開機時,也會顯示此原因 |
|
PowerCycleRequest |
上次重置/電源重啟是由CPU斷言任何休眠訊號引起的 |
要查詢Firepower 4100/9300的重置原因,請執行以下步驟:
FPR4115-2 # connect fxos
…
FPR4115-2(fxos)# show system reset-reason
----- reset reason for Supervisor-module 1 (from Supervisor in slot 1) ---
1) At 612806449 usecs after Tue Jul 22 23:50:33 2025
Reason: Reset Requested by CLI command reload
Service:
Version: 5.0(3)N2(4.141)
2) No time
Reason: Unknown
Service:
Version: 5.0(3)N2(4.141)
3) No time
Reason: Unknown
Service:
Version: 5.0(3)N2(4.141)
4) At 723697 usecs after Thu Oct 3 17:56:08 2024
Reason: Reset Requested by CLI command reload
Service:
Version: 5.0(3)N2(4.120)
此命令的輸出也可在機箱疑難排解檔案*_BC1_all/FPRM_A_TechSupport/sw_techsupportinfo中找到,其中*是疑難排解檔案名稱的一部分,例如20250311123356_ FW_BC1_all
# pwd
20250521112103_FPR9300_BC1_all/FPRM_A_TechSupport
# less sam_techsupportinfo
最常見的原因:
|
CLI命令reload請求重置 |
|
上次重置是由監視器超時引起的 |
|
由於致命系統錯誤而請求重置 |
|
由於致命模組錯誤而請求重置 |
|
因溫度感測器策略觸發而斷電 |
|
由於電壓不正常而重置 |
|
由於致命系統錯誤而請求重置 |
|
由於多個不可更正的ASIC記憶體錯誤而導致的重置。 |
|
由於核心宕機而重置 |
|
由於切換的HA策略觸發重置 |
|
核心重新引導請求 |
|
由於未知原因而重置 |
2.步驟1中沒有時間的Unknown原因通常表示突然斷電或電源裝置(PSU)問題。建議檢查外部斷電或配電裝置(PDU)問題的事件。
3.此外,請檢查show logging onboard internal reset-reason | no-more命令。此命令的輸出也可在機箱疑難排解檔案*_BC1_all/FPRM_A_TechSupport/sw_kernel_trace_log中獲取,其中*是疑難排解檔案名稱的一部分,例如20250311123356_ FW_BC1_all:
FPR4115-2 # connect fxos
…
KSEC-FPR4115-2(fxos)# show logging onboard internal reset-reason | no-more
----------------------------
OBFL Data for
Module: 1
----------------------------
Reset Reason for this card:
Image Version : 5.0(3)N2(4.141)
Reset Reason (SW): Unknown (0) at time Fri Jul 4 23:57:21 2025
Service (Additional Info):
Reset Reason (HW): FPGA reset code: 0x0001
FPGA Power-ON Reset at time Fri Jul 4 23:57:21 2025
本節介紹如何分析包含硬體錯誤或異常的檔案。
Firepower 1000、2100、安全防火牆1200、3100、4200、Firepower 4100/9300安全模組
相關檔案包括:
這些檔案可能包含以下項的硬體錯誤或異常日誌:
這些檔案只能在以下位置訪問:
硬體相關錯誤示例:
opt/cisco/config/var/logs/ $ less dmesg.log
[Sun Apr 27 05:17:10 2025] mce: [Hardware Error]: Machine check events logged
[Sun Apr 27 05:17:10 2025] mce: [Hardware Error]: Machine check events logged
/opt/cisco/platform/logs $ less messages
Jul 9 17:39:38 fw2 kernel: [ 628.949572] [Hardware Error]: Corrected error, no action required.
Jul 9 17:39:38 fw2 kernel: [ 629.023798] [Hardware Error]: CPU:2 (19:1:1) MC18_STATUS[Over|CE|MiscV|AddrV|-|-|SyndV|CECC|-|-|-]: 0xdc2040000000011b
Jul 9 17:39:38 fw2 kernel: [ 629.152245] [Hardware Error]: Error Addr: 0x0000000068d06d40
Jul 9 17:39:38 fw2 kernel: [ 629.152248] [Hardware Error]: PPIN: 0x02b0bc114ba60075
Jul 9 17:39:38 fw2 kernel: [ 629.281830] [Hardware Error]: IPID: 0x0000009600550f00, Syndrome: 0x000400040a801200
Jul 9 17:39:38 fw2 kernel: [ 629.374797] [Hardware Error]: Unified Memory Controller Ext. Error Code: 0, DRAM ECC error.
Jul 9 17:39:38 fw2 kernel: [ 629.475078] [Hardware Error]: cache level: L3/GEN, tx: GEN, mem-tx: RD
Jul 9 17:44:40 fw2 kernel: [ 930.967028] [Hardware Error]: Corrected error, no action required.
Jul 9 17:44:40 fw2 kernel: [ 931.041247] [Hardware Error]: CPU:2 (19:1:1) MC18_STATUS[Over|CE|MiscV|AddrV|-|-|SyndV|CECC|-|-|-]: 0xdc2040000000011b
Jul 9 17:44:40 fw2 kernel: [ 931.169689] [Hardware Error]: Error Addr: 0x000000007191d0c0
Jul 9 17:44:40 fw2 kernel: [ 931.237616] [Hardware Error]: PPIN: 0x02b0bc114ba60075
Jul 9 17:44:40 fw2 kernel: [ 931.299275] [Hardware Error]: IPID: 0x0000009600550f00, Syndrome: 0x000040000a801100
/opt/cisco/platform/logs $ less mce.log
Hardware event. This is not a software error.
MCE 0
CPU 0 BANK 7 TSC 7b29f624ae62e
MISC 140129286 ADDR 3402b9a00
TIME 1745747035 Sun Apr 27 09:43:55 2025
MCG status:
MCi status:
Corrected error
MCi_MISC register valid
MCi_ADDR register valid
MCA: MEMORY CONTROLLER RD_CHANNEL0_ERR
Transaction: Memory read error
STATUS 8c00004000010090 MCGSTATUS 0
MCGCAP 1000c16 APICID 0 SOCKETID 0
PPIN afeebaf20487b95
MICROCODE 700000d
CPUID Vendor Intel Family 6 Model 86 Step 3
mcelog: failed to prefill DIMM database from DMI data
Firepower 4100/9300安全模組上的災難性錯誤(CATERR)
CATERR是處理器斷言的異常。CATERR可能表示CPU崩潰或使刀片無法訪問的底層問題。機箱管理引擎重新啟動遇到過CATERR的安全模組。CATERR日誌位於Firepower 4100/9300故障排除檔案內,位於CIMC<X>_TechSupport/obfl/和CIMC<X>_TechSupport/var/log/sel中,<X>代表模組編號。
機箱疑難排解檔案範例*_BC1_all/CIMC<X>_TechSupport.tar.gz/CIMC<X>_TechSupport.tar/obfl/obfl-log,其中*是疑難排解檔案名稱的一部分,例如20250311123356_ FW_BC1_all,<X >是安全模組ID:
2022 Mar 25 22:33:13 CET:4.1(30b):selparser:1950: selparser.c:727: # BF 06 00 00 01 02 00 00 19 35 3E 62 20 00 04 07 81 00 00 00 04 01 FF FF # 6bf | 03/25/2022 22:33:13 CET | CIMC | Processor CATERR_N #0x81 | Predictive Failure asserted | Asserted
當前資料管理引擎(DME)記錄在*_BC1_all/FPRM_A_TechSupport.tar.gz\FPRM_A_TechSupport.tar\var\sysmgr\sam_logs\svc_sam_dme.log*中,或記錄在*_BC1_all/FPRM_A_TechSupport.tar.gz/FPRM_A_TechSupport.tar/opt/sam_logs.tgz/sam_logs.tar/sam_logs/svc_sam_dme.log*中,包含因CATERR而重啟刀片X的行,其中X是刀片ID。
在CATERR的情況下,可以生成故障轉儲。故障轉儲位於*_BC1_all/CIMC<X>_TechSupport.tar.gz/CIMC<X>_TechSupport.tar/techsupport_pidxxxx/nv/etc/log/eng-repo/caterrlog.first中。
示例內容:
CRASH DUMP START TIME = Mon Dec 19 00:42:40 2022
SERVER: presidio
GetCpuID: CPUID = 0x00050654
PresidioCatErrHandler: CPU TYPE : Skylake
handleCaterr_Purley: ---
PECI BUS : LOCKED
CPU Socket 1 : Populated
CPU Socket 2 : Populated
Stage1Dump: ---
MC0: IFU - Instruction Fetch Unit and Instruction Cache
CPU1 (0x30): ThreadID 0 : IA32_MC0_CTL (0x400) : 0x0000000000000fff
CPU1 (0x30): ThreadID 0 : IA32_MC0_STATUS (0x401) : 0x0000000000000000
CPU1 (0x30): ThreadID 0 : IA32_MC0_ADDR (0x402) : 0x0000000000000000
本節介紹對包含平台日誌的檔案的分析。根據硬體的不同,其中一些檔案可能包含與由特定元件觸發的重新啟動相關的日誌。
Firepower 1000、2100、安全防火牆1200、3100、4200、Firepower 4100/9300安全模組
這些檔案包含下列專案的機箱日誌:
這些檔案只能在以下位置訪問:
若要尋找與重新開機相關的潛在日誌,請搜尋包含關鍵字(例如reboot、restart、power、shut、reload)的行。請注意,這是盡力而為的方法,因為搜尋的結果可能會返回大量相符的行。使用者必須分析匹配行。
範例 1:
admin@firewall:/opt/cisco/platform/logs$ grep -Ei "power|reboot|reload|restart|shut" *
...
npu_accel_fatal_err_stats.log:nic_top_inb_q_restart_drop_cnt = 0
npu_accel_fatal_err_stats.log:nic_top_norm_q_restart_drop_cnt = 0
npu_accel_fatal_err_stats.log:nic_top_inb_q_restart_drop_cnt = 0
npu_accel_mgr.log:2025 Oct 03 14:29:16 NPU ACCEL MGR: FATAL - NPU Accelerator FAILED - REBOOTING the device !!
npu_accel_mgr.log:2025 Oct 09 18:13:09 NPU ACCEL MGR: FATAL - NPU Accelerator FAILED - REBOOTING the device !!
npu_accel_mgr.log:2025 Oct 17 17:11:23 NPU ACCEL MGR: FATAL - NPU Accelerator FAILED - REBOOTING the device !!
npu_accel_mgr.log:2025 Oct 17 17:31:55 NPU ACCEL MGR: FATAL - NPU Accelerator FAILED - REBOOTING the device !!
npu_accel_mgr.log:2025 Oct 17 19:29:29 NPU ACCEL MGR: FATAL - NPU Accelerator FAILED - REBOOTING the device !!
ntp.log:27 Sep 02:21:16 ntpd[1580]: 0.0.0.0 c016 06 restart
ntp.log:27 Sep 02:23:27 ntpd[10193]: 0.0.0.0 c016 06 restart
...
在這種情況下,由於安全防火牆4200的網路處理單元(NPU)加速器故障,重新啟動被觸發。
本節介紹對Firepower 4100/9300安全模組上包含安全事件日誌(SEL)和板載故障日誌(OBFL)的檔案進行的分析。
這些檔案包含模組硬體事件和電源狀態更改,並且位於Firepower 4100/9300故障排除檔案的CIMC<X>_TechSupport/obfl/和CIMC<X>_TechSupport/var/log/sel中,<X>代表模組編號。
查詢具有不區分大小寫的stop、shutdown、power off、reset、critical的線路。
範例 1:
2023 Sep 21 13:53:13:4.1(30b):cipmi:1088: [[xxxCVxxx]]:oem_command.c:457:IPMI Request Message --> Chan:15, Netfn:0x04, Cmd:0x02, Data: 0x41 0x03 0x20 0x46 0x6f 0xa1 0x61 0x74, CC:0x00
2023 Sep 21 13:53:13:4.1(30b):selparser:1203: [[xxxCVxxx]]:selparser.c:727: # A9 04 00 00 01 02 00 00 49 DA 0B 65 41 F0 04 20 46 00 00 00 6F A1 61 74 # 4a9 | 09/21/2023 13:53:13 AWST | System Mgmt Software | OS stop/shutdown #0x46 | Run-time critical stop | | Asserted
2023 Sep 21 13:53:14:4.1(30b):cipmi:1088: peci.c:278:Error: Failed to read local PCI config after 3 retries! Completion Code error [PECI Dev=0x30,Resp=0x00,CC=0x80] Request Details: [pci_bus=0x02,pci_dev=0x0a,pci_fxn=0x03,pci_reg=0x104,length=0x04]
2023 Sep 21 13:53:15:4.1(30b):kernel:-:<5>[platform_reset_cb_handler]:75:Platform Reset ISR -> ResetState: 1
2023 Sep 21 13:53:15:4.1(30b):cipmi:1088: ocmds_intel_me.c:251:Intel ME Operating State:[M0 without UMA](5)
2023 Sep 21 13:53:15:4.1(30b):cipmi:1088: ocmds_intel_me.c:261:Intel ME is initializing.
示例2 — 作業系統級別關閉:
2025 Jul 30 23:31:02 UTC:4.1(30b):cipmi:1052: [[xxxCVxxx]]:oem_command.c:457:IPMI Request Message --> Chan:15, Netfn:0x04, Cmd:0x02, Data: 0x41 0x03 0x20 0x46 0x6f 0xa1 0x61 0x74, CC:0x00
2025 Jul 30 23:31:02 UTC:4.1(30b):selparser:1169: [[xxxCVxxx]]:selparser.c:727: # 48 03 00 00 01 02 00 00 36 AB 8A 68 41 F0 04 20 46 00 00 00 6F A1 61 74 # 348 | 07/30/2025 23:31:02 UTC | System Mgmt Software | OS stop/shutdown #0x46 | Run-time critical stop | | Asserted
2025 Jul 30 23:31:04 UTC:4.1(30b):kernel:-:<5>[platform_reset_cb_handler]:75:Platform Reset ISR -> ResetState: 1
2025 Jul 30 23:31:05 UTC:4.1(30b):kernel:-:<4>[peci_ioctl]:293:non-responsive controller, resetting peci. process = qpi_logger.
2025 Jul 30 23:31:05 UTC:4.1(30b):cipmi:1052: ocmds_intel_me.c:251:Intel ME Operating State:[M0 without UMA](5)
2025 Jul 30 23:31:05 UTC:4.1(30b):cipmi:1052: ocmds_intel_me.c:261:Intel ME is initializing.
2025 Jul 30 23:31:05 UTC:4.1(30b):information_logger:589: uptime.c:1219:Host Transition Ocurred. Event Count: 146. New state is "Power Off".
示例3 — 底板管理控制器由於監視器而重置:
2025 Jun 14 07:44:50 CDT:4.1(30b):kernel:-:<3>[watchdog_init]:487:BMC Watchdog resetted BMC.
2025 Jun 14 07:44:50 CDT:4.1(30b):kernel:-:<3>[watchdog_init]:489:BMC Watchdog System Bus Debug Status Registers: 0x0 and0x0
2025 Jun 14 07:44:50 CDT:4.1(30b):kernel:-:<3>[watchdog_init]:523:BMC Watchdog resetted BMC due to OOM.
本節介紹ASAConsole.log檔案的分析,此類檔案包含來自Lina引擎的日誌,可以檢查是否有軟體回溯或重新啟動的跡象。
該檔案包含在虛擬平台、Firepower 1000、2100和安全防火牆1200、3100、4200以及Firepower 4100和9300安全模組(不是機箱)上運行的ASA/FTD的關閉或重新啟動日誌
該檔案只能在以下位置訪問:
回溯和生成核心檔案的症狀:
root@KSEC-CSF1210-6:/ngfw/var/log# less ASAconsole.log
2025-08-09 01:06:11 /bin/grep: (standard input): Resource temporarily unavailable
2025-08-09 01:06:11 /bin/grep: (standard input): Resource temporarily unavailable
2025-08-09 01:06:11 /bin/grep: (standard input): Resource temporarily unavailable
2025-08-09 01:06:35 !! !! First Crash in tid: 14834 signo: 11
2025-08-09 01:06:35
2025-08-09 01:06:35 Writing live core file to flash. Please do not reload.
2025-08-09 01:06:35
2025-08-09 01:06:35 Coredump starting....
2025-08-09 01:06:35 Corehelper: /opt/cisco/csp/cores/core.lina.11.14550.1754701595
2025-08-09 01:06:35 Waiting for Corehelper to finish....
2025-08-09 01:06:35 Livecore: generating coredump of 14550
2025-08-09 01:06:35 [New LWP 14795]
2025-08-09 01:06:35 [New LWP 14796]
2025-08-09 01:06:35 [New LWP 14834]
2025-08-09 01:06:35 [New LWP 14835]
2025-08-09 01:06:35 [New LWP 14836]
2025-08-09 01:06:35 [New LWP 14869]
2025-08-09 01:06:35 [New LWP 14934]
2025-08-09 01:06:35 [New LWP 14939]
2025-08-09 01:06:35 [New LWP 14940]
2025-08-09 01:06:35 [New LWP 14941]
2025-08-09 01:06:35 [New LWP 14942]
2025-08-09 01:06:35 [New LWP 14943]
2025-08-09 01:06:35 [New LWP 14945]
2025-08-09 01:06:35 [New LWP 14947]
2025-08-09 01:06:35 [New LWP 14948]
Lina引擎啟動故障現象,請注意日誌時間戳中的間隙:
root@KSEC-CSF1210-6:/ngfw/var/log# less ASAconsole.log
2024-11-13 22:43:09 INFO: SW-DRBG health test passed.
2024-11-13 22:43:09 M_MMAP_THRESHOLD 65536, M_MMAP_MAX 82155
2024-11-13 22:43:10 /bin/grep: (standard input): Resource temporarily unavailable
2024-11-13 22:43:10 /bin/grep: (standard input): Resource temporarily unavailable
2024-11-13 22:43:10 /bin/grep: (standard input): Resource temporarily unavailable
2024-11-13 22:43:10 /bin/grep: (standard input): Resource temporarily unavailable
2024-11-13 22:43:10 User enable_1 logged in to firepower
2024-11-13 22:43:10 Logins over the last 1 days: 1.
2024-11-13 22:43:10 Failed logins since the last login: 0.
2024-11-13 22:43:10 Type help or '?' for a list of available commands.
2024-11-13 22:43:10 ^Mfirepower>
2025-04-04 09:11:46 System Cores 8 Nodes 1 Max Cores 24
2025-04-04 09:11:46 Number of Cores 3
2025-04-04 09:11:46 IO Memory Nodes: 1
2025-04-04 09:11:46 IO Memory Per Node: 1073741824 bytes num_pages = 262144 page_size = 4096
2025-04-04 09:11:46
2025-04-04 09:11:46 Global Reserve Memory Per Node: 2147483648 bytes Nodes=1
2025-04-04 09:11:46
2025-04-04 09:11:46 LCMB: got DMA 1073741824 bytes on numa-id=0, phys=0x00000001c0000000, virt=0x0000400040000000
2025-04-04 09:11:46 LCMB: HEAP-CACHE POOL got 2147483648 bytes on numa-id=0, virt=0x0000400080000000
2025-04-04 09:11:46
2025-04-04 09:11:46 total_reserved_mem = 1073741824
2025-04-04 09:11:46
2025-04-04 09:11:46 total_heapcache_mem = 2147483648
2025-04-04 09:11:46 total mem 5384115842 system 16318316544 kernel 21847377 image 85732792
2025-04-04 09:11:46 new 5384115842 old 1159474616 reserve 3221225472 priv new 2184737747 priv old 0
2025-04-04 09:11:46 Processor memory: 5384115842
2025-04-04 09:11:46 POST started...
2025-04-04 09:11:46 POST finished, result is 0 (hint: 1 means it failed)
2025-04-04 09:11:46
2025-04-04 09:11:46 Cisco Adaptive Security Appliance Software Version 9.22(1)1
如果作為分析機箱重置原因部分找到如下重置原因,請繼續本節內容:
No time
Reason: Unknown
Service:
Version:
以下一個或多個原因可能表明存在潛在問題:
請繼續執行以下步驟:
scope chassis 1
show psu detail expand
scope psu 1
show stats history psu-stats detail expand
show stats psu-stats detail expand
exit
scope psu 2
show stats history psu-stats detail expand
show stats psu-stats detail expand
| 修訂 | 發佈日期 | 意見 |
|---|---|---|
5.0 |
25-Nov-2025
|
再次卸下內部盒。 |
4.0 |
25-Nov-2025
|
拆下了一個內部盒子。 |
3.0 |
12-Nov-2025
|
新增了排除意外重新啟動問題的其他步驟。 |
2.0 |
24-May-2024
|
已更新簡介部分,以滿足思科風格指南長度要求。無謂的詞語。 |
1.0 |
31-Jan-2022
|
初始版本 |
意見