Risoluzione dei problemi relativi al riavvio imprevisto di Secure Firewall/Firepower

Introduzione

In questo documento viene descritto come risolvere i problemi relativi a ricaricamenti imprevisti di firewall Secure Firewall/Firepower.

Prerequisiti

Requisiti

Conoscenze base dei prodotti.

Componenti usati

Le informazioni discusse in questo documento fanno riferimento a dispositivi usati in uno specifico ambiente di emulazione. Su tutti i dispositivi menzionati nel documento la configurazione è stata ripristinata ai valori predefiniti. Se la rete è operativa, valutare attentamente eventuali conseguenze derivanti dall'uso dei comandi.

Le informazioni fornite in questo documento si basano sulle seguenti versioni software e hardware:

• Secure Firewall 1200, 3100, 4200
• Firepower 1000, 4100, 9300
• Cisco Secure eXtensible Operating System (FXOS) 2.16(0.136)
• Cisco Secure Firewall Threat Defense (FTD) 7.6.1.291
• Cisco Secure Firewall Management Center (FMC) 7.6.1.291
• Adaptive Security Appliance (ASA) 9.2.2.9

Premesse

In questo documento, "reboot", "reload" e "restart" sono usati indifferentemente. Dal punto di vista dell'utente, un riavvio imprevisto può essere definito approssimativamente come qualsiasi riavvio, ad eccezione dei casi noti, documentati o previsti:

1. Riavviare il sistema in seguito all'installazione o agli aggiornamenti del software.
2. Riavvio causato da azioni attivate dall'utente, ad esempio il riavvio dall'interfaccia della riga di comando (CLI) o dall'interfaccia utente grafica (UI) o azioni manuali di spegnimento/accensione.

A seconda del trigger, il riavvio può essere di tipo grazioso o non graceful:

1. Per riavvio corretto si intende in genere il riavvio di un sistema, di un dispositivo o di un servizio in modo da consentire il corretto completamento di tutti i processi correnti e il salvataggio di tutti i file o i dati prima del riavvio. Ciò consente di evitare la perdita o il danneggiamento dei dati. Esempi di riavvio automatico:
   • Riavviare il sistema in seguito all'installazione o agli aggiornamenti del software.
   • Riavvii dovuti ad azioni attivate dall'utente, ad esempio il riavvio dall'interfaccia della riga di comando (CLI) o dall'interfaccia utente grafica (UI).
   • In alcuni casi, il traceback del software.

2. Un riavvio irregolare è l'opposto di un riavvio regolare, quando il sistema viene riavviato in modo anomalo, ovvero senza terminazione regolare dei processi. Riavvii impropri possono causare la perdita o il danneggiamento dei dati. Esempi di trigger includono:
   • Spegnere e riaccendere accidentalmente scollegando tutti i cavi di alimentazione o accendendo il pulsante di alimentazione.
   • Carenza di alimentazione, problemi nelle unità di alimentazione dello chassis.
   • Vari problemi di hardware, FPGA, ambientali e così via, che causano un riavvio brusco.

Cause comuni del riavvio:

• Azioni eseguite dagli utenti dalla CLI o dall'interfaccia utente di gestione.
• Aggiornamenti o downgrade del software.
• Traceback del software.
• Attivazione da parte di processi critici del sistema operativo/sistema per motivi diversi dal traceback nel software.
• Problemi hardware quali unità SSD danneggiate, errori di memoria, eccezioni nella CPU, FPGA interna e così via.
• Problemi ambientali, ad esempio perdita di corrente, surriscaldamento e così via.
• Difetti software o altri problemi nei componenti di terze parti.
• Utilizzo elevato dello spazio su disco.

Nelle piattaforme basate su chassis, è importante considerare l'ambito del riavvio, in particolare ciò che è stato esattamente riavviato:

• l'applicazione ASA/FTD,
• il modulo di sicurezza (Firepower 4100/9300)
• lo chassis.

Il comportamento predefinito include:

1. Se viene attivato un riavvio su FTD in esecuzione in modalità nativa, o su ASA su Firepower 1000/2100 o Secure Firewall 3100/4200, anche lo chassis viene riavviato.
2. Se viene attivato un riavvio su FTD in esecuzione in modalità nativa o su ASA con moduli di sicurezza Firepower 4100/9300, anche il modulo di sicurezza viene riavviato. Lo chassis non viene influenzato.
3. Se viene attivato un riavvio nella modalità multi-istanza FTD sui moduli di sicurezza Firepower 4100/9300, solo l'istanza viene riavviata, il modulo di sicurezza e lo chassis non sono interessati.
4. Se viene attivato un riavvio nella modalità multi-istanza FTD su Secure Firewall 3100 e 4200, solo l'istanza viene riavviata, lo chassis non viene influenzato.
5. Il riavvio sui moduli di sicurezza Firepower 4100/9300 comporta anche il riavvio di tutte le applicazioni in esecuzione sui moduli interessati, indipendentemente dalla modalità nativa a più istanze.
6. Il riavvio sullo chassis riavvia anche tutti i moduli di sicurezza e tutte le applicazioni.

La terminazione di alcuni processi critici, con o senza grazia, può causare il riavvio del sistema. Ad esempio:

• Se il processo data plane, noto anche come lina, termina a causa del traceback, il firewall viene riavviato. L'eccezione è la versione software con la funzione "Data plane quick reload" introdotta in ASA 9.20(x) e FTD 7.4.1 per piattaforme specifiche.
• Se Gestione processi pm termina, il firewall viene riavviato.

Flusso di lavoro di risoluzione dei problemi

Eseguire il flusso di lavoro di risoluzione dei problemi che fa riferimento alle fasi di risoluzione dei problemi:

Procedura di risoluzione dei problemi

1. Prendere nota dell'indicatore orario dell'evento nel modo più preciso possibile, assicurandosi di considerare il fuso orario.
2. Verificare l'hardware esatto, il tipo di software firewall sicuro (ASA o FTD), la versione del software e la modalità di distribuzione (modalità nativa o a più istanze). Per ulteriori informazioni, fare riferimento a Verifica delle versioni del software Firepower e Verifica della configurazione di Firepower, istanza, disponibilità e scalabilità.

3. Fare riferimento alla sezione Analisi dell'uptime per correlare il tempo di attività dell'applicazione ASA/FTD, del modulo di sicurezza (solo Firepower 4100/9300) e dello chassis. L'obiettivo è chiarire l'ambito del riavvio: l'applicazione, il modulo di sicurezza o lo chassis.
4. Se lo chassis è stato riavviato, procedere come segue:

Firepower 1000, 2100, Secure Firewall 1200, 3100 e 4200 con FTD in modalità nativa o con ASA in esecuzione

4.1. Controllare la sezione Analisi dei file dei messaggi FTD (solo FTD).

4.2. Controllare la sezione Analyze ssp-pm.log Files.

4.3. Controllare la sezione Analyze ssp-shutdown.log Files.

4.4. Controllare la sezione Analyze ASA/FTD Console logs.

4.5. Procedere con i passaggi descritti in Raccolta dei dati per l'analisi della causa principale del software Traceback/Crash in Secure Firewall per la verifica dei sintomi del software Traceback e della raccolta dei dati.

4.6. Controllare la sezione Analizza motivi ripristino chassis.

4.7. Controllare la sezione Analisi errori hardware o eccezioni.

4.8. Controllare la sezione Analizza file di registro della piattaforma.

Secure Firewall 3100, 4200 con FTD in esecuzione in modalità contenitore

4.9. Controllare la sezione Analyze ssp-pm.log Files.

4.10. Controllare la sezione Analyze ssp-shutdown.log Files.

4.11. Procedere con i passaggi descritti in Raccolta dei dati per l'analisi della causa principale del software Traceback/Crash in Secure Firewall per la verifica dei sintomi del software Traceback e della raccolta dei dati.

4.12. Controllare la sezione Analizza motivi ripristino chassis.

4.13. Controllare la sezione Analisi errori hardware o eccezioni.

4.14. Controllare la sezione Analizza file di registro della piattaforma.

Firepower 4100/9300

4.15. Controllare la sezione Analizza motivi ripristino chassis.

4.16. Procedere con i passaggi descritti in Raccolta dei dati per l'analisi della causa principale del software Traceback/Crash in Secure Firewall per la verifica dei sintomi del software Traceback e della raccolta dei dati.

Piattaforme virtuali con FTD

4.17. Controllare la sezione Analisi dei file dei messaggi FTD.

4.18. Controllare la sezione Analyze ASA/FTD Console logs.

4.19. Procedere con i passaggi descritti in Raccolta dei dati per l'analisi della causa principale del software Traceback/Crash in Secure Firewall per verificare i sintomi del software traceback e per la raccolta dei dati.

5. Se nella sezione Analizza motivi di ripristino chassis vengono individuati motivi di ripristino come questi, vedere la sezione Analisi dei problemi di tensione e alimentazione:

• Accensione
• RichiestaCicloPower
• Ripristino a causa di tensione non valida 
• Non c'è tempo (motivo: Sconosciuto)

6. Se il riavvio dello chassis è ricorrente, raccogliere i registri della console.

7. Attenersi alla seguente procedura per Firepower 4100/9300 se il modulo di sicurezza è stato riavviato:

Modulo di sicurezza Firepower 4100/9300 con FTD in modalità nativa o ASA in esecuzione

7.1. Controllare la sezione Analisi dei file dei messaggi FTD (solo FTD).

7.2. Controllare la sezione Analyze ssp-pm.log Files.

7.3. Controllare la sezione Analyze ssp-shutdown.log Files.

7.4. Controllare la sezione Analyze ASA/FTD Console logs (Analizza registri console ASA/FTD).

7.5. Procedere con i passaggi descritti in Raccolta dei dati per l'analisi della causa principale del software Traceback/Crash in Secure Firewall per verificare i sintomi del software traceback e per la raccolta dei dati.

7.6. Controllare la sezione Analisi errori hardware o eccezioni.

7.7. Controllare la sezione Analizza file SEL/OBFL.

7.8. Controllare la sezione Analizza file di registro della piattaforma.

Modulo di sicurezza Firepower 4100/9300 con FTD in modalità contenitore

7.9.  Controllare la sezione Analyze ssp-pm.log Files.

7.10. Controllare la sezione Analyze ssp-shutdown.log Files.

7.11. Procedere con i passaggi descritti in Raccolta dei dati per l'analisi della causa principale del software Traceback/Crash in Secure Firewall per verificare i sintomi del software traceback e per la raccolta dei dati.

7.12. Controllare la sezione Analisi errori hardware o eccezioni.

7.13. Controllare la sezione Analyze SEL/OBFL Files.

7.14. Controllare la sezione Analizza file di registro della piattaforma.

8. Procedere come segue se un FTD a più istanze in esecuzione su Firepower 4100, 9300 o Secure Firewall 3100, 4200 è stato riavviato, ma né lo chassis né il modulo di sicurezza Firepower 4100 e 9300 sono stati riavviati:

8.1. Controllare la sezione Analisi dei file dei messaggi FTD.

8.2. Controllare la sezione Analyze ssp-pm.log Files.

8.3. Controllare la sezione Analyze ssp-shutdown.log Files.

8.4. Controllare la sezione Analyze ASA/FTD Console logs (Analizza registri console ASA/FTD).

8.5. Procedere con i passaggi descritti in Raccolta dei dati per l'analisi della causa principale del software Traceback/Crash in Secure Firewall per verificare i sintomi del software traceback e per la raccolta dei dati.

9. Se ci sono segnali di riavvio dovuti al traceback del software, aprire una richiesta TAC e fornire i dati raccolti.

10. Cerca difetti del software con le parole chiave imprevisto, riavvio, alimentazione, ricaricamento, riavvio, invisibile all'utente:

Se viene rilevato un difetto corrispondente:

• Assicurarsi che i sintomi e le condizioni corrispondano a quelli descritti nel difetto.
• Applicare la soluzione alternativa, se disponibile.
• Eseguire l'aggiornamento alla versione fissa, se disponibile.

11. Esaminare la sezione Raccolta dati e aprire una richiesta TAC.

Analisi dei tempi di attività

L'obiettivo di questa sezione è controllare il tempo di attività dell'applicazione ASA/FTD, il modulo di sicurezza (solo Firepower 4100/9300) e lo chassis.

1. Verificare l'uptime del motore del firewall utilizzando il comando show version sull'appliance ASA e il comando show version system sull'FTD:

> show version system
---------------[ firewall-FTD ]---------------
Model                     : Cisco Firepower 4112 Threat Defense (76) Version 7.6.1 (Build 291)
UUID                      : e9460e12-674c-11f0-97e5-d5ad3617d287
LSP version               : lsp-rel-20241211-1948
VDB version               : 408
---------------------------------------------------

Cisco Adaptive Security Appliance Software Version 9.22(1)21
SSP Operating System Version 2.16(0.3007)

Compiled on Thu 29-May-25 01:38 GMT by fpbesprd
System image file is "disk0:/fxos-lfbff-k8.2.16.0.136.SPA"

Config file at boot was "startup-config"

firewall-FTD up 5 days 0 hours

Nel file di risoluzione dei problemi FTD, controllare il file command-outputs/'usr-local-sf-bin-sfcli.pl show_tech_support asa_lina_cli_util.output':

/command-outputs$ less 'usr-local-sf-bin-sfcli.pl show_tech_support asa_lina_cli_util.output'
…
firewall-FTD up 5 days 0 hours
…

Per l'appliance ASA, controllare il tempo di attività nel file show-tech.

2. IFo FTD in esecuzione in modalità nativa su piattaforme virtuali, Firepower 1000, 2100, Secure Firewall 1200, 3100 e 4200, controllare il tempo di attività del sistema operativo (giorni, ore e minuti) in modalità Expert.  In questo caso, il tempo di attività dello chassis è all'incirca lo stesso del tempo di attività del sistema operativo:

> expert
admin@firepower:/ngfw/Volume/home/admin$ uptime
 06:30:40 up 6 days,  8:01,  1 user,  load average: 5.14, 5.45, 5.48

Nel file di risoluzione dei problemi FTD, controllare il file dir-archives/var-log/top.log:

dir-archives/var-log$ less top.log
===================================================================================================

Tue Jul 22 04:02:11 UTC 2025

top - 04:02:11 up 6 days, 13:57,  4 users,  load average: 2.23, 2.42, 2.59
Tasks: 167 total,   2 running, 165 sleeping,   0 stopped,   0 zombie
%Cpu(s): 26.6 us,  7.8 sy,  1.6 ni, 64.1 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
MiB Mem :   7629.8 total,   2438.4 free,   4559.6 used,    631.8 buff/cache
MiB Swap:   5369.2 total,   3713.7 free,   1655.5 used.   2849.9 avail Mem

3. Per FTD in modalità multi-istanza su Secure Firewall 3100 o 4200 e ASA in esecuzione su Firepower 1000, 2100, Secure Firewall 1200, 3100 e 4200, non è disponibile alcun comando per controllare il tempo di attività dello chassis.

È possibile verificare il tempo di attività del blade:

> connect fxos
…
firewall# scope ssa
firewall /ssa # show slot detail expand

Slot:
    Slot ID: 1
    …
        Blade Uptime: up 16 hours, 2 min       

Nel file di risoluzione dei problemi dello chassis, verificare il tempo di attività nel file opt/cisco/platform/logs/sysmgr/sam_logs/topout.log:

opt/cisco/platform/logs/sysmgr/sam_logs/topout.log $ less topout.log
[Jul 23 13:15:22]
top - 13:15:22 up 16:02,  1 user,  load average: 12.24, 11.85, 11.75

4. Nel caso di Firepower 4100/9300, controllare il tempo di attività dello chassis e del modulo di sicurezza nella CLI di FXOS.

Tempo di attività dello chassis:

firewall /ssa # connect fxos
firewall(fxos)# show system uptime
System start time:          Tue Jul 22 21:57:44 2025
System uptime:              6 days, 9 hours, 49 minutes, 50 seconds
Kernel uptime:              6 days, 9 hours, 45 minutes, 58 seconds
Active supervisor uptime:   6 days, 9 hours, 49 minutes, 50 seconds

Tempo di attività del modulo di sicurezza:

firewall# scope ssa
firewall /ssa # show slot detail expand
Slot:
    Slot ID: 1
    …
        Blade Uptime: up 5 days, 37 min       

Nel file di risoluzione dei problemi relativi allo chassis, controllare gli output del comando show system uptime nel file *_BC1_all/FPRM_A_TechSupport/sw_techsupportinfo e del comando show slot expand detail expand nel file *_BC1_all/FPRM_A_TechSupport/sam_techsupportinfo dove* è la parte del nome del file di risoluzione dei problemi, ad esempio, 20250311123356_ FW_BC1_all.

Analizza i file dei messaggi FTD

Questa sezione descrive l'analisi del file dei messaggi FTD che contiene i log relativi a shutdown, reboot e potenziali trigger.

FTD in esecuzione su tutte le piattaforme

Il file contiene i log relativi a shutdown, reboot e i loro potenziali trigger su FTD in esecuzione su:

• Piattaforme virtuali, chassis Firepower 1000, 2100 e Secure Firewall 1200, 3100 e 4200.
• Moduli di sicurezza Firepower 4100 e 9300.

Il file è accessibile in:

• FTD CLISH in modalità Expert: /ngfw/var/log/messages
• File di risoluzione dei problemi FTD: dir-archives/var-log/messages

Per trovare l'innesco di arresti o riavvii, controllare i messaggi contenenti Defense in file messages file all'interno dei file di risoluzione dei problemi FTD. Assicurarsi di controllare tutti i file dei messaggi, inclusi messages.1, messages.2, e così via. Questi messaggi indicano chiaramente che l'unità è stata chiusa correttamente:

• Arresto di Cisco Secure Firewall in corso o Arresto di Cisco Firepower in corso...
• ...Arresto di Threat Defense in corso

root@CSF1220-2:/ngfw/var/log# grep -a Defense /ngfw/var/log/messages
messages:Jul 22 21:07:10 firepower-1220 SF-IMS[36894]: [36894] S11audit-startup-shutdown:start [INFO] Cisco Secure Firewall 1220CX Threat Defense has started
messages:Jul 22 21:12:37 firepower-1220 SF-IMS[62594]: [62594] sensor:CLI Start [INFO] Starting Cisco Secure Firewall 1220CX Threat Defense
messages:Jul 22 21:13:03 firepower-1220 SF-IMS[65410]: [65410] S99sensor:CLI Start [INFO] Starting Cisco Secure Firewall 1220CX Threat Defense
messages:Jul 23 12:56:43 CSF1220-2 SF-IMS[61878]: [61878] K01sensor:CLI Stop [INFO] Stopping Cisco Secure Firewall 1220CX Threat Defense
messages:Jul 23 12:57:03 CSF1220-2 SF-IMS[62749]: [62749] K69audit-startup-shutdown:stop [INFO] Cisco Secure Firewall 1220CX Threat Defense is shutting down
messages:Jul 23 13:00:21 CSF1220-2 SF-IMS[10866]: [10866] S11audit-startup-shutdown:start [INFO] Cisco Secure Firewall 1220CX Threat Defense has started
messages:Jul 23 13:00:36 CSF1220-2 SF-IMS[13443]: [13443] S99sensor:CLI Start [INFO] Starting Cisco Secure Firewall 1220CX Threat Defense

root@1140-2:/ngfw/var/log# grep -a Defense /ngfw/var/log/messages

messages:Jul 22 09:20:42 FPR1140-2 SF-IMS[6012]: [6012] S11audit-startup-shutdown:start [INFO] Cisco Firepower 1140 Threat Defense has started
messages:Jul 22 09:21:35 FPR1140-2 SF-IMS[9050]: [9050] S99sensor:CLI Start [INFO] Starting Cisco Firepower 1140 Threat Defense
messages:Jul 22 11:32:37 FPR1140-2 SF-IMS[15129]: [15129] K01sensor:CLI Stop [INFO] Stopping Cisco Firepower 1140 Threat Defense
messages:Jul 22 11:32:55 FPR1140-2 SF-IMS[15940]: [15940] K69audit-startup-shutdown:stop [INFO] Cisco Firepower 1140 Threat Defense is shutting down
messages:Jul 22 11:36:38 FPR1140-2 SF-IMS[5980]: [5980] S11audit-startup-shutdown:start [INFO] Cisco Firepower 1140 Threat Defense has started
messages:Jul 22 11:36:53 FPR1140-2 SF-IMS[7594]: [7594] S99sensor:CLI Start [INFO] Starting Cisco Firepower 1140 Threat Defense

Analisi dei file dei messaggi relativi al modulo di sicurezza o allo chassis

Questa sezione descrive l'analisi del modulo di sicurezza o del file di messaggi dello chassis che contiene i log relativi al kernel del sistema operativo.

Il file contiene i log relativi a shutdown, reboot e i loro potenziali trigger su FTD in esecuzione su:

• Chassis Firepower 1000, 2100 e Secure Firewall 1200, 3100 e 4200.
• Moduli di sicurezza Firepower 4100 e 9300.

Il file è accessibile in:

• FTD basato su hardware in esecuzione in modalità nativa: /opt/cisco/platform/log/messages.
• risolvere i problemi relativi al file FTD basato su hardware in esecuzione in modalità nativa: dir-archives/opt-cisco-platform-logs/messages.
• Firepower 1000, 2100 e Secure Firewall 1200, 3100, 4200 file di risoluzione dei problemi dello chassis: /opt/cisco/platform/log/messages.
• File show-tech del modulo di sicurezza Firepower 4100/9300: /opt/cisco/platform/log/messages.

Di seguito sono riportati i punti chiave relativi ai log in questo file:

• Assicurarsi di controllare tutti i file dei messaggi, inclusi messages.1, messages.2, e così via.
• All'avvio del kernel del sistema operativo, i registri del kernel vengono scritti in questo file. Sulle piattaforme hardware e sui moduli di sicurezza, i registri vengono inizialmente scritti nel fuso orario UTC fino a quando il fuso orario personalizzato non viene applicato durante l'orario di avvio.

Per questo motivo, registri diversi nello stesso file possono avere timestamp diversi con fusi orari diversi.

Si consideri l'esempio di un modulo di sicurezza Firepower 4100 con fuso orario UTC+2:

2025-08-18T14:54:16+02:00 Firepower-module1/2 root: FXOS shutdown log started: pid = 52994 cmdline = /bin/sh/sbin/fxos_log_shutdown ####
2025-08-18T14:54:16+02:00 Firepower-module1/2 root: FXOS shutdown log completed: pid = 52994
2025-08-18T14:54:17+02:00 Firepower-module1/2 syslog-ng[1230]: syslog-ng shutting down; version='3.36.1' <--- syslog-ng shutting down indicates graceful shutdown
2025-08-18T12:57:11+00:00 intel-x86-64/1 syslog-ng[1237]: syslog-ng starting up; version='3.36.1' <--- syslog-ng start timestamp with UTC timezone
2025-08-18T12:57:11+00:00 intel-x86-64/1 kernel: [    0.000000] Linux version 5.10.200-yocto-standard (oe-user@oe-host) (x86_64-wrs-linux-gcc (GCC) 10.3.0, GNU ld (GNU Binutils) 2.36.1.20210703) #1 SMP Fri Feb 7 01:00:00 UTC 2025
2025-08-18T12:57:11+00:00 intel-x86-64/1 kernel: [    0.000000] Command line: rw console=ttyS0,38400 loglevel=2 auto kstack=128 reboot=force panic=1 ide_generic.probe_mask=0x1 ide1=noprobe pci=nocrs pci=realloc processor.max_cstate=1 iommu=pt nousb platform=sspxru boot_img=disk0:/fxos-lfbff-k8.2.16.0.136.SPA ciscodmasz=1048576 cisconrsvsz=1572864 hugepagesz=1g hugepages=12 pti=off  rom_ver=1.3.1.44 ssp_mode=0
…
2025-08-18T12:58:34+00:00 intel-x86-64/1 csp-console: Adi not started yet, trying to bring up
2025-08-18T12:58:34+00:00 intel-x86-64/1 ssp_tz[12159]: INFO: Lina is started
2025-08-18T12:58:34+00:00 intel-x86-64/1 SMA: INFO ExecProcessorMain [140588852127296]: finished processing of sma_slot1.deletePlatformLicense, removed it from queue
2025-08-18T12:58:34+00:00 intel-x86-64/1 ssp_tz[12167]: INFO: notify TZ to ASA LINA <---- Time zone change was propagated to the firewall
2025-08-18T14:58:35+02:00 intel-x86-64/1 ssp_tz[12192]: INFO: successfully notified TZ to ASA LINA, wait <---- Logs with the UTC+2 timestamp
2025-08-18T14:58:36+02:00 intel-x86-64/1 csp-console: Adi not started yet, trying to bring up
2025-08-18T14:58:39+02:00 intel-x86-64/1 csp-console[1237]: Last message 'Adi not started yet,' repeated 1 times, suppressed by syslog-ng on intel-x86-64

Analizza file ssp-pm.log

Questa sezione descrive l'analisi dei file /opt/cisco/platform/logs/ssp-pm.log che contengono i log relativi all'arresto o al riavvio dell'applicazione ASA/FTD.

Il file contiene i log di arresto o riavvio per le applicazioni ASA/FTD in esecuzione su:

• Chassis Firepower 1000, 2100 e Secure Firewall 1200, 3100 e 4200
• Moduli di sicurezza Firepower 4100 e 9300 (non lo chassis)

Il file è accessibile solo in:

• CLISH in modalità FTD nativa (non a più istanze) in modalità Expert: opt/cisco/platform/logs/ssp-pm.log
• File di risoluzione dei problemi della modalità nativa FTD: dir-archives/opt-cisco-platform-logs/ssp-pm.log.
• file di risoluzione dei problemi dello chassis su Firepower 1000, 2100 e Secure Firewall 1200, 3100, 4200: /opt/cisco/platform/logs/ssp-pm.log

Per identificare gli arresti o i riavvii normali, cercare righe come SHUTDOWN WARNING corrispondenti al timestamp di riavvio/arresto. Assicurarsi di controllare tutti i file ssp-pm.log, inclusi ssp-pm.log.1, ssp-pm.log.2, e così via. Questi messaggi indicano chiaramente che l'unità è stata chiusa correttamente:

Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING: Beginning System Shutdown request for CSP Apps
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING:-GetShutdownMaxForceQuitTimer: acquiring max force_quit_timeout from all heimdall confs
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING: Upgrade process ready for reboot
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING:-GetShutdownMaxForceQuitTimer: No force_quit_timeout found among conf files. Sendsigs_Sleep = 1
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING: Continue System Shutdown request for CSP Apps
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING:-SysShutdown_HeimdallSvcDownAllCspApps: corresponding heimdall conf file folder:
cisco-asa.9.22.2.9__asa_001_JMX2324G1DJ947ECO1.conf
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING:-SysShutdown_HeimdallSvcDownAllCspApps: corresponding cspCfgXML file folder:
...cspCfg_cisco-asa.9.22.2.9__asa_001_JMX2324G1DJ947ECO1.xml.allocated_cpu_core
…
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING:-SysShutdown_HeimdallSvcDownAllCspApps: stopping all CSPs according to existing heimdall/etc/confs
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING:-SysShutdown_HeimdallSvcDownAllCspApps: Stopping App for CONF:cisco-asa.9.22.2.9__asa_001_JMX2324G1DJ947ECO1.conf

Analizzare i file ssp-shutdown.log

Questa sezione descrive l'analisi dei file /opt/cisco/platform/logs/ssp-shutdown.log, che contengono i log generati quando lo chassis/modulo di sicurezza viene arrestato o riavviato.

Il file contiene i registri di arresto o riavvio per:

• Chassis Firepower 1000, 2100 e Secure Firewall 1200, 3100 e 4200.
• Moduli di sicurezza Firepower 4100 e 9300 (non lo chassis).

Il file è accessibile solo in:

• CLISH in modalità FTD nativa (non a più istanze) in modalità Expert: opt/cisco/platform/logs/ssp-shutdown.log.
• File di risoluzione dei problemi della modalità nativa FTD: dir-archives/opt-cisco-platform-logs/ssp-shutdown.log.
• file di risoluzione dei problemi dello chassis di Firepower 1000, 2100 e Secure Firewall 1200, 3100, 4200: /opt/cisco/platform/logs/ssp-shutdown.log.
• Modulo di sicurezza Firepower 4100/9300: risoluzione dei problemi relativi al file: opt/cisco/platform/logs/ssp-shutdown.log.

Fare riferimento a https://www.cisco.com/c/en/us/support/docs/security/sourcefire-defense-center/117663-technote-SourceFire-00.html su come generare l'FTD, lo chassis e il modulo di sicurezza per la risoluzione dei problemi dei file.

Per individuare le cause degli arresti o dei riavvii normali, eseguire la procedura seguente:

1. Controllare le righe come FXOS shutdown STARTED (Chiusura FXOS avviata) che corrispondono al timestamp di riavvio/chiusura. Assicurarsi di controllare tutti i file ssp-shutdown.log, inclusi ssp-shutdown.log.1, ssp-shutdown.log.2, e così via.

#### Wed Jul 23 12:56:42 UTC 2025: FXOS shutdown started: pid = 61677 cmdline = /bin/sh/sbin/fxos_log_shutdown

2. Cercare all'interno dell'albero del processo le righe che contengono fxos_log_shutdown o shutdown oppure riavvia.sh.
   
   Esempio 1 - la richiesta di riavvio è stata inviata da un peer con UUID 068f09e6-3825-11ee-a72c-e78d34d303cc e indirizzo IP 192.0.2.100, ovvero il FMC:

root     61074  4593  2 12:56 ?        00:00:00          |   \_ /usr/bin/perl /ngfw/usr/local/sf/bin/exec_perl.pl 068f09e6-3825-11ee-a72c-e78d34d303cc 192.0.2.100 068f09e6-3825-11ee-a72c-e78d34d303cc SF::System::
Privileged::RebootSystem
root     61097 61074  0 12:56 ?        00:00:00          |       \_ /bin/sh /ngfw/usr/local/sf/bin/reboot.sh
root     61670 61097  0 12:56 ?        00:00:00          |           \_ /bin/sh /sbin/shutdown -r now
root     61671 61670  0 12:56 ?        00:00:00          |               \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root     61676 61671  0 12:56 ?        00:00:00          |                   \_ /usr/bin/timeout 15 /sbin/fxos_log_shutdown
root     61677 61676  0 12:56 ?        00:00:00          |                       \_ /bin/sh /sbin/fxos_log_shutdown
root     61685 61677  0 12:56 ?        00:00:00          |                           \_ /bin/ps -ef –forest

> show managers
Type                      : Manager
Host                      : 192.0.2.100
Display name              : 192.0.2.100
Version                   : 7.6.1 (Build 291)
Identifier                : 068f09e6-3825-11ee-a72c-e78d34d303cc
Registration              : Completed
Management type           : Configuration and analytics

Esempio 2 - riavvio a causa di un aggiornamento del software:

root      2432     1  0 03:59 ?        00:00:00 /bin/bash /isan/bin/kp_reboot.sh Reboot requested for Software Upgrade
root      2694  2432  0 03:59 ?        00:00:00  \_ /bin/sh /isan/bin/sam_reboot.sh Reboot requested for Software Upgrade
root      3774  2694  0 04:00 ?        00:00:00      \_ /usr/bin/sudo /sbin/shutdown -r now Reboot requested for Software Upgrade
root      3777  3774  0 04:00 ?        00:00:00          \_ /bin/sh /sbin/shutdown -r now Reboot requested for Software Upgrade
root      3778  3777  0 04:00 ?        00:00:00              \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root      3783  3778  0 04:00 ?        00:00:00                  \_ /usr/bin/timeout 15 /sbin/fxos_log_shutdown
root      3784  3783  0 04:00 ?        00:00:00                      \_ /bin/sh /sbin/fxos_log_shutdown
root      3790  3784  0 04:00 ?        00:00:00                          \_ /bin/ps -ef –forest

Esempio 3 - l'utente admin ha richiesto il riavvio eseguendo il comando CLISH reboot:

root     22189     1  0 Jul23 ?        00:00:01 sshd: /usr/sbin/sshd [listener] 0 of 10-100 startups
root     20963 22189  0 06:55 ?        00:00:00  \_ sshd: admin [priv]
admin    20970 20963  0 06:55 ?        00:00:00  |   \_ sshd: admin@pts/0
admin    20975 20970  0 06:55 pts/0    00:00:00  |       \_ /isan/bin/ucssh --ucs-mgmt -p admin -c connect ftd -z /home/admin
admin    21077 20975  0 06:55 pts/0    00:00:00  |           \_ /ngfw/usr/bin/clish
admin    36022 21077  0 07:23 pts/0    00:00:00  |               \_ /ngfw/usr/bin/clish
admin    36023 21077  0 07:23 pts/0    00:00:00  |               \_ /bin/sh /tmp/klish.fifo.21077.1Hwyq1
admin    36024 36023  8 07:23 pts/0    00:00:01  |                   \_ /usr/bin/perl /usr/local/sf/bin/sfcli.pl reboot system
root     36083 36024  0 07:23 pts/0    00:00:00  |                       \_ /usr/bin/sudo /ngfw/usr/local/sf/bin/reboot.sh
root     36088 36083  0 07:23 pts/0    00:00:00  |                           \_ /bin/sh /usr/local/sf/bin/reboot.sh
root     36433 36088  0 07:23 pts/0    00:00:00  |                               \_ /bin/sh /sbin/shutdown -r now
root     36434 36433  0 07:23 pts/0    00:00:00  |                                   \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root     36439 36434  0 07:23 pts/0    00:00:00  |                                       \_ /usr/bin/timeout 15 /sbin/fxos_log_shutdown
root     36440 36439  0 07:23 pts/0    00:00:00  |                                           \_ /bin/sh /sbin/fxos_log_shutdown
root     36448 36440  0 07:23 pts/0    00:00:00  |                                               \_ /bin/ps -ef --forest

Esempio 4 - l'arresto è stato attivato facendo clic sul pulsante di alimentazione. La funzione PBTN rappresenta la pressione fisica di un pulsante di alimentazione. L'evento viene attivato premendo il pulsante di alimentazione di un computer. Lo script utilizza questo evento per avviare un processo di arresto, in genere perché un utente intende disattivare il firewall in modo sicuro:

root      1310     1  0 00:14 ?        00:00:00 /usr/sbin/acpid -c /etc/acpi/events
root     50700  1310  0 00:32 ?        00:00:00  \_ /bin/sh /etc/acpi/acpi_handler.sh button/power PBTN 00000080 00000000
root     50701 50700  0 00:32 ?        00:00:00      \_ /bin/sh /sbin/shutdown -h now
root     50702 50701  0 00:32 ?        00:00:00          \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root     50707 50702  0 00:32 ?        00:00:00              \_ /usr/bin/timeout 15 /sbin/fxos_log_shutdown
root     50708 50707  0 00:32 ?        00:00:00                  \_ /bin/sh /sbin/fxos_log_shutdown
root     50715 50708  0 00:32 ?        00:00:00                      \_ /bin/ps -ef –forest

Esempio 5 - il processo npu_accel_mgr interno ha richiesto il riavvio:

root     12649  5280  0 13:59 ?        00:01:06  \_ npu_accel_mgr
root     19030 12649  0 18:22 ?        00:00:00  |   \_ /bin/sh /sbin/shutdown -r now
root     19031 19030  0 18:22 ?        00:00:00  |       \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root     19036 19031  0 18:22 ?        00:00:00  |           \_ /usr/bin/ timeout 15 /sbin/fxos_log_shutdown
root     19037 19036  0 18:22 ?        00:00:00  |               \_ /bin/sh /sbin/fxos_log_shutdown
root     19043 19037  0 18:22 ?        00:00:00  |                   \_ /bin/ps -ef –forest

Esempio 6 - arresto richiesto dal processo poshd interno:

root       643     1  0 13:00 ?        00:00:00 /usr/bin/poshd
root     13207   643  0 13:43 ?        00:00:00  \_ /bin/sh /sbin/shutdown -h -P now
root     13208 13207  0 13:43 ?        00:00:00      \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root     13213 13208  0 13:43 ?        00:00:00          \_ /usr/bin/timeout 15 /sbin/fxos_log_shutdown
root     13214 13213  0 13:43 ?        00:00:00              \_ /bin/sh /sbin/fxos_log_shutdown
root     13221 13214  0 13:43 ?        00:00:00                  \_ /bin/ps -ef –forest

poshd è responsabile dello spegnimento regolare del dispositivo in caso di problemi di alimentazione (tramite pulsante di alimentazione o fattore di alimentazione esterno).

Esempio 7 - il riavvio è stato innescato dalle modifiche di stato del motore del firewall Lina, come:

• eseguendo il comando reload nella CLI di ASA o nella CLI di diagnostica FTD
• il traceback del motore Lina (ad eccezione delle versioni con la funzione "Data plane quick reload" introdotta in ASA 9.20(x) e FTD 7.4.1.)
• sincronizzazione incompleta/parziale dall'unità attiva a quella in standby

root     56833 56198  0 00:48 ?        00:00:00  |   \_ /ngfw/usr/local/sf/bin/consoled /ngfw/var/run/lina.pid -coredump_filter=0x67 /ngfw/usr/local/asa/bin/lina_monitor -l
root     57003 56833  0 00:48 ?        00:00:00  |       \_ /bin/sh /sbin/shutdown -r now
root     59448 57003  0 00:48 ?        00:00:00  |           \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root     59453 59448  0 00:48 ?        00:00:00  |               \_ /usr/bin/timeout 15 /sbin/fxos_log_shutdown
root     59454 59453  0 00:48 ?        00:00:00  |                   \_ /bin/sh /sbin/fxos_log_shutdown
root     59461 59454  0 00:48 ?        00:00:00  |                       \_ /bin/ps -ef –forest

Analizzare i motivi di ripristino dello chassis

In questa sezione vengono analizzati i motivi di ripristino dello chassis. Sugli chassis Firepower 4100/9300, il motivo di ripristino è accessibile solo in:

• CLI FXOS:

# connect fxos
(fxos)# show system reset-reason

• Nell'output del comando show system reset-reason nei file di risoluzione dei problemi dello chassis *_BC1_all/FPRM_A_TechSupport/sw_techsupportinfo, dove * è la parte del nome del file di risoluzione dei problemi, ad esempio 20250311123356_ FW_BC1_all

Su Firepower 1000, 2100, Secure Firewall 1200, 3100, 4200, il motivo della reimpostazione è accessibile solo in:

• CLISH in modalità FTD nativa (non a più istanze) in modalità Expert: opt/cisco/platform/logs/portmgr.out
• File di risoluzione dei problemi della modalità nativa FTD: dir-archives/opt-cisco-platform-logs/portmgr.out
• file di risoluzione dei problemi dello chassis su Firepower 1000, 2100 e Secure Firewall 1200, 3100, 4200: /opt/cisco/platform/logs/portmgr.out

Fare riferimento a https://www.cisco.com/c/en/us/support/docs/security/sourcefire-defense-center/117663-technote-SourceFire-00.html su come generare l'FTD, lo chassis e il modulo di sicurezza per la risoluzione dei problemi dei file.

Per individuare il motivo della reimpostazione per le piattaforme hardware diverse da Firepower 4100/9300, procedere come segue:

1. In /opt/cisco/platform/logs/portmgr.out controllare le righe come Ultima causa di reimpostazione che corrispondono al timestamp di riavvio/arresto. Assicurarsi di controllare tutti i file portmgr.out, inclusi portmgr.out.1, portmgr.out.2, e così via.

2. Per le spiegazioni sui motivi comuni di ripristino, fare riferimento a questa tabella:

Per trovare il motivo per cui Firepower 4100/9300 è stato reimpostato, procedere come segue:

1. Dalla CLI di FXOS, eseguire il comando show system reset-reason nella shell dei comandi fxos. 

FPR4115-2 # connect fxos
…
FPR4115-2(fxos)# show system reset-reason
----- reset reason for Supervisor-module 1 (from Supervisor in slot 1) ---
1) At 612806449 usecs after Tue Jul 22 23:50:33 2025
    Reason: Reset Requested by CLI command reload
    Service:
    Version: 5.0(3)N2(4.141)

2) No time
    Reason: Unknown
    Service:
    Version: 5.0(3)N2(4.141)

3) No time
    Reason: Unknown
    Service:
    Version: 5.0(3)N2(4.141)

4) At 723697 usecs after Thu Oct  3 17:56:08 2024
    Reason: Reset Requested by CLI command reload
    Service:
    Version: 5.0(3)N2(4.120)

L'output di questo comando è disponibile anche nel file di risoluzione dei problemi dello chassis *_BC1_all/FPRM_A_TechSupport/sw_techsupportinfo, dove * è la parte del nome del file di risoluzione dei problemi, ad esempio 2025031123356_ FW_BC1_all

# pwd
20250521112103_FPR9300_BC1_all/FPRM_A_TechSupport
# less sam_techsupportinfo

Motivi più comuni:

2. Il motivo sconosciuto senza tempo al passaggio 1 indica in genere un'interruzione improvvisa dell'alimentazione o problemi dell'unità di alimentazione (PSU). Si consiglia di controllare gli incidenti relativi a interruzioni dell'alimentazione esterna o problemi di distribuzione dell'alimentazione (PDU).

3. Inoltre, controllare l'output del comando show logging onboard internal reset-reason | nessun altro comando. L'output di questo comando è disponibile anche nel file di risoluzione dei problemi dello chassis *_BC1_all/FPRM_A_TechSupport/sw_kernel_trace_log, dove * è la parte del nome del file di risoluzione dei problemi, ad esempio 20250311123356_ FW_BC1_all:

FPR4115-2 # connect fxos
…
KSEC-FPR4115-2(fxos)# show logging onboard internal reset-reason | no-more 
----------------------------
OBFL Data for
    Module:  1
----------------------------
Reset Reason for this card:
        Image Version : 5.0(3)N2(4.141)
        Reset Reason (SW): Unknown (0) at time Fri Jul  4 23:57:21 2025
          Service (Additional Info):
        Reset Reason (HW): FPGA  reset code: 0x0001
          FPGA Power-ON Reset at time Fri Jul  4 23:57:21 2025

Analisi errori o eccezioni hardware

Questa sezione descrive l'analisi dei file che contengono errori hardware o eccezioni.

Moduli di sicurezza Firepower 1000, 2100, Secure Firewall 1200, 3100, 4200, Firepower 4100/9300

I file pertinenti sono:

• /opt/cisco/platform/logs/mce.log (registri eccezioni controllo computer)
• /ngfw/var/log/dmesg.log (solo FTD)
• /opt/cisco/config/var/logs/dmesg.log
• /opt/cisco/platform/logs/messages

Questi file possono contenere errori hardware o registri di eccezioni per:

• Chassis Firepower 1000, 2100 e Secure Firewall 1200, 3100 e 4200
• Moduli di sicurezza Firepower 4100 e 9300 (non lo chassis)

I file sono accessibili solo in:

• CLISH in modalità FTD nativa (non a più istanze) in modalità Expert:
  • /opt/cisco/platform/logs/mce.log
  • /ngfw/var/log/dmesg.log (solo FTD)
  • /opt/cisco/config/var/logs/dmesg.log
  • /opt/cisco/platform/logs/messages
• File di risoluzione dei problemi della modalità nativa FTD:
  • dir-archives/var-common-platform_ts/opt/cisco/platform/logs/mce.log
  • dir-archives/var-common-platform_ts/opt/cisco/platform/logs/messages
  • dir-archives/var-common-platform_ts/opt/cisco/config/var/logs/dmesg.log
  • dir-archives/var-log/dmesg.log
• file di risoluzione dei problemi dello chassis su Firepower 1000, 2100 e Secure Firewall 1200, 3100, 4200:
  • /opt/cisco/platform/logs/mce.log
  • /opt/cisco/config/var/logs/dmesg.log
  • /opt/cisco/platform/logs/messages
• file show-tech del modulo di sicurezza su Firepower 4100/9300:
  • /opt/cisco/platform/logs/mce.log
  • /opt/cisco/config/var/logs/dmesg.log
  • /opt/cisco/platform/logs/messages

Esempi di errori relativi all'hardware:

opt/cisco/config/var/logs/ $ less dmesg.log
[Sun Apr 27 05:17:10 2025] mce: [Hardware Error]: Machine check events logged
[Sun Apr 27 05:17:10 2025] mce: [Hardware Error]: Machine check events logged

/opt/cisco/platform/logs $ less messages
Jul  9 17:39:38 fw2 kernel: [  628.949572] [Hardware Error]: Corrected error, no action required.
Jul  9 17:39:38 fw2 kernel: [  629.023798] [Hardware Error]: CPU:2 (19:1:1) MC18_STATUS[Over|CE|MiscV|AddrV|-|-|SyndV|CECC|-|-|-]: 0xdc2040000000011b
Jul  9 17:39:38 fw2 kernel: [  629.152245] [Hardware Error]: Error Addr: 0x0000000068d06d40
Jul  9 17:39:38 fw2 kernel: [  629.152248] [Hardware Error]: PPIN: 0x02b0bc114ba60075
Jul  9 17:39:38 fw2 kernel: [  629.281830] [Hardware Error]: IPID: 0x0000009600550f00, Syndrome: 0x000400040a801200
Jul  9 17:39:38 fw2 kernel: [  629.374797] [Hardware Error]: Unified Memory Controller Ext. Error Code: 0, DRAM ECC error.
Jul  9 17:39:38 fw2 kernel: [  629.475078] [Hardware Error]: cache level: L3/GEN, tx: GEN, mem-tx: RD
Jul  9 17:44:40 fw2 kernel: [  930.967028] [Hardware Error]: Corrected error, no action required.
Jul  9 17:44:40 fw2 kernel: [  931.041247] [Hardware Error]: CPU:2 (19:1:1) MC18_STATUS[Over|CE|MiscV|AddrV|-|-|SyndV|CECC|-|-|-]: 0xdc2040000000011b
Jul  9 17:44:40 fw2 kernel: [  931.169689] [Hardware Error]: Error Addr: 0x000000007191d0c0
Jul  9 17:44:40 fw2 kernel: [  931.237616] [Hardware Error]: PPIN: 0x02b0bc114ba60075
Jul  9 17:44:40 fw2 kernel: [  931.299275] [Hardware Error]: IPID: 0x0000009600550f00, Syndrome: 0x000040000a801100


/opt/cisco/platform/logs $ less mce.log
Hardware event. This is not a software error.
MCE 0
CPU 0 BANK 7 TSC 7b29f624ae62e 
MISC 140129286 ADDR 3402b9a00 
TIME 1745747035 Sun Apr 27 09:43:55 2025
MCG status:
MCi status:
Corrected error
MCi_MISC register valid
MCi_ADDR register valid
MCA: MEMORY CONTROLLER RD_CHANNEL0_ERR
Transaction: Memory read error
STATUS 8c00004000010090 MCGSTATUS 0
MCGCAP 1000c16 APICID 0 SOCKETID 0 
PPIN afeebaf20487b95
MICROCODE 700000d
CPUID Vendor Intel Family 6 Model 86 Step 3
mcelog: failed to prefill DIMM database from DMI data

Catastrophic Errors (CATERR) sui moduli di sicurezza Firepower 4100/9300

CATERR è un'eccezione asserita dal processore. Un CATERR può indicare un arresto anomalo della CPU o problemi di basso livello che rendono il blade inaccessibile. Il supervisore dello chassis riavvia il modulo di sicurezza che ha sperimentato CATERR. I registri CATERR si trovano all'interno del file di risoluzione dei problemi di Firepower 4100/9300, in CIMC<X>_TechSupport/obfl/ e CIMC<X>_TechSupport/var/log/sel, dove <X> sta per numero di modulo.

Un esempio di un file di risoluzione dei problemi dello chassis di esempio *_BC1_all/CIMC<X>_TechSupport.tar.gz/CIMC<X>_TechSupport.tar/obfl/obfl-log, dove * è la parte del nome del file di risoluzione dei problemi, ad esempio 20250311123356_ FW_BC1_all e <X > è l'ID del modulo di sicurezza:

2022 Mar 25 22:33:13 CET:4.1(30b):selparser:1950: selparser.c:727: # BF 06 00 00 01 02 00 00 19 35 3E 62 20 00 04 07 81 00 00 00 04 01 FF FF # 6bf | 03/25/2022 22:33:13 CET | CIMC | Processor CATERR_N #0x81 | Predictive Failure asserted | Asserted

L'attuale DME (Data Management Engine) si connette in *_BC1_all/FPRM_A_TechSupport.tar.gz\FPRM_A_TechSupport.tar\var\sysmgr\sam_logs\svc_sam_dme.log* o nei log prima del riavvio in *_BC1_all/FPRM_A_TechSupport.tar.gz/FPRM_A_TechSupport.tar/opt/sam_logs.tgz/sam_logs.tar/sam_logs/svc_sam_dme.log* contiene le linee con il blade del ciclo di alimentazione X a causa di CATERR, dove X è l'ID del blade.

Nel caso di CATERR, è possibile generare un crash dump. Il dump dell'arresto anomalo del sistema si trova in *_BC1_all/CIMC<X>_TechSupport.tar.gz/CIMC<X>_TechSupport.tar/techsupport_pidxxxx/nv/etc/log/eng-repo/caterrlog.first.

Contenuto di esempio:

CRASH DUMP START TIME = Mon Dec 19 00:42:40 2022
               SERVER: presidio
               GetCpuID: CPUID = 0x00050654
               PresidioCatErrHandler: CPU TYPE : Skylake
               handleCaterr_Purley: ---
               PECI BUS : LOCKED
               CPU Socket 1 : Populated
               CPU Socket 2 : Populated
               Stage1Dump: ---
               MC0: IFU - Instruction Fetch Unit and Instruction Cache
               CPU1 (0x30): ThreadID 0 : IA32_MC0_CTL (0x400) : 0x0000000000000fff
               CPU1 (0x30): ThreadID 0 : IA32_MC0_STATUS (0x401) : 0x0000000000000000
               CPU1 (0x30): ThreadID 0 : IA32_MC0_ADDR (0x402) : 0x0000000000000000

Analizza altri file di registro della piattaforma

In questa sezione viene illustrata l'analisi dei file che contengono i log della piattaforma. A seconda dell'hardware, alcuni di questi file possono contenere log relativi al riavvio attivato da componenti specifici.

Moduli di sicurezza Firepower 1000, 2100, Secure Firewall 1200, 3100, 4200, Firepower 4100/9300

I file contengono i registri dello chassis per:

• Chassis Firepower 1000, 2100 e Secure Firewall 1200, 3100 e 4200
• Moduli di sicurezza Firepower 4100 e 9300 (non lo chassis)

I file sono accessibili solo in:

• FTD modalità nativa (non multi-istanza) CLISH in modalità expert in /opt/cisco/platform/logs/
• Modalità nativa FTD risoluzione dei problemi dir-archives/var-common-platform_ts/opt/cisco/platform/logs/
• risoluzione dei problemi dello chassis dei file su Firepower 1000, 2100 e Secure Firewall 1200, 3100, 4200 in /opt/cisco/platform/logs/
• modulo di sicurezza show-tech file su Firepower 4100/9300 in /opt/cisco/platform/logs/

Per trovare i potenziali log relativi al riavvio, cercare le righe contenenti parole chiave come riavvio, riavvio, alimentazione, chiusura, ricaricamento. Si tratta di un approccio ottimale, in quanto il risultato della ricerca può restituire un numero elevato di righe corrispondenti. L'utente deve analizzare le righe corrispondenti.

Esempio 1:

admin@firewall:/opt/cisco/platform/logs$ grep -Ei "power|reboot|reload|restart|shut" *
...
npu_accel_fatal_err_stats.log:nic_top_inb_q_restart_drop_cnt = 0
npu_accel_fatal_err_stats.log:nic_top_norm_q_restart_drop_cnt = 0
npu_accel_fatal_err_stats.log:nic_top_inb_q_restart_drop_cnt = 0
npu_accel_mgr.log:2025 Oct 03 14:29:16 NPU ACCEL MGR: FATAL - NPU Accelerator FAILED - REBOOTING the device !!
npu_accel_mgr.log:2025 Oct 09 18:13:09 NPU ACCEL MGR: FATAL - NPU Accelerator FAILED - REBOOTING the device !!
npu_accel_mgr.log:2025 Oct 17 17:11:23 NPU ACCEL MGR: FATAL - NPU Accelerator FAILED - REBOOTING the device !!
npu_accel_mgr.log:2025 Oct 17 17:31:55 NPU ACCEL MGR: FATAL - NPU Accelerator FAILED - REBOOTING the device !!
npu_accel_mgr.log:2025 Oct 17 19:29:29 NPU ACCEL MGR: FATAL - NPU Accelerator FAILED - REBOOTING the device !!
ntp.log:27 Sep 02:21:16 ntpd[1580]: 0.0.0.0 c016 06 restart
ntp.log:27 Sep 02:23:27 ntpd[10193]: 0.0.0.0 c016 06 restart
...

In questo caso, il riavvio è stato attivato a causa di un errore dell'acceleratore NPU (Network Processing Unit) di Secure Firewall 4200.

Analisi dei file SEL/OBFL

Questa sezione descrive l'analisi dei file con i registri degli eventi di sicurezza (SEL) e i registri degli errori onboard (OBFL) sui moduli di sicurezza Firepower 4100/9300.

Questi file contengono gli eventi hardware del modulo e le modifiche dello stato dell'alimentazione e si trovano all'interno del file di risoluzione dei problemi di Firepower 4100/9300, in CIMC<X>_TechSupport/obfl/ e CIMC<X>_TechSupport/var/log/sel, dove <X> indica il numero del modulo.

Cercare le righe con stop, shutdown, power off senza distinzione tra maiuscole e minuscole, reset, critical.

Esempio 1:

2023 Sep 21 13:53:13:4.1(30b):cipmi:1088: [[xxxCVxxx]]:oem_command.c:457:IPMI Request Message --> Chan:15, Netfn:0x04, Cmd:0x02, Data: 0x41 0x03 0x20 0x46 0x6f 0xa1 0x61 0x74, CC:0x00
2023 Sep 21 13:53:13:4.1(30b):selparser:1203: [[xxxCVxxx]]:selparser.c:727: # A9 04 00 00 01 02 00 00 49 DA 0B 65 41 F0 04 20 46 00 00 00 6F A1 61 74 # 4a9 | 09/21/2023 13:53:13 AWST | System Mgmt Software | OS stop/shutdown #0x46 | Run-time critical stop |  | Asserted
2023 Sep 21 13:53:14:4.1(30b):cipmi:1088: peci.c:278:Error: Failed to read local PCI config after 3 retries! Completion Code error [PECI Dev=0x30,Resp=0x00,CC=0x80] Request Details: [pci_bus=0x02,pci_dev=0x0a,pci_fxn=0x03,pci_reg=0x104,length=0x04]
2023 Sep 21 13:53:15:4.1(30b):kernel:-:<5>[platform_reset_cb_handler]:75:Platform Reset ISR -> ResetState: 1
2023 Sep 21 13:53:15:4.1(30b):cipmi:1088: ocmds_intel_me.c:251:Intel ME Operating State:[M0 without UMA](5)
2023 Sep 21 13:53:15:4.1(30b):cipmi:1088: ocmds_intel_me.c:261:Intel ME is initializing.

Esempio 2 - Arresto del sistema operativo:

2025 Jul 30 23:31:02 UTC:4.1(30b):cipmi:1052: [[xxxCVxxx]]:oem_command.c:457:IPMI Request Message --> Chan:15, Netfn:0x04, Cmd:0x02, Data: 0x41 0x03 0x20 0x46 0x6f 0xa1 0x61 0x74, CC:0x00
2025 Jul 30 23:31:02 UTC:4.1(30b):selparser:1169: [[xxxCVxxx]]:selparser.c:727: # 48 03 00 00 01 02 00 00 36 AB 8A 68 41 F0 04 20 46 00 00 00 6F A1 61 74 # 348 | 07/30/2025 23:31:02 UTC | System Mgmt Software | OS stop/shutdown #0x46 | Run-time critical stop |  | Asserted
2025 Jul 30 23:31:04 UTC:4.1(30b):kernel:-:<5>[platform_reset_cb_handler]:75:Platform Reset ISR -> ResetState: 1
2025 Jul 30 23:31:05 UTC:4.1(30b):kernel:-:<4>[peci_ioctl]:293:non-responsive controller, resetting peci.  process = qpi_logger.
2025 Jul 30 23:31:05 UTC:4.1(30b):cipmi:1052: ocmds_intel_me.c:251:Intel ME Operating State:[M0 without UMA](5)
2025 Jul 30 23:31:05 UTC:4.1(30b):cipmi:1052: ocmds_intel_me.c:261:Intel ME is initializing.
2025 Jul 30 23:31:05 UTC:4.1(30b):information_logger:589: uptime.c:1219:Host Transition Ocurred. Event Count: 146. New state is "Power Off".

Esempio 3 - il Baseboard Management Controller viene resettato a causa del watchdog:

2025 Jun 14 07:44:50 CDT:4.1(30b):kernel:-:<3>[watchdog_init]:487:BMC Watchdog resetted BMC.
2025 Jun 14 07:44:50 CDT:4.1(30b):kernel:-:<3>[watchdog_init]:489:BMC Watchdog System Bus Debug Status Registers: 0x0 and0x0
2025 Jun 14 07:44:50 CDT:4.1(30b):kernel:-:<3>[watchdog_init]:523:BMC Watchdog resetted BMC due to OOM.

Analisi dei log della console ASA/FTD

In questa sezione viene illustrata l'analisi dei file ASAConsole.log che contengono i log del motore Lina e che possono essere controllati per verificare la presenza di segni di traceback o riavvio del software.

Il file contiene i log di arresto o riavvio per ASA/FTD in esecuzione su piattaforme virtuali, Firepower 1000, 2100 e moduli di sicurezza Firewall 1200, 3100, 4200 e Firepower 4100 e 9300 (non lo chassis)

Il file è accessibile solo in:

• FTD CLISH in modalità Expert: /ngfw/var/log/ASAConsole.log
• File di risoluzione dei problemi FTD: dir-archives/opt-cisco-platform-logs/ASAConsole.log.
• modulo di protezione risoluzione dei problemi relativi al file su Firepower 4100/9300: /opt/platform/logs/ASAConsole.log
• Firepower 1000, 2100 e Secure Firewall 1200, 3100, 4200 mostrano il file di tecnologia: /opt/platform/logs/ASAConsole.log

Sintomi del traceback e della generazione di file core:

root@KSEC-CSF1210-6:/ngfw/var/log# less ASAconsole.log
2025-08-09 01:06:11 /bin/grep: (standard input): Resource temporarily unavailable
2025-08-09 01:06:11 /bin/grep: (standard input): Resource temporarily unavailable
2025-08-09 01:06:11 /bin/grep: (standard input): Resource temporarily unavailable
2025-08-09 01:06:35 !! !! First Crash in tid: 14834 signo: 11
2025-08-09 01:06:35
2025-08-09 01:06:35 Writing live core file to flash. Please do not reload.
2025-08-09 01:06:35
2025-08-09 01:06:35 Coredump starting....
2025-08-09 01:06:35 Corehelper: /opt/cisco/csp/cores/core.lina.11.14550.1754701595
2025-08-09 01:06:35 Waiting for Corehelper to finish....
2025-08-09 01:06:35 Livecore: generating coredump of 14550
2025-08-09 01:06:35 [New LWP 14795]
2025-08-09 01:06:35 [New LWP 14796]
2025-08-09 01:06:35 [New LWP 14834]
2025-08-09 01:06:35 [New LWP 14835]
2025-08-09 01:06:35 [New LWP 14836]
2025-08-09 01:06:35 [New LWP 14869]
2025-08-09 01:06:35 [New LWP 14934]
2025-08-09 01:06:35 [New LWP 14939]
2025-08-09 01:06:35 [New LWP 14940]
2025-08-09 01:06:35 [New LWP 14941]
2025-08-09 01:06:35 [New LWP 14942]
2025-08-09 01:06:35 [New LWP 14943]
2025-08-09 01:06:35 [New LWP 14945]
2025-08-09 01:06:35 [New LWP 14947]
2025-08-09 01:06:35 [New LWP 14948]

 Sintomi dell'avvio del motore Lina, notare il gap nel log timestamp:

root@KSEC-CSF1210-6:/ngfw/var/log# less ASAconsole.log
2024-11-13 22:43:09 INFO: SW-DRBG health test passed.
2024-11-13 22:43:09 M_MMAP_THRESHOLD 65536, M_MMAP_MAX 82155
2024-11-13 22:43:10 /bin/grep: (standard input): Resource temporarily unavailable
2024-11-13 22:43:10 /bin/grep: (standard input): Resource temporarily unavailable
2024-11-13 22:43:10 /bin/grep: (standard input): Resource temporarily unavailable
2024-11-13 22:43:10 /bin/grep: (standard input): Resource temporarily unavailable
2024-11-13 22:43:10 User enable_1 logged in to firepower
2024-11-13 22:43:10 Logins over the last 1 days: 1. 
2024-11-13 22:43:10 Failed logins since the last login: 0. 
2024-11-13 22:43:10 Type help or '?' for a list of available commands.
2024-11-13 22:43:10 ^Mfirepower>
2025-04-04 09:11:46 System Cores 8 Nodes 1 Max Cores 24
2025-04-04 09:11:46 Number of Cores 3
2025-04-04 09:11:46 IO Memory Nodes: 1
2025-04-04 09:11:46 IO Memory Per Node: 1073741824 bytes num_pages = 262144 page_size = 4096
2025-04-04 09:11:46
2025-04-04 09:11:46 Global Reserve Memory Per Node: 2147483648 bytes Nodes=1
2025-04-04 09:11:46
2025-04-04 09:11:46 LCMB: got DMA 1073741824 bytes on numa-id=0, phys=0x00000001c0000000, virt=0x0000400040000000
2025-04-04 09:11:46 LCMB: HEAP-CACHE POOL got 2147483648 bytes on numa-id=0, virt=0x0000400080000000
2025-04-04 09:11:46
2025-04-04 09:11:46 total_reserved_mem = 1073741824
2025-04-04 09:11:46
2025-04-04 09:11:46 total_heapcache_mem = 2147483648
2025-04-04 09:11:46 total mem 5384115842 system 16318316544 kernel 21847377 image 85732792
2025-04-04 09:11:46 new 5384115842 old 1159474616 reserve 3221225472 priv new 2184737747 priv old 0
2025-04-04 09:11:46 Processor memory:   5384115842
2025-04-04 09:11:46 POST started...
2025-04-04 09:11:46 POST finished, result is 0 (hint: 1 means it failed)
2025-04-04 09:11:46
2025-04-04 09:11:46 Cisco Adaptive Security Appliance Software Version 9.22(1)1

Analisi dei problemi relativi alla tensione e all'alimentatore

Procedere con questa sezione se come parte della sezione Analizza motivi ripristino chassis sono stati trovati motivi di ripristino come i seguenti:

• Accensione
• RichiestaCicloPower
• Ripristino a causa di tensione non valida
• Motivo sconosciuto:

No time
    Reason: Unknown
    Service:
    Version:

Questi motivi possono indicare problemi potenziali in uno o più dei seguenti casi:

• Carenza di alimentazione
• Problemi con le unità di alimentazione (PSU)
• Problemi con i cavi di alimentazione
• Problemi con le unità di distribuzione dell'alimentazione (PDU) nel rack
• Problemi con l'alimentatore

Procedere come segue:

1. Per circoscrivere l'ambito del problema, rispondere alle seguenti domande:

• La perdita di energia è stata un problema una tantum o ricorrente?
• Il firewall dispone di PSU ridondanti?
• Le PSU sono collegate a diverse fonti di alimentazione e/o PDU?
• Esistono altri dispositivi collegati alla stessa fonte di alimentazione e/o alla stessa PSU?
• Anche altri dispositivi collegati alla stessa fonte di alimentazione e/o PSU hanno subito una perdita di alimentazione?

2. Se, in base alle domande del primo passaggio, viene interessato solo il firewall, assicurarsi che:

• I cavi di alimentazione sono strettamente collegati alla fonte di alimentazione e allo chassis.
• I cavi di alimentazione non sono danneggiati. Provare a sostituire i cavi di alimentazione per escludere potenziali problemi.
  
  

3. Se lo chassis continua a riavviarsi in modo imprevisto, raccogliere l'output di questi comandi in FXOS più volte:

scope chassis 1
show psu detail expand
scope psu 1
show stats history psu-stats detail expand
show stats psu-stats detail expand
exit
scope psu 2
show stats history psu-stats detail expand
show stats psu-stats detail expand

4. Raccogliere il file di risoluzione dei problemi dello chassis.

Riferimenti 

1. Verifica delle versioni del software Firepower
2. Verifica della configurazione di Firepower, istanza, disponibilità e scalabilità
3. Raccolta dei dati per l'analisi della causa principale del software traceback/crash in Secure Firewall
4. Risoluzione dei problemi relativi alle procedure di generazione dei file di Firepower