Problemen oplossen met onverwachte herstart van beveiligde firewall/firepower

Inleiding

In dit document worden de stappen beschreven voor het oplossen van problemen bij onverwachte herlaadbewerkingen van firewalls van Secure Firewall/Firepower.

Voorwaarden

Vereisten

Basisproductkennis.

Gebruikte componenten

De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk live is, moet u zorgen dat u de potentiële impact van elke opdracht begrijpt.

De informatie in dit document is gebaseerd op de volgende software- en hardware-versies:

• Beveiligde firewall 1200, 3100, 4200
• Vuurkracht 1000, 4100, 9300
• Cisco Secure eXtensible Operating System (FXOS) 2.16(0.136)
• Cisco Secure Firewall Threat Defense (FTD) 7.6.1.291
• Cisco Secure Firewall Management Center (FMC) 7.6.1.291
• Adaptive Security Appliance (ASA) 9.22.2.9

Achtergrondinformatie

In dit document worden "reboot", "reload" en "restart" door elkaar gebruikt. Vanuit het perspectief van de gebruiker kan een onverwachte reboot grofweg worden gedefinieerd als elke reboot, behalve voor deze gevallen die bekend, gedocumenteerd of verwacht zijn:

1. Opnieuw opstarten als gevolg van software-installatie of upgrades.
2. Opnieuw opstarten als gevolg van door de gebruiker getriggerde acties, zoals opnieuw opstarten vanaf de opdrachtregelinterface (CLI) of de grafische gebruikersinterface (UI), of handmatige acties voor het uit-/inschakelen.

Afhankelijk van de trigger kan een reboot sierlijk of onsierlijk zijn:

1. Graceful reboot verwijst over het algemeen naar het opnieuw opstarten van een systeem, apparaat of service op een manier die het mogelijk maakt alle huidige processen correct te voltooien en alle bestanden of gegevens op te slaan voordat de herstart plaatsvindt. Dit helpt om gegevensverlies of corruptie te voorkomen. Voorbeelden van graceful reboot:
   • Opnieuw opstarten als gevolg van software-installatie of upgrades.
   • Opnieuw opstarten als gevolg van door de gebruiker getriggerde acties, zoals opnieuw opstarten vanaf de opdrachtregelinterface (CLI) of de grafische gebruikersinterface (UI).
   • In sommige gevallen is het software traceback.

2. Een gracieuze reboot is het tegenovergestelde van een gracieuze reboot, wanneer het systeem ongracieus opnieuw wordt opgestart, dat wil zeggen zonder gracieuze beëindiging van processen. Ongracieuze reboots kunnen leiden tot gegevensverlies of beschadiging. Voorbeelden van triggers zijn:
   • Accidenteel in- en uitschakelen door alle voedingskabels los te koppelen of de aan/uit-knop in te schakelen.
   • Tekorten in de stroomvoorziening, problemen met de voedingseenheden van het chassis.
   • Verschillende problemen in hardware, FPGA, milieu en ga zo maar door, die abrupt opnieuw opstarten veroorzaken.

Oorzaken van reboots:

• Acties van gebruikers van CLI of beheer-UI.
• Software upgrades of downgrades.
• Software traceback.
• Triggers door OS/systeemkritische processen om andere redenen dan traceback in software.
• Hardwareproblemen zoals beschadigde SSD, geheugenfouten, uitzonderingen in CPU, interne FPGA, enzovoort.
• Milieukwesties, zoals stroomverlies, oververhitting, enzovoort.
• Softwarefouten of andere problemen in onderdelen van derden.
• Gebruik van hoge schijfruimte.

In chassis-gebaseerde platforms is het belangrijk om rekening te houden met de omvang van de reboot, met name wat precies opnieuw is opgestart:

• de ASA/FTD-toepassing,
• de beveiligingsmodule (Firepower 4100/9300)
• Het chassis.

Het standaardgedrag omvat:

1. Als een reboot op FTD in de standaardmodus of ASA op Firepower 1000/2100 of Secure Firewall 3100/4200 wordt geactiveerd, wordt het chassis ook opnieuw opgestart.
2. Als een reboot op FTD in de native modus of ASA op Firepower 4100/9300 beveiligingsmodules wordt geactiveerd, wordt de beveiligingsmodule ook opnieuw opgestart. Het chassis is niet aangetast.
3. Als de FTD-modus voor meerdere instanties van Firepower 4100/9300 opnieuw wordt opgestart, worden alleen de beveiligingsmodule en het chassis opnieuw opgestart.
4. Als de FTD-modus voor meerdere instanties op Secure Firewall 3100 en 4200 opnieuw wordt opgestart, wordt alleen die instantie opnieuw opgestart, zonder dat dit gevolgen heeft voor het chassis.
5. Bij het opnieuw opstarten van de Firepower 4100/9300-beveiligingsmodules worden ook alle toepassingen opnieuw opgestart die op de betreffende modules worden uitgevoerd, ongeacht de standaardmodus voor meerdere instanties.
6. Bij een reboot op het chassis worden ook alle beveiligingsmodules en alle toepassingen opnieuw opgestart.

Het beëindigen van bepaalde kritieke processen, of ze nu sierlijk of onsierlijk zijn, kan herstarten veroorzaken. Voorbeeld:

• Als het data plane-proces, ook bekend als de lina, wordt beëindigd vanwege traceback, wordt de firewall opnieuw opgestart. De uitzondering is de softwareversie met de functie "Data plane quick reload" geïntroduceerd in ASA 9.20(x) en FTD 7.4.1 voor specifieke platforms.
• Als de pm van Process Manager wordt beëindigd, wordt de firewall opnieuw opgestart.

Werkstroom voor probleemoplossing

Doorloop de workflow voor probleemoplossing die verwijst naar de stappen voor probleemoplossing:

Stappen voor probleemoplossing

1. Let zo nauwkeurig mogelijk op de tijdstempel van het evenement en zorg ervoor dat u rekening houdt met de tijdzone.
2. Controleer de exacte hardware, het type veilige firewallsoftware (ASA of FTD), de softwareversie en de implementatiemodus (native of multi-instance modus). Raadpleeg Versies van Firepower-software controleren en Firepower, instantie, beschikbaarheid, schaalbaarheid controleren voor gedetailleerde verificatiestappen.

3. Raadpleeg het gedeelte Uptime analyseren om de uptime van de ASA/FTD-toepassing, de beveiligingsmodule (alleen Firepower 4100/9300) en het chassis te correleren. Het doel is om het reboot-bereik te verduidelijken: de toepassing, beveiligingsmodule of chassis.
4. Als het chassis opnieuw is opgestart, gaat u als volgt te werk:

Firepower 1000, 2100, Secure Firewall 1200, 3100 en 4200 met FTD in de standaardmodus of met ASA

4.1. Controleer het gedeelte Bestanden FTD-berichten analyseren (alleen FTD).

4.2. Controleer de sectie Analyse ssp-pm.log Files.

4.3. Controleer de sectie Analyse ssp-shutdown.log Files.

4.4. Controleer de sectie Logboeken ASA/FTD-console analyseren.

4.5. Doorgaan met de stappen in Gegevens verzamelen voor analyse van de hoofdoorzaak van softwaretraceback/crash in beveiligde firewall voor de verificatie van symptomen van softwaretraceback en gegevensverzameling.

4.6. Controleer de sectie Redenen voor het opnieuw instellen van het chassis analyseren.

4.7. Controleer het gedeelte Hardwarefouten of uitzonderingen analyseren.

4.8. Controleer de sectie Logbestanden platform analyseren.

Secure Firewall 3100, 4200 met FTD in containermodus

4.9. Controleer de sectie Analyse ssp-pm.log Files.

4.10. Controleer de sectie Analyse ssp-shutdown.log Files.

4.11. Ga verder met de stappen in Gegevens verzamelen voor analyse van de hoofdoorzaak van softwaretraceback/crash in beveiligde firewall voor de verificatie van symptomen van softwaretraceback en gegevensverzameling.

4.12. Controleer de sectie Redenen voor het opnieuw instellen van het chassis analyseren.

4.13. Controleer het gedeelte Hardwarefouten of uitzonderingen analyseren.

4.14. Controleer de sectie Logbestanden platform analyseren.

Vuurkracht 4100/9300

4.15. Controleer de sectie Redenen voor het opnieuw instellen van het chassis analyseren.

4.16. Ga verder met de stappen in Gegevens verzamelen voor analyse van de hoofdoorzaak van softwaretraceback/crash in beveiligde firewall voor de verificatie van symptomen van softwaretraceback en gegevensverzameling.

Virtuele platforms waarop FTD wordt uitgevoerd

4.17. Controleer het gedeelte Bestanden FTD-berichten analyseren.

4.18. Controleer de sectie Logboeken ASA/FTD-console analyseren.

4.19. Ga verder met de stappen in Gegevens verzamelen voor analyse van de hoofdoorzaak van softwaretraceback/crash in beveiligde firewall om symptomen van softwaretraceback te verifiëren en voor gegevensverzameling.

5. Als u redenen voor resetten zoals deze vindt in de sectie Redenen voor resetten van chassis analyseren, raadpleegt u de sectie Problemen met stroomspanning en voeding analyseren:

• inschakelen
• PowerCycle-aanvraag
• Reset vanwege slechte spanning 
• Geen tijd (reden: onbekend)

6. Als het chassis opnieuw wordt opgestart, verzamelt u console-logs.

7. Ga verder met deze stappen voor Firepower 4100/9300 als de beveiligingsmodule opnieuw is opgestart:

Firepower 4100/9300-beveiligingsmodule met FTD in de standaardmodus of met ASA

7.1. Controleer het gedeelte Bestanden FTD-berichten analyseren (alleen FTD).

7.2. Controleer de sectie Analyse ssp-pm.log Files.

7.3. Controleer de sectie Analyse ssp-shutdown.log Files.

7.4. Controleer de sectie Logboeken ASA/FTD-console analyseren.

7.5. Doorgaan met de stappen in Gegevens verzamelen voor analyse van de hoofdoorzaak van softwaretraceback/crash in beveiligde firewall om symptomen van softwaretraceback te verifiëren en voor gegevensverzameling.

7.6. Controleer het gedeelte Hardwarefouten of uitzonderingen analyseren.

7.7. Controleer het gedeelte SEL/OBFL-bestanden analyseren.

7.8. Controleer de sectie Logbestanden platform analyseren.

Firepower 4100/9300-beveiligingsmodule met FTD in containermodus

7.9. Controleer de sectie Analyse ssp-pm.log Files.

7.10. Controleer de sectie Analyse ssp-shutdown.log Files.

7.11. Ga verder met de stappen in Gegevens verzamelen voor analyse van de hoofdoorzaak van softwaretraceback/crash in beveiligde firewall om symptomen van softwaretraceback te verifiëren en voor gegevensverzameling.

7.12. Controleer het gedeelte Hardwarefouten of uitzonderingen analyseren.

7.13. Controleer de sectie SEL/OBFL-bestanden analyseren.

7.14. Controleer de sectie Logbestanden platform analyseren.

8. Ga verder met deze stappen als een FTD met meerdere instanties die op Firepower 4100, 9300 of Secure Firewall 3100, 4200 draait, opnieuw is opgestart, maar het chassis en de Firepower 4100- en 9300-beveiligingsmodule niet opnieuw zijn opgestart:

8.1. Controleer de sectie Bestanden FTD-berichten analyseren.

8.2. Controleer de sectie Analyse ssp-pm.log Files.

8.3. Controleer de sectie Analyse ssp-shutdown.log Files.

8.4. Controleer de sectie Logboeken ASA/FTD-console analyseren.

8.5. Doorgaan met de stappen in Gegevens verzamelen voor analyse van de hoofdoorzaak van softwaretraceback/crash in beveiligde firewall om symptomen van softwaretraceback te verifiëren en voor gegevensverzameling.

9. Als er tekenen zijn van herstart vanwege softwaretraceback, opent u een TAC-geval en verstrekt u de verzamelde gegevens.

10. Zoeksoftwarefouten met de trefwoorden onverwacht, opnieuw opstarten, stroom, opnieuw laden, opnieuw opstarten, stil:

Als er een overeenkomend defect wordt gevonden, dan:

• Zorg ervoor dat de symptomen en omstandigheden overeenkomen met die beschreven in het defect.
• Pas de tijdelijke oplossing toe, indien van toepassing.
• Upgrade naar de vaste versie, indien van toepassing.

11. Doorloop het gedeelte Gegevensverzameling en open een TAC-zaak.

Uptime analyseren

Het doel van deze sectie is om de uptime van de ASA/FTD-toepassing, de beveiligingsmodule (alleen Firepower 4100/9300) en het chassis te controleren.

1. Controleer de uptime van de firewall-engine met de opdracht versie weergeven op ASA en de opdracht versie weergeven op FTD:

> show version system
---------------[ firewall-FTD ]---------------
Model                     : Cisco Firepower 4112 Threat Defense (76) Version 7.6.1 (Build 291)
UUID                      : e9460e12-674c-11f0-97e5-d5ad3617d287
LSP version               : lsp-rel-20241211-1948
VDB version               : 408
---------------------------------------------------

Cisco Adaptive Security Appliance Software Version 9.22(1)21
SSP Operating System Version 2.16(0.3007)

Compiled on Thu 29-May-25 01:38 GMT by fpbesprd
System image file is "disk0:/fxos-lfbff-k8.2.16.0.136.SPA"

Config file at boot was "startup-config"

firewall-FTD up 5 days 0 hours

Controleer in het FTD-probleemoplossingsbestand het bestand command-outputs/'usr-local-sf-bin-sfcli.pl show_tech_support asa_lina_cli_util.output":

/command-outputs$ less 'usr-local-sf-bin-sfcli.pl show_tech_support asa_lina_cli_util.output'
…
firewall-FTD up 5 days 0 hours
…

Controleer voor ASA de uptime in het show-tech bestand.

2. Als of FTD's die in de standaardmodus worden uitgevoerd op virtuele platforms, Firepower 1000, 2100, Secure Firewall 1200, 3100 en 4200, controleert u de uptime van het besturingssysteem (dagen, uren en minuten) in de deskundige modus.  In dit geval is de uptime van het chassis ongeveer gelijk aan de uptime van het besturingssysteem:

> expert
admin@firepower:/ngfw/Volume/home/admin$ uptime
 06:30:40 up 6 days,  8:01,  1 user,  load average: 5.14, 5.45, 5.48

Controleer in het FTD-probleemoplossingsbestand het bestand dir-archives/var-log/top.log:

dir-archives/var-log$ less top.log
===================================================================================================

Tue Jul 22 04:02:11 UTC 2025

top - 04:02:11 up 6 days, 13:57,  4 users,  load average: 2.23, 2.42, 2.59
Tasks: 167 total,   2 running, 165 sleeping,   0 stopped,   0 zombie
%Cpu(s): 26.6 us,  7.8 sy,  1.6 ni, 64.1 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
MiB Mem :   7629.8 total,   2438.4 free,   4559.6 used,    631.8 buff/cache
MiB Swap:   5369.2 total,   3713.7 free,   1655.5 used.   2849.9 avail Mem

3. Voor FTD in de modus met meerdere instanties op Secure Firewall 3100 of 4200 en ASA op Firepower 1000, 2100, Secure Firewall 1200, 3100 en 4200 is er geen opdracht beschikbaar om de uptime van het chassis te controleren.

U kunt de uptime van de blade controleren:

> connect fxos
…
firewall# scope ssa
firewall /ssa # show slot detail expand

Slot:
    Slot ID: 1
    …
        Blade Uptime: up 16 hours, 2 min       

Controleer de uptime in opt/cisco/platform/logs/sysmgr/sam_logs/topout.log in het bestand voor het oplossen van problemen met het chassis als volgt:

opt/cisco/platform/logs/sysmgr/sam_logs/topout.log $ less topout.log
[Jul 23 13:15:22]
top - 13:15:22 up 16:02,  1 user,  load average: 12.24, 11.85, 11.75

4. Controleer in het geval van Firepower 4100/9300 de uptime van het chassis en de beveiligingsmodule in de FXOS CLI.

Uptime chassis:

firewall /ssa # connect fxos
firewall(fxos)# show system uptime
System start time:          Tue Jul 22 21:57:44 2025
System uptime:              6 days, 9 hours, 49 minutes, 50 seconds
Kernel uptime:              6 days, 9 hours, 45 minutes, 58 seconds
Active supervisor uptime:   6 days, 9 hours, 49 minutes, 50 seconds

Uptime van beveiligingsmodule:

firewall# scope ssa
firewall /ssa # show slot detail expand
Slot:
    Slot ID: 1
    …
        Blade Uptime: up 5 days, 37 min       

Controleer in het bestand voor het oplossen van chassisproblemen de uitvoer van de opdracht System Uptime weergeven in bestand *_BC1_all/FPRM_A_TechSupport/sw_techsupportinfo en vouw de opdracht Show Slot Detail Expand uit in bestand *_BC1_all/FPRM_A_TechSupport/sam_techsupportinfo waarbij * het deel van de bestandsnaam voor het oplossen van problemen is, bijvoorbeeld 2025031123356_ FW_BC1_all.

Bestanden FTD-berichten analyseren

Deze sectie behandelt de analyse van het FTD-berichtenbestand dat logs bevat met betrekking tot afsluiten, opnieuw opstarten en potentiële triggers.

FTD op alle platforms

Het bestand bevat logs met betrekking tot afsluiten, opnieuw opstarten en hun potentiële triggers op FTD die worden uitgevoerd op:

• Virtuele platforms, Firepower 1000, 2100 en Secure Firewall 1200, 3100, 4200-chassis.
• Firepower 4100 en 9300 beveiligingsmodules.

Het bestand is toegankelijk in:

• FTD CLISH in deskundige modus: /ngfw/var/log/messages
• FTD-probleemoplossingsbestand: dir-archieven/var-log/berichten

Als u de trigger voor het afsluiten of opnieuw opstarten wilt vinden, controleert u berichten met Defensie in het berichtenbestand in de FTD-probleemoplossingsbestanden. Zorg ervoor dat u alle berichten controleert, inclusief berichten.1, berichten.2, enzovoort. Deze berichten geven duidelijk een sierlijke afsluiting aan:

• Cisco Secure Firewall stoppen…of Cisco Firepower stoppen…
• Dreigingsdefensie wordt gesloten

root@CSF1220-2:/ngfw/var/log# grep -a Defense /ngfw/var/log/messages
messages:Jul 22 21:07:10 firepower-1220 SF-IMS[36894]: [36894] S11audit-startup-shutdown:start [INFO] Cisco Secure Firewall 1220CX Threat Defense has started
messages:Jul 22 21:12:37 firepower-1220 SF-IMS[62594]: [62594] sensor:CLI Start [INFO] Starting Cisco Secure Firewall 1220CX Threat Defense
messages:Jul 22 21:13:03 firepower-1220 SF-IMS[65410]: [65410] S99sensor:CLI Start [INFO] Starting Cisco Secure Firewall 1220CX Threat Defense
messages:Jul 23 12:56:43 CSF1220-2 SF-IMS[61878]: [61878] K01sensor:CLI Stop [INFO] Stopping Cisco Secure Firewall 1220CX Threat Defense
messages:Jul 23 12:57:03 CSF1220-2 SF-IMS[62749]: [62749] K69audit-startup-shutdown:stop [INFO] Cisco Secure Firewall 1220CX Threat Defense is shutting down
messages:Jul 23 13:00:21 CSF1220-2 SF-IMS[10866]: [10866] S11audit-startup-shutdown:start [INFO] Cisco Secure Firewall 1220CX Threat Defense has started
messages:Jul 23 13:00:36 CSF1220-2 SF-IMS[13443]: [13443] S99sensor:CLI Start [INFO] Starting Cisco Secure Firewall 1220CX Threat Defense

root@1140-2:/ngfw/var/log# grep -a Defense /ngfw/var/log/messages

messages:Jul 22 09:20:42 FPR1140-2 SF-IMS[6012]: [6012] S11audit-startup-shutdown:start [INFO] Cisco Firepower 1140 Threat Defense has started
messages:Jul 22 09:21:35 FPR1140-2 SF-IMS[9050]: [9050] S99sensor:CLI Start [INFO] Starting Cisco Firepower 1140 Threat Defense
messages:Jul 22 11:32:37 FPR1140-2 SF-IMS[15129]: [15129] K01sensor:CLI Stop [INFO] Stopping Cisco Firepower 1140 Threat Defense
messages:Jul 22 11:32:55 FPR1140-2 SF-IMS[15940]: [15940] K69audit-startup-shutdown:stop [INFO] Cisco Firepower 1140 Threat Defense is shutting down
messages:Jul 22 11:36:38 FPR1140-2 SF-IMS[5980]: [5980] S11audit-startup-shutdown:start [INFO] Cisco Firepower 1140 Threat Defense has started
messages:Jul 22 11:36:53 FPR1140-2 SF-IMS[7594]: [7594] S99sensor:CLI Start [INFO] Starting Cisco Firepower 1140 Threat Defense

Bestanden met beveiligingsmodule- of chassisberichten analyseren

Deze sectie behandelt de analyse van de beveiligingsmodule of het bestand met chassisberichten dat logs bevat die betrekking hebben op de kernel van het besturingssysteem.

Het bestand bevat logs met betrekking tot afsluiten, opnieuw opstarten en hun potentiële triggers op FTD die worden uitgevoerd op:

• Firepower 1000, 2100 en Secure Firewall 1200, 3100, 4200 chassis.
• Firepower 4100 en 9300 beveiligingsmodules.

Het bestand is toegankelijk in:

• hardwaregebaseerde FTD die in de standaardmodus wordt uitgevoerd: /opt/cisco/platform/log/berichten.
• probleemoplossingsbestand van hardwarematige FTD die in de standaardmodus wordt uitgevoerd: dir-archieven/opt-cisco-platform-logs/berichten.
• Probleemoplossingsbestand voor Firepower 1000, 2100 en Secure Firewall 1200, 3100, 4200 chassis: /opt/cisco/platform/log/berichten.
• Firepower 4100/9300 beveiligingsmodule tonen-tech bestand: /opt/cisco/platform/log/berichten.

Dit zijn de belangrijkste punten over de logs in dit bestand:

• Zorg ervoor dat u alle berichten controleert, inclusief berichten.1, berichten.2, enzovoort.
• Wanneer de OS kernel opstart, worden de kernel logs naar dit bestand geschreven. Op hardwareplatforms en beveiligingsmodules worden logs in eerste instantie geschreven in de UTC-tijdzone totdat de aangepaste tijdzone wordt toegepast tijdens de opstarttijd.

Om deze reden kunnen verschillende logs in hetzelfde bestand verschillende tijdstempels hebben met verschillende tijdzones.

Neem dit voorbeeld van een Firepower 4100-beveiligingsmodule met de UTC+2-tijdzone:

2025-08-18T14:54:16+02:00 Firepower-module1/2 root: FXOS shutdown log started: pid = 52994 cmdline = /bin/sh/sbin/fxos_log_shutdown ####
2025-08-18T14:54:16+02:00 Firepower-module1/2 root: FXOS shutdown log completed: pid = 52994
2025-08-18T14:54:17+02:00 Firepower-module1/2 syslog-ng[1230]: syslog-ng shutting down; version='3.36.1' <--- syslog-ng shutting down indicates graceful shutdown
2025-08-18T12:57:11+00:00 intel-x86-64/1 syslog-ng[1237]: syslog-ng starting up; version='3.36.1' <--- syslog-ng start timestamp with UTC timezone
2025-08-18T12:57:11+00:00 intel-x86-64/1 kernel: [    0.000000] Linux version 5.10.200-yocto-standard (oe-user@oe-host) (x86_64-wrs-linux-gcc (GCC) 10.3.0, GNU ld (GNU Binutils) 2.36.1.20210703) #1 SMP Fri Feb 7 01:00:00 UTC 2025
2025-08-18T12:57:11+00:00 intel-x86-64/1 kernel: [    0.000000] Command line: rw console=ttyS0,38400 loglevel=2 auto kstack=128 reboot=force panic=1 ide_generic.probe_mask=0x1 ide1=noprobe pci=nocrs pci=realloc processor.max_cstate=1 iommu=pt nousb platform=sspxru boot_img=disk0:/fxos-lfbff-k8.2.16.0.136.SPA ciscodmasz=1048576 cisconrsvsz=1572864 hugepagesz=1g hugepages=12 pti=off  rom_ver=1.3.1.44 ssp_mode=0
…
2025-08-18T12:58:34+00:00 intel-x86-64/1 csp-console: Adi not started yet, trying to bring up
2025-08-18T12:58:34+00:00 intel-x86-64/1 ssp_tz[12159]: INFO: Lina is started
2025-08-18T12:58:34+00:00 intel-x86-64/1 SMA: INFO ExecProcessorMain [140588852127296]: finished processing of sma_slot1.deletePlatformLicense, removed it from queue
2025-08-18T12:58:34+00:00 intel-x86-64/1 ssp_tz[12167]: INFO: notify TZ to ASA LINA <---- Time zone change was propagated to the firewall
2025-08-18T14:58:35+02:00 intel-x86-64/1 ssp_tz[12192]: INFO: successfully notified TZ to ASA LINA, wait <---- Logs with the UTC+2 timestamp
2025-08-18T14:58:36+02:00 intel-x86-64/1 csp-console: Adi not started yet, trying to bring up
2025-08-18T14:58:39+02:00 intel-x86-64/1 csp-console[1237]: Last message 'Adi not started yet,' repeated 1 times, suppressed by syslog-ng on intel-x86-64

Bestanden ssp-pm.log analyseren

Deze sectie behandelt de analyse van de /opt/cisco/platform/logs/ssp-pm.log bestanden die logs bevatten met betrekking tot het afsluiten of opnieuw opstarten van ASA/FTD-toepassingen.

Het bestand bevat afsluitings- of reboot-logs voor ASA/FTD-toepassingen die worden uitgevoerd op:

• Firepower 1000, 2100 en Secure Firewall 1200, 3100, 4200 chassis
• Firepower 4100- en 9300-beveiligingsmodules (niet het chassis)

Het bestand is alleen toegankelijk in:

• FTD native mode (niet multi-instance) CLISH in expert mode: opt/cisco/platform/logs/ssp-pm.log
• FTD native mode probleemoplossingsbestand: dir-archives/opt-cisco-platform-logs/ssp-pm.log.
• Bestand voor chassisprobleemoplossing op Firepower 1000, 2100 en Secure Firewall 1200, 3100, 4200: /opt/cisco/platform/logs/ssp-pm.log

Om gracieuze afsluitingen of reboots te identificeren, zoekt u naar regels zoals AFSLUITWAARSCHUWING die overeenkomen met de reboot / shutdown tijdstempel. Controleer alle ssp-pm.log-bestanden, waaronder ssp-pm.log.1, ssp-pm.log.2, enzovoort. Deze berichten geven duidelijk een sierlijke afsluiting aan:

Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING: Beginning System Shutdown request for CSP Apps
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING:-GetShutdownMaxForceQuitTimer: acquiring max force_quit_timeout from all heimdall confs
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING: Upgrade process ready for reboot
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING:-GetShutdownMaxForceQuitTimer: No force_quit_timeout found among conf files. Sendsigs_Sleep = 1
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING: Continue System Shutdown request for CSP Apps
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING:-SysShutdown_HeimdallSvcDownAllCspApps: corresponding heimdall conf file folder:
cisco-asa.9.22.2.9__asa_001_JMX2324G1DJ947ECO1.conf
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING:-SysShutdown_HeimdallSvcDownAllCspApps: corresponding cspCfgXML file folder:
...cspCfg_cisco-asa.9.22.2.9__asa_001_JMX2324G1DJ947ECO1.xml.allocated_cpu_core
…
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING:-SysShutdown_HeimdallSvcDownAllCspApps: stopping all CSPs according to existing heimdall/etc/confs
Fri Jul 25 10:28:51 UTC 2025 -(PM_UTILS)- SHUTDOWN WARNING:-SysShutdown_HeimdallSvcDownAllCspApps: Stopping App for CONF:cisco-asa.9.22.2.9__asa_001_JMX2324G1DJ947ECO1.conf

Bestanden ssp-shutdown.log analyseren

Dit gedeelte behandelt de analyse van de bestanden van /opt/cisco/platform/logs/ssp-shutdown.log, die logs bevatten die worden gegenereerd wanneer het chassis/de beveiligingsmodule wordt afgesloten of opnieuw wordt opgestart.

Het bestand bevat afsluitings- of reboot-logs voor:

• Firepower 1000, 2100 en Secure Firewall 1200, 3100, 4200 chassis.
• Firepower 4100 en 9300 beveiligingsmodules (niet het chassis).

Het bestand is alleen toegankelijk in:

• FTD native mode (niet multi-instance) CLISH in expert mode: opt/cisco/platform/logs/ssp-shutdown.log.
• FTD native mode probleemoplossingsbestand: dir-archives/opt-cisco-platform-logs/ssp-shutdown.log.
• Problemen oplossen met het chassis van Firepower 1000, 2100 en Secure Firewall 1200, 3100, 4200: /opt/cisco/platform/logs/ssp-shutdown.log.
• Probleemoplossingsbestand voor de beveiligingsmodule Firepower 4100/9300: opt/cisco/platform/logs/ssp-shutdown.log.

Raadpleeg https://www.cisco.com/c/en/us/support/docs/security/sourcefire-defense-center/117663-technote-SourceFire-00.html voor informatie over het genereren van de FTD-, chassis- en beveiligingsmoduleprobleemoplossingsbestanden.

Om de trigger van sierlijke shutdowns of reboots te vinden, gaat u door deze stappen:

1. Controleer of de regels zoals FXOS-shutdown zijn gestart en overeenkomen met de reboot / shutdown-tijdstempel. Controleer alle ssp-shutdown.log-bestanden, waaronder ssp-shutdown.log.1, ssp-shutdown.log.2, enzovoort.

#### Wed Jul 23 12:56:42 UTC 2025: FXOS shutdown started: pid = 61677 cmdline = /bin/sh/sbin/fxos_log_shutdown

2. Zoek naar lijnen in de processtructuur die fxos_log_shutdown of shutdown bevatten of reboot.sh.
   
   Voorbeeld 1 - het verzoek voor een reboot kwam van een peer met UUID 068f09e6-3825-11ee-a72c-e78d34d303cc en IP-adres 192.0.2.100, dat is de FMC:

root     61074  4593  2 12:56 ?        00:00:00          |   \_ /usr/bin/perl /ngfw/usr/local/sf/bin/exec_perl.pl 068f09e6-3825-11ee-a72c-e78d34d303cc 192.0.2.100 068f09e6-3825-11ee-a72c-e78d34d303cc SF::System::
Privileged::RebootSystem
root     61097 61074  0 12:56 ?        00:00:00          |       \_ /bin/sh /ngfw/usr/local/sf/bin/reboot.sh
root     61670 61097  0 12:56 ?        00:00:00          |           \_ /bin/sh /sbin/shutdown -r now
root     61671 61670  0 12:56 ?        00:00:00          |               \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root     61676 61671  0 12:56 ?        00:00:00          |                   \_ /usr/bin/timeout 15 /sbin/fxos_log_shutdown
root     61677 61676  0 12:56 ?        00:00:00          |                       \_ /bin/sh /sbin/fxos_log_shutdown
root     61685 61677  0 12:56 ?        00:00:00          |                           \_ /bin/ps -ef –forest

> show managers
Type                      : Manager
Host                      : 192.0.2.100
Display name              : 192.0.2.100
Version                   : 7.6.1 (Build 291)
Identifier                : 068f09e6-3825-11ee-a72c-e78d34d303cc
Registration              : Completed
Management type           : Configuration and analytics

Voorbeeld 2 – opnieuw opstarten vanwege software-upgrade:

root      2432     1  0 03:59 ?        00:00:00 /bin/bash /isan/bin/kp_reboot.sh Reboot requested for Software Upgrade
root      2694  2432  0 03:59 ?        00:00:00  \_ /bin/sh /isan/bin/sam_reboot.sh Reboot requested for Software Upgrade
root      3774  2694  0 04:00 ?        00:00:00      \_ /usr/bin/sudo /sbin/shutdown -r now Reboot requested for Software Upgrade
root      3777  3774  0 04:00 ?        00:00:00          \_ /bin/sh /sbin/shutdown -r now Reboot requested for Software Upgrade
root      3778  3777  0 04:00 ?        00:00:00              \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root      3783  3778  0 04:00 ?        00:00:00                  \_ /usr/bin/timeout 15 /sbin/fxos_log_shutdown
root      3784  3783  0 04:00 ?        00:00:00                      \_ /bin/sh /sbin/fxos_log_shutdown
root      3790  3784  0 04:00 ?        00:00:00                          \_ /bin/ps -ef –forest

Voorbeeld 3 – de beheerder heeft gevraagd om opnieuw op te starten door de CLISH-opdracht voor opnieuw opstarten uit te voeren:

root     22189     1  0 Jul23 ?        00:00:01 sshd: /usr/sbin/sshd [listener] 0 of 10-100 startups
root     20963 22189  0 06:55 ?        00:00:00  \_ sshd: admin [priv]
admin    20970 20963  0 06:55 ?        00:00:00  |   \_ sshd: admin@pts/0
admin    20975 20970  0 06:55 pts/0    00:00:00  |       \_ /isan/bin/ucssh --ucs-mgmt -p admin -c connect ftd -z /home/admin
admin    21077 20975  0 06:55 pts/0    00:00:00  |           \_ /ngfw/usr/bin/clish
admin    36022 21077  0 07:23 pts/0    00:00:00  |               \_ /ngfw/usr/bin/clish
admin    36023 21077  0 07:23 pts/0    00:00:00  |               \_ /bin/sh /tmp/klish.fifo.21077.1Hwyq1
admin    36024 36023  8 07:23 pts/0    00:00:01  |                   \_ /usr/bin/perl /usr/local/sf/bin/sfcli.pl reboot system
root     36083 36024  0 07:23 pts/0    00:00:00  |                       \_ /usr/bin/sudo /ngfw/usr/local/sf/bin/reboot.sh
root     36088 36083  0 07:23 pts/0    00:00:00  |                           \_ /bin/sh /usr/local/sf/bin/reboot.sh
root     36433 36088  0 07:23 pts/0    00:00:00  |                               \_ /bin/sh /sbin/shutdown -r now
root     36434 36433  0 07:23 pts/0    00:00:00  |                                   \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root     36439 36434  0 07:23 pts/0    00:00:00  |                                       \_ /usr/bin/timeout 15 /sbin/fxos_log_shutdown
root     36440 36439  0 07:23 pts/0    00:00:00  |                                           \_ /bin/sh /sbin/fxos_log_shutdown
root     36448 36440  0 07:23 pts/0    00:00:00  |                                               \_ /bin/ps -ef --forest

Voorbeeld 4 – afsluiten werd geactiveerd door op de aan/uit-knop te klikken. PBTN staat voor een fysieke druk op de aan/uit-knop. Als u op de aan/uit-knop van een machine drukt, wordt deze gebeurtenis geactiveerd. Het script gebruikt deze gebeurtenis om een afsluitproces te starten, meestal omdat een gebruiker van plan is de firewall veilig uit te schakelen:

root      1310     1  0 00:14 ?        00:00:00 /usr/sbin/acpid -c /etc/acpi/events
root     50700  1310  0 00:32 ?        00:00:00  \_ /bin/sh /etc/acpi/acpi_handler.sh button/power PBTN 00000080 00000000
root     50701 50700  0 00:32 ?        00:00:00      \_ /bin/sh /sbin/shutdown -h now
root     50702 50701  0 00:32 ?        00:00:00          \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root     50707 50702  0 00:32 ?        00:00:00              \_ /usr/bin/timeout 15 /sbin/fxos_log_shutdown
root     50708 50707  0 00:32 ?        00:00:00                  \_ /bin/sh /sbin/fxos_log_shutdown
root     50715 50708  0 00:32 ?        00:00:00                      \_ /bin/ps -ef –forest

Voorbeeld 5 – reboot werd aangevraagd door het interne npu_accel_mgr proces:

root     12649  5280  0 13:59 ?        00:01:06  \_ npu_accel_mgr
root     19030 12649  0 18:22 ?        00:00:00  |   \_ /bin/sh /sbin/shutdown -r now
root     19031 19030  0 18:22 ?        00:00:00  |       \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root     19036 19031  0 18:22 ?        00:00:00  |           \_ /usr/bin/ timeout 15 /sbin/fxos_log_shutdown
root     19037 19036  0 18:22 ?        00:00:00  |               \_ /bin/sh /sbin/fxos_log_shutdown
root     19043 19037  0 18:22 ?        00:00:00  |                   \_ /bin/ps -ef –forest

Voorbeeld 6 – afsluiten werd aangevraagd door het interne geposte proces:

root       643     1  0 13:00 ?        00:00:00 /usr/bin/poshd
root     13207   643  0 13:43 ?        00:00:00  \_ /bin/sh /sbin/shutdown -h -P now
root     13208 13207  0 13:43 ?        00:00:00      \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root     13213 13208  0 13:43 ?        00:00:00          \_ /usr/bin/timeout 15 /sbin/fxos_log_shutdown
root     13214 13213  0 13:43 ?        00:00:00              \_ /bin/sh /sbin/fxos_log_shutdown
root     13221 13214  0 13:43 ?        00:00:00                  \_ /bin/ps -ef –forest

POSHD is verantwoordelijk voor het sierlijk uitschakelen van het apparaat in geval van stroomproblemen (via de aan / uit-knop of externe vermogensfactor).

Voorbeeld 7 – reboot werd geactiveerd door de statuswijzigingen van de firewall-engine Lina, zoals:

• door de opdracht opnieuw laden uit te voeren in de ASA CLI of de FTD diagnostische CLI
• de traceback van de Lina-motor (met uitzondering van de versies met de functie "Data plane quick reload" geïntroduceerd in ASA 9.20(x) en FTD 7.4.1.)
• Onvolledige/gedeeltelijke synchronisatie van actieve naar standby-eenheid

root     56833 56198  0 00:48 ?        00:00:00  |   \_ /ngfw/usr/local/sf/bin/consoled /ngfw/var/run/lina.pid -coredump_filter=0x67 /ngfw/usr/local/asa/bin/lina_monitor -l
root     57003 56833  0 00:48 ?        00:00:00  |       \_ /bin/sh /sbin/shutdown -r now
root     59448 57003  0 00:48 ?        00:00:00  |           \_ /bin/sh /sbin/exec_fxos_log_shutdown.sh
root     59453 59448  0 00:48 ?        00:00:00  |               \_ /usr/bin/timeout 15 /sbin/fxos_log_shutdown
root     59454 59453  0 00:48 ?        00:00:00  |                   \_ /bin/sh /sbin/fxos_log_shutdown
root     59461 59454  0 00:48 ?        00:00:00  |                       \_ /bin/ps -ef –forest

Redenen voor het opnieuw instellen van het chassis analyseren

In dit gedeelte wordt de analyse van de redenen voor het opnieuw instellen van het chassis behandeld. Op het Firepower 4100/9300-chassis is de reden voor resetten alleen toegankelijk in:

• FXOS-CLI:

# connect fxos
(fxos)# show system reset-reason

• In de uitvoer van de opdracht Systeemreset-reden weergeven in probleemoplossingsbestanden voor chassis *_BC1_all/FPRM_A_TechSupport/sw_techsupportinfo, waarbij * het deel is van de bestandsnaam voor probleemoplossing, bijvoorbeeld 2025031123356_ FW_BC1_all

Op Firepower 1000, 2100, Secure Firewall 1200, 3100, 4200 is de reden voor resetten alleen toegankelijk in:

• FTD native mode (niet multi-instance) CLISH in expert mode: opt/cisco/platform/logs/portmgr.out
• FTD native mode probleemoplossingsbestand: dir-archives/opt-cisco-platform-logs/portmgr.out
• Bestand voor chassisprobleemoplossing op Firepower 1000, 2100 en Secure Firewall 1200, 3100, 4200: /opt/cisco/platform/logs/portmgr.out

Raadpleeg https://www.cisco.com/c/en/us/support/docs/security/sourcefire-defense-center/117663-technote-SourceFire-00.html voor informatie over het genereren van de FTD-, chassis- en beveiligingsmoduleprobleemoplossingsbestanden.

Ga als volgt te werk om de reden voor het opnieuw instellen van andere hardwareplatforms dan Firepower 4100/9300 te vinden:

1. In /opt/cisco/platform/logs/portmgr.out controleren op regels zoals Laatste reset oorzaak die overeenkomen met de reboot / shutdown tijdstempel. Zorg ervoor dat u alle portmgr.out-bestanden controleert, inclusief portmgr.out.1, portmgr.out.2, enzovoort.

2. Raadpleeg deze tabel voor de uitleg van veelvoorkomende redenen voor resetten:

Ga als volgt te werk om de reden voor het opnieuw instellen van Firepower 4100/9300 te vinden:

1. Voer op de FXOS CLI de opdracht Systeemreset-reden weergeven in de fxos-opdrachtshell uit. 

FPR4115-2 # connect fxos
…
FPR4115-2(fxos)# show system reset-reason
----- reset reason for Supervisor-module 1 (from Supervisor in slot 1) ---
1) At 612806449 usecs after Tue Jul 22 23:50:33 2025
    Reason: Reset Requested by CLI command reload
    Service:
    Version: 5.0(3)N2(4.141)

2) No time
    Reason: Unknown
    Service:
    Version: 5.0(3)N2(4.141)

3) No time
    Reason: Unknown
    Service:
    Version: 5.0(3)N2(4.141)

4) At 723697 usecs after Thu Oct  3 17:56:08 2024
    Reason: Reset Requested by CLI command reload
    Service:
    Version: 5.0(3)N2(4.120)

De uitvoer van deze opdracht is ook beschikbaar in het bestand voor probleemoplossing in het chassis *_BC1_all/FPRM_A_TechSupport/sw_techsupportinfo, waarbij * het onderdeel is van de bestandsnaam voor probleemoplossing, bijvoorbeeld 20250311123356_ FW_BC1_all

# pwd
20250521112103_FPR9300_BC1_all/FPRM_A_TechSupport
# less sam_techsupportinfo

Meest voorkomende redenen:

2. De reden Onbekend zonder tijd bij stap 1 duidt gewoonlijk op abrupt stroomverlies of problemen met de voedingseenheid (PSU). De aanbeveling is om incidenten te controleren op problemen met externe stroomuitval of stroomdistributie (PDU).

3. Controleer daarnaast de uitvoer van de show logging on board internal reset-reason | no-more command. De uitvoer van deze opdracht is ook beschikbaar in het bestand voor het oplossen van chassisproblemen *_BC1_all/FPRM_A_TechSupport/sw_kernel_trace_log, waarbij * het onderdeel is van de bestandsnaam voor het oplossen van problemen, bijvoorbeeld 20250311123356_ FW_BC1_all:

FPR4115-2 # connect fxos
…
KSEC-FPR4115-2(fxos)# show logging onboard internal reset-reason | no-more 
----------------------------
OBFL Data for
    Module:  1
----------------------------
Reset Reason for this card:
        Image Version : 5.0(3)N2(4.141)
        Reset Reason (SW): Unknown (0) at time Fri Jul  4 23:57:21 2025
          Service (Additional Info):
        Reset Reason (HW): FPGA  reset code: 0x0001
          FPGA Power-ON Reset at time Fri Jul  4 23:57:21 2025

Hardwarefouten of -uitzonderingen analyseren

Deze sectie behandelt de analyse van de bestanden die hardwarefouten of uitzonderingen bevatten.

Firepower 1000, 2100, Secure Firewall 1200, 3100, 4200, Firepower 4100/9300-beveiligingsmodules

De relevante dossiers zijn:

• /opt/cisco/platform/logs/mce.log (Uitzonderingslogboeken voor systeemcontrole)
• /ngfw/var/log/dmesg.log (alleen FTD)
• /opt/cisco/config/var/logs/dmesg.log
• /opt/cisco/platform/logs/messages

Deze bestanden kunnen hardwarefouten of uitzonderingslogboeken bevatten voor:

• Firepower 1000, 2100 en Secure Firewall 1200, 3100, 4200 chassis
• Firepower 4100- en 9300-beveiligingsmodules (niet het chassis)

De bestanden zijn alleen toegankelijk in:

• Standaard FTD-modus (niet meerdere exemplaren) CLISH in deskundige modus:
  • /opt/cisco/platform/logs/mce.log
  • /ngfw/var/log/dmesg.log (alleen FTD)
  • /opt/cisco/config/var/logs/dmesg.log
  • /opt/cisco/platform/logs/messages
• FTD native modus probleemoplossingsbestand:
  • dir-archives/var-common-platform_ts/opt/cisco/platform/logs/mce.log
  • DIR-Archives/var-common-platform_ts/opt/cisco/platform/logs/messages
  • dir-archives/var-common-platform_ts/opt/cisco/config/var/logs/dmesg.log
  • dir-archives/var-log/dmesg.log
• Problemen met het chassis oplossen op Firepower 1000, 2100 en Secure Firewall 1200, 3100, 4200:
  • /opt/cisco/platform/logs/mce.log
  • /opt/cisco/config/var/logs/dmesg.log
  • /opt/cisco/platform/logs/messages
• beveiligingsmodule tonen-tech bestand op Firepower 4100/9300:
  • /opt/cisco/platform/logs/mce.log
  • /opt/cisco/config/var/logs/dmesg.log
  • /opt/cisco/platform/logs/messages

Voorbeelden van hardwaregerelateerde fouten:

opt/cisco/config/var/logs/ $ less dmesg.log
[Sun Apr 27 05:17:10 2025] mce: [Hardware Error]: Machine check events logged
[Sun Apr 27 05:17:10 2025] mce: [Hardware Error]: Machine check events logged

/opt/cisco/platform/logs $ less messages
Jul  9 17:39:38 fw2 kernel: [  628.949572] [Hardware Error]: Corrected error, no action required.
Jul  9 17:39:38 fw2 kernel: [  629.023798] [Hardware Error]: CPU:2 (19:1:1) MC18_STATUS[Over|CE|MiscV|AddrV|-|-|SyndV|CECC|-|-|-]: 0xdc2040000000011b
Jul  9 17:39:38 fw2 kernel: [  629.152245] [Hardware Error]: Error Addr: 0x0000000068d06d40
Jul  9 17:39:38 fw2 kernel: [  629.152248] [Hardware Error]: PPIN: 0x02b0bc114ba60075
Jul  9 17:39:38 fw2 kernel: [  629.281830] [Hardware Error]: IPID: 0x0000009600550f00, Syndrome: 0x000400040a801200
Jul  9 17:39:38 fw2 kernel: [  629.374797] [Hardware Error]: Unified Memory Controller Ext. Error Code: 0, DRAM ECC error.
Jul  9 17:39:38 fw2 kernel: [  629.475078] [Hardware Error]: cache level: L3/GEN, tx: GEN, mem-tx: RD
Jul  9 17:44:40 fw2 kernel: [  930.967028] [Hardware Error]: Corrected error, no action required.
Jul  9 17:44:40 fw2 kernel: [  931.041247] [Hardware Error]: CPU:2 (19:1:1) MC18_STATUS[Over|CE|MiscV|AddrV|-|-|SyndV|CECC|-|-|-]: 0xdc2040000000011b
Jul  9 17:44:40 fw2 kernel: [  931.169689] [Hardware Error]: Error Addr: 0x000000007191d0c0
Jul  9 17:44:40 fw2 kernel: [  931.237616] [Hardware Error]: PPIN: 0x02b0bc114ba60075
Jul  9 17:44:40 fw2 kernel: [  931.299275] [Hardware Error]: IPID: 0x0000009600550f00, Syndrome: 0x000040000a801100


/opt/cisco/platform/logs $ less mce.log
Hardware event. This is not a software error.
MCE 0
CPU 0 BANK 7 TSC 7b29f624ae62e 
MISC 140129286 ADDR 3402b9a00 
TIME 1745747035 Sun Apr 27 09:43:55 2025
MCG status:
MCi status:
Corrected error
MCi_MISC register valid
MCi_ADDR register valid
MCA: MEMORY CONTROLLER RD_CHANNEL0_ERR
Transaction: Memory read error
STATUS 8c00004000010090 MCGSTATUS 0
MCGCAP 1000c16 APICID 0 SOCKETID 0 
PPIN afeebaf20487b95
MICROCODE 700000d
CPUID Vendor Intel Family 6 Model 86 Step 3
mcelog: failed to prefill DIMM database from DMI data

Catastrofale fouten (CATERR) op Firepower 4100/9300-beveiligingsmodules

Een CATERR is een uitzondering die door de verwerker wordt beweerd. Een CATERR kan wijzen op een CPU-crash of problemen op laag niveau die de blade ontoegankelijk maken. De chassisbegeleider start de beveiligingsmodule die CATERR heeft ervaren opnieuw op. De CATERR-logs bevinden zich in het probleemoplossingsbestand van Firepower 4100/9300, in CIMC<X>_TechSupport/obfl/ en CIMC<X>_TechSupport/var/log/sel, waarbij <X> staat voor modulenummer.

Een voorbeeld uit een voorbeeldbestand voor probleemoplossing in het chassis *_BC1_all/CIMC<X>_TechSupport.tar.gz/CIMC<X>_TechSupport.tar/obfl/obfl-log, waarbij * het onderdeel is van de bestandsnaam voor probleemoplossing, bijvoorbeeld 20250311123356_ FW_BC1_all en <X > de beveiligingsmodule-ID is:

2022 Mar 25 22:33:13 CET:4.1(30b):selparser:1950: selparser.c:727: # BF 06 00 00 01 02 00 00 19 35 3E 62 20 00 04 07 81 00 00 00 04 01 FF FF # 6bf | 03/25/2022 22:33:13 CET | CIMC | Processor CATERR_N #0x81 | Predictive Failure asserted | Asserted

De huidige Data Management Engine (DME) logt in *_BC1_all/FPRM_A_TechSupport.tar.gz\FPRM_A_TechSupport.tar\var\sysmgr\sam_logs\svc_sam_dme.log* of de logboeken voor het opnieuw opstarten in *_BC1_all/FPRM_A_TechSupport.tar.gz/FPRM_A_TechSupport.tar/opt/sam_logs.tgz/sam_logs.tar/sam_logs/svc_sam_dme.log* bevat de lijnen met Power Cycle Blade X vanwege CATERR, waarbij X de blade-ID is.

In het geval van CATERR kan een crashdump worden gegenereerd. De crashdump bevindt zich in *_BC1_all/CIMC<X>_TechSupport.tar.gz/CIMC<X>_TechSupport.tar/techsupport_pidxxxx/nv/etc/log/eng-repo/caterrlog.first.

Voorbeeldinhoud:

CRASH DUMP START TIME = Mon Dec 19 00:42:40 2022
               SERVER: presidio
               GetCpuID: CPUID = 0x00050654
               PresidioCatErrHandler: CPU TYPE : Skylake
               handleCaterr_Purley: ---
               PECI BUS : LOCKED
               CPU Socket 1 : Populated
               CPU Socket 2 : Populated
               Stage1Dump: ---
               MC0: IFU - Instruction Fetch Unit and Instruction Cache
               CPU1 (0x30): ThreadID 0 : IA32_MC0_CTL (0x400) : 0x0000000000000fff
               CPU1 (0x30): ThreadID 0 : IA32_MC0_STATUS (0x401) : 0x0000000000000000
               CPU1 (0x30): ThreadID 0 : IA32_MC0_ADDR (0x402) : 0x0000000000000000

Andere logbestanden van het platform analyseren

Deze sectie behandelt de analyse van de bestanden die platformlogs bevatten. Afhankelijk van de hardware kunnen sommige van deze bestanden logboeken bevatten die verband houden met het opnieuw opstarten en die worden geactiveerd door specifieke componenten.

Firepower 1000, 2100, Secure Firewall 1200, 3100, 4200, Firepower 4100/9300-beveiligingsmodules

De bestanden bevatten chassislogboeken voor:

• Firepower 1000, 2100 en Secure Firewall 1200, 3100, 4200 chassis
• Firepower 4100- en 9300-beveiligingsmodules (niet het chassis)

De bestanden zijn alleen toegankelijk in:

• FTD native mode (niet multi-instance) CLISH in expert mode in /opt/cisco/platform/logs/
• FTD native mode probleemoplossing bestand dir-archieven/var-common-platform_ts/opt/cisco/platform/logs/
• probleemoplossingsbestand voor chassis op Firepower 1000, 2100 en Secure Firewall 1200, 3100, 4200 in /opt/cisco/platform/logs/
• beveiligingsmodule Show-tech bestand op Firepower 4100/9300 in /opt/cisco/platform/logs/

Als u potentiële logs wilt vinden met betrekking tot opnieuw opstarten, zoekt u naar regels met trefwoorden zoals opnieuw opstarten, opnieuw opstarten, opstarten, afsluiten, opnieuw laden. Merk op dat dit de beste manier is, omdat het resultaat van de zoekopdracht een groot aantal overeenkomende regels kan retourneren. De gebruiker moet de overeenkomende lijnen analyseren.

Voorbeeld 1:

admin@firewall:/opt/cisco/platform/logs$ grep -Ei "power|reboot|reload|restart|shut" *
...
npu_accel_fatal_err_stats.log:nic_top_inb_q_restart_drop_cnt = 0
npu_accel_fatal_err_stats.log:nic_top_norm_q_restart_drop_cnt = 0
npu_accel_fatal_err_stats.log:nic_top_inb_q_restart_drop_cnt = 0
npu_accel_mgr.log:2025 Oct 03 14:29:16 NPU ACCEL MGR: FATAL - NPU Accelerator FAILED - REBOOTING the device !!
npu_accel_mgr.log:2025 Oct 09 18:13:09 NPU ACCEL MGR: FATAL - NPU Accelerator FAILED - REBOOTING the device !!
npu_accel_mgr.log:2025 Oct 17 17:11:23 NPU ACCEL MGR: FATAL - NPU Accelerator FAILED - REBOOTING the device !!
npu_accel_mgr.log:2025 Oct 17 17:31:55 NPU ACCEL MGR: FATAL - NPU Accelerator FAILED - REBOOTING the device !!
npu_accel_mgr.log:2025 Oct 17 19:29:29 NPU ACCEL MGR: FATAL - NPU Accelerator FAILED - REBOOTING the device !!
ntp.log:27 Sep 02:21:16 ntpd[1580]: 0.0.0.0 c016 06 restart
ntp.log:27 Sep 02:23:27 ntpd[10193]: 0.0.0.0 c016 06 restart
...

In dit geval werd de reboot geactiveerd als gevolg van het falen van de Network Processing Unit (NPU) Accelerator van de Secure Firewall 4200.

Bestanden SEL/OBFL analyseren

Dit gedeelte behandelt de analyse van de bestanden met de Security Event Logs (SEL) en de On Board Failure Logs (OBFL) op Firepower 4100/9300-beveiligingsmodules.

Deze bestanden bevatten de hardwaregebeurtenissen en energiestatuswijzigingen van de module en bevinden zich in het probleemoplossingsbestand van Firepower 4100/9300, in CIMC<X>_TechSupport/obfl/ en CIMC<X>_TechSupport/var/log/sel, waarbij <X> staat voor modulenummer.

Zoek naar lijnen met hoofdletterongevoelige stop, uitschakeling, uitschakeling, reset, kritiek.

Voorbeeld 1:

2023 Sep 21 13:53:13:4.1(30b):cipmi:1088: [[xxxCVxxx]]:oem_command.c:457:IPMI Request Message --> Chan:15, Netfn:0x04, Cmd:0x02, Data: 0x41 0x03 0x20 0x46 0x6f 0xa1 0x61 0x74, CC:0x00
2023 Sep 21 13:53:13:4.1(30b):selparser:1203: [[xxxCVxxx]]:selparser.c:727: # A9 04 00 00 01 02 00 00 49 DA 0B 65 41 F0 04 20 46 00 00 00 6F A1 61 74 # 4a9 | 09/21/2023 13:53:13 AWST | System Mgmt Software | OS stop/shutdown #0x46 | Run-time critical stop |  | Asserted
2023 Sep 21 13:53:14:4.1(30b):cipmi:1088: peci.c:278:Error: Failed to read local PCI config after 3 retries! Completion Code error [PECI Dev=0x30,Resp=0x00,CC=0x80] Request Details: [pci_bus=0x02,pci_dev=0x0a,pci_fxn=0x03,pci_reg=0x104,length=0x04]
2023 Sep 21 13:53:15:4.1(30b):kernel:-:<5>[platform_reset_cb_handler]:75:Platform Reset ISR -> ResetState: 1
2023 Sep 21 13:53:15:4.1(30b):cipmi:1088: ocmds_intel_me.c:251:Intel ME Operating State:[M0 without UMA](5)
2023 Sep 21 13:53:15:4.1(30b):cipmi:1088: ocmds_intel_me.c:261:Intel ME is initializing.

Voorbeeld 2 – Afsluiten op besturingssysteemniveau:

2025 Jul 30 23:31:02 UTC:4.1(30b):cipmi:1052: [[xxxCVxxx]]:oem_command.c:457:IPMI Request Message --> Chan:15, Netfn:0x04, Cmd:0x02, Data: 0x41 0x03 0x20 0x46 0x6f 0xa1 0x61 0x74, CC:0x00
2025 Jul 30 23:31:02 UTC:4.1(30b):selparser:1169: [[xxxCVxxx]]:selparser.c:727: # 48 03 00 00 01 02 00 00 36 AB 8A 68 41 F0 04 20 46 00 00 00 6F A1 61 74 # 348 | 07/30/2025 23:31:02 UTC | System Mgmt Software | OS stop/shutdown #0x46 | Run-time critical stop |  | Asserted
2025 Jul 30 23:31:04 UTC:4.1(30b):kernel:-:<5>[platform_reset_cb_handler]:75:Platform Reset ISR -> ResetState: 1
2025 Jul 30 23:31:05 UTC:4.1(30b):kernel:-:<4>[peci_ioctl]:293:non-responsive controller, resetting peci.  process = qpi_logger.
2025 Jul 30 23:31:05 UTC:4.1(30b):cipmi:1052: ocmds_intel_me.c:251:Intel ME Operating State:[M0 without UMA](5)
2025 Jul 30 23:31:05 UTC:4.1(30b):cipmi:1052: ocmds_intel_me.c:261:Intel ME is initializing.
2025 Jul 30 23:31:05 UTC:4.1(30b):information_logger:589: uptime.c:1219:Host Transition Ocurred. Event Count: 146. New state is "Power Off".

Voorbeeld 3 – de Baseboard Management Controller reset vanwege de waakhond:

2025 Jun 14 07:44:50 CDT:4.1(30b):kernel:-:<3>[watchdog_init]:487:BMC Watchdog resetted BMC.
2025 Jun 14 07:44:50 CDT:4.1(30b):kernel:-:<3>[watchdog_init]:489:BMC Watchdog System Bus Debug Status Registers: 0x0 and0x0
2025 Jun 14 07:44:50 CDT:4.1(30b):kernel:-:<3>[watchdog_init]:523:BMC Watchdog resetted BMC due to OOM.

Logboeken ASA/FTD-console analyseren

Deze sectie behandelt de analyse van de ASAConsole.log-bestanden die logs van de Lina-engine bevatten en kunnen worden gecontroleerd op tekenen van softwaretraceback of opnieuw opstarten.

Het bestand bevat afsluitings- of reboot-logs voor ASA/FTD op virtuele platforms, Firepower 1000, 2100 en Secure Firewall 1200, 3100, 4200 en Firepower 4100 en 9300-beveiligingsmodules (niet het chassis)

Het bestand is alleen toegankelijk in:

• FTD CLISH in deskundige modus: /ngfw/var/log/ASAConsole.log
• FTD-probleemoplossingsbestand: dir-archives/opt-cisco-platform-logs/ASAConsole.log.
• Problemen oplossen met de beveiligingsmodule op Firepower 4100/9300: /opt/platform/logs/ASAConsole.log
• Firepower 1000, 2100 en Secure Firewall 1200, 3100, 4200 chassis tonen technisch bestand: /opt/platform/logs/ASAConsole.log

Symptomen van traceback en het genereren van kernbestanden:

root@KSEC-CSF1210-6:/ngfw/var/log# less ASAconsole.log
2025-08-09 01:06:11 /bin/grep: (standard input): Resource temporarily unavailable
2025-08-09 01:06:11 /bin/grep: (standard input): Resource temporarily unavailable
2025-08-09 01:06:11 /bin/grep: (standard input): Resource temporarily unavailable
2025-08-09 01:06:35 !! !! First Crash in tid: 14834 signo: 11
2025-08-09 01:06:35
2025-08-09 01:06:35 Writing live core file to flash. Please do not reload.
2025-08-09 01:06:35
2025-08-09 01:06:35 Coredump starting....
2025-08-09 01:06:35 Corehelper: /opt/cisco/csp/cores/core.lina.11.14550.1754701595
2025-08-09 01:06:35 Waiting for Corehelper to finish....
2025-08-09 01:06:35 Livecore: generating coredump of 14550
2025-08-09 01:06:35 [New LWP 14795]
2025-08-09 01:06:35 [New LWP 14796]
2025-08-09 01:06:35 [New LWP 14834]
2025-08-09 01:06:35 [New LWP 14835]
2025-08-09 01:06:35 [New LWP 14836]
2025-08-09 01:06:35 [New LWP 14869]
2025-08-09 01:06:35 [New LWP 14934]
2025-08-09 01:06:35 [New LWP 14939]
2025-08-09 01:06:35 [New LWP 14940]
2025-08-09 01:06:35 [New LWP 14941]
2025-08-09 01:06:35 [New LWP 14942]
2025-08-09 01:06:35 [New LWP 14943]
2025-08-09 01:06:35 [New LWP 14945]
2025-08-09 01:06:35 [New LWP 14947]
2025-08-09 01:06:35 [New LWP 14948]

 Symptomen van Lina motor boot, merk de kloof in de log tijdstempels:

root@KSEC-CSF1210-6:/ngfw/var/log# less ASAconsole.log
2024-11-13 22:43:09 INFO: SW-DRBG health test passed.
2024-11-13 22:43:09 M_MMAP_THRESHOLD 65536, M_MMAP_MAX 82155
2024-11-13 22:43:10 /bin/grep: (standard input): Resource temporarily unavailable
2024-11-13 22:43:10 /bin/grep: (standard input): Resource temporarily unavailable
2024-11-13 22:43:10 /bin/grep: (standard input): Resource temporarily unavailable
2024-11-13 22:43:10 /bin/grep: (standard input): Resource temporarily unavailable
2024-11-13 22:43:10 User enable_1 logged in to firepower
2024-11-13 22:43:10 Logins over the last 1 days: 1. 
2024-11-13 22:43:10 Failed logins since the last login: 0. 
2024-11-13 22:43:10 Type help or '?' for a list of available commands.
2024-11-13 22:43:10 ^Mfirepower>
2025-04-04 09:11:46 System Cores 8 Nodes 1 Max Cores 24
2025-04-04 09:11:46 Number of Cores 3
2025-04-04 09:11:46 IO Memory Nodes: 1
2025-04-04 09:11:46 IO Memory Per Node: 1073741824 bytes num_pages = 262144 page_size = 4096
2025-04-04 09:11:46
2025-04-04 09:11:46 Global Reserve Memory Per Node: 2147483648 bytes Nodes=1
2025-04-04 09:11:46
2025-04-04 09:11:46 LCMB: got DMA 1073741824 bytes on numa-id=0, phys=0x00000001c0000000, virt=0x0000400040000000
2025-04-04 09:11:46 LCMB: HEAP-CACHE POOL got 2147483648 bytes on numa-id=0, virt=0x0000400080000000
2025-04-04 09:11:46
2025-04-04 09:11:46 total_reserved_mem = 1073741824
2025-04-04 09:11:46
2025-04-04 09:11:46 total_heapcache_mem = 2147483648
2025-04-04 09:11:46 total mem 5384115842 system 16318316544 kernel 21847377 image 85732792
2025-04-04 09:11:46 new 5384115842 old 1159474616 reserve 3221225472 priv new 2184737747 priv old 0
2025-04-04 09:11:46 Processor memory:   5384115842
2025-04-04 09:11:46 POST started...
2025-04-04 09:11:46 POST finished, result is 0 (hint: 1 means it failed)
2025-04-04 09:11:46
2025-04-04 09:11:46 Cisco Adaptive Security Appliance Software Version 9.22(1)1

Problemen met stroomspanning en voeding analyseren

Ga verder met deze sectie als als als onderdeel van de Analyse chassis reset redenen sectie reset redenen zoals deze worden gevonden:

• inschakelen
• PowerCycle-aanvraag
• Reset vanwege slechte spanning
• Onbekende reden:

No time
    Reason: Unknown
    Service:
    Version:

Deze redenen kunnen wijzen op mogelijke problemen met een of meer van deze:

• Tekort aan stroomvoorziening
• Problemen met de voedingseenheden (PSU)
• Problemen met de stroomkabels
• Problemen met de stroomdistributie-eenheden (PDU's) in het rack
• Problemen met de stroomvoorziening

Ga verder met deze stappen:

1. Om de omvang van het probleem te beperken, beantwoordt u deze vragen:

• Was het stroomverlies eenmalig of terugkerend?
• Heeft de firewall redundante voedingseenheden?
• Zijn de voedingseenheden aangesloten op verschillende stroombronnen en/of PDU's?
• Zijn er andere apparaten aangesloten op dezelfde voedingsbron en/of voedingseenheid?
• Hebben andere apparaten die zijn aangesloten op dezelfde voedingsbron en/of voedingseenheid ook stroomverlies ervaren?

2. Als op basis van de vragen uit de eerste stap alleen de firewall wordt beïnvloed, zorg er dan voor dat:

• De voedingskabels zijn nauw verbonden met de voedingsbron en het chassis.
• Stroomkabels zijn niet beschadigd. Probeer de voedingskabels te vervangen om mogelijke problemen met de kabels uit te sluiten.
  
  

3. Als het chassis onverwacht opnieuw opstart, verzamelt u de uitvoer van deze opdrachten in FXOS een paar keer:

scope chassis 1
show psu detail expand
scope psu 1
show stats history psu-stats detail expand
show stats psu-stats detail expand
exit
scope psu 2
show stats history psu-stats detail expand
show stats psu-stats detail expand

4. Verzamel het bestand voor probleemoplossing van het chassis.

Referenties 

1. Versies van Firepower-software controleren
2. Controleer Firepower, instantie, beschikbaarheid, schaalbaarheid en configuratie
3. Gegevens verzamelen voor analyse van de hoofdoorzaak van softwaretraceback/crash in beveiligde firewall
4. Problemen oplossen bij procedures voor het genereren van Firepower-bestanden