Fout bij upgrade naar Secure Firewall 7.6 FTD HA verminderen

Inleiding

In dit document wordt beschreven hoe problemen kunnen worden opgelost bij FTD-upgradefouten van versie 7.0 tot 7.2, met name bij High Availability (HA)-implementaties.

Achtergrondinformatie

Meer dan de helft van deze fouten is het gevolg van problemen tijdens de fase 200_enable_maintenance_mode, waarbij bestaande HA-validaties voornamelijk basiscontroles van de actieve/stand-bystatus uitvoeren, die ontoereikend zijn voor uitgebreide HA-overgangen.

Met de Secure Firewall 7.6-update zijn verbeterde HA-validaties geïntroduceerd om deze problemen aan te pakken. Deze verbeteringen omvatten grondige controles voor HA-toestandsovergangen, verlengde time-outs voor synchronisatieprocessen en verbeterde foutenrapportage. Deze update heeft tot doel de problemen met HA na de upgrade en de algehele upgradefouten aanzienlijk te verminderen, waardoor een soepeler en betrouwbaarder upgradeproces voor HA-implementaties wordt gegarandeerd.

Gemigreerd van: https://confluence-eng-rtp2.cisco.com/conf/display/IFT/FTD+HA+Upgrade+Failure+Reduction

Probleem

• Er zijn een aanzienlijk aantal FTD-upgradefouten gemeld door klanten in 7.0-, 7.1- en 7.2-releases voor HA-implementaties.
• Meer dan 50% van de storingen komt van FTD HA-implementaties. Fouten in 200_enable_maintenance_mode dragen bij aan HA-fouten.
• Bestaande HA-toestandsvalidaties zijn basisvalidaties zoals actieve/standby-toestandscontroles en valideren de HA-overgangen niet volledig.

Wat is nieuw (oplossing)

Verbeterde HA-validaties voor FTD-upgrade:

• Validering voor overgang van HA-toestand
• Verbeterde FTD HA-upgradetime-outs voor HA-overgangstoestand zoals config-synchronisatie (7200 seconden), app-synchronisatie (1200 seconden) en bulksynchronisatie (7200 seconden)
• FMC meer controle geven over wanneer de FTD-upgrade moet worden gestart of mislukt
• Verbeterde foutmelding en herstelbericht voor FTD HA-upgrades

In vergelijking met eerdere releases heeft het:

• Verbeterde HA-validaties helpen de problemen met het maken van HA na de upgrade bij HA-implementaties te verminderen
• Verbeterde validaties helpen FTD-upgradefouten te verminderen

Voorwaarden

Ondersteunde platforms

• Manager(s) en Versie(s): FMC 7.6.0
• Toepassing (ASA/FTD) en minimale versie van toepassing: FTD 7.6.0; FMC beheert 7.6.0 FTD HA
• Ondersteunde platforms: Alle platforms waarop FTD HA wordt uitgevoerd
  
  

Opmerking: deze functie is alleen van toepassing op FTD HA-implementaties die door de FMC worden beheerd. Deze functie is niet van toepassing op door FDM beheerde FTD HA of geclusterde apparaten.

Overzicht van functies

• Deze functie helpt FTD-upgradefouten bij HA-implementatie te verminderen door de HA-status van de geüpgradede eenheden door FMC te controleren na het reboot-gedeelte van het upgradeproces.
• Nadat de upgrade opnieuw is opgestart, controleert de FMC of de status actief/stand-by is en of er fouten zijn opgetreden in de synchronisatie van de HA.
• FTD geeft FMC een melding wanneer de upgrade op het tweede knooppunt moet worden gestart of mislukt in de vorm van een nieuwe probleemoplossing vooraf van HA.
• Als het na het opnieuw opstarten van de upgrade niet lukt om deel te nemen aan de HA, wordt een passend bericht weergegeven op de FMC UI.

Nieuwe Upgrade Workflow voor FTD HA

Standby Unit is de eerste die een upgrade uitvoert

Eerste upgrade van de eenheid (stand-byeenheid)

• Tijdens de eerste upgrade van de eenheid initieert het upgradescript de action_queue-taak om vooraf HA-probleemoplossingsgegevens te verzamelen in de 999_finish-fase.
• De uitvoering van de ingevoegde taak begint pas na het opnieuw opstarten van de upgrade en verzamelt informatie over probleemoplossing in de vorm van een JSON-bestand.
• Hetzelfde JSON-bestand wordt gesynchroniseerd met FMC.
• Zodra de eerste node de onderhoudsmodus verlaat, activeert FMC een taak op afstand action_queue op de actieve eenheid om de probleemoplossing voor HA vooraf te verzamelen (actieve eenheid moet 7,6 of hoger zijn). Als de actieve eenheid lager dan 7,6 wordt gevonden, wordt er geen probleemoplossing verzameld van de actieve eenheid en neemt de FMC een beslissing op basis van de probleemoplossing die is verzameld van de stand-byeenheid.

Zodra de probleemoplossing voor HA vooraf bij beide eenheden is verzameld, besluit de FMC de upgrade te starten of de upgrade op het tweede knooppunt (actieve eenheid) te blokkeren.

Tweede upgrade-eenheid (actieve eenheid)

• Net als bij de stand-by-eenheid, initieert het upgradescript de action_queue-taak om vooraf HA-problemen op te lossen in de 999_finish-fase.
• Ingevoegde taakuitvoering start alleen na het opnieuw opstarten van de upgrade en genereert probleemoplossingsinformatie in de vorm van een JSON-bestand.
• Hetzelfde bestand wordt gesynchroniseerd met FMC.
• Als een van de units HA-fout meldt, worden de HA-foutgegevens weergegeven op de FMC UI op het tabblad Upgrade.
• In het geval van een fout in het deelnemen aan HA na het opnieuw opstarten van de upgrade, wordt de upgrade gemarkeerd als voltooid en op hetzelfde upgradetabblad worden HA-validatiefouten gemeld.

HA Advance-probleemoplossing

• HA advance troubleshoot is een nieuw JSON-bestand dat als onderdeel van deze functie is geïntroduceerd en HA-informatie bevat. Het wordt gegenereerd na de reboot na een upgrade en verzonden van de FTD naar de FMC.
• Bestandsnaam en pad: /ngfw/var/sf/sync/ha/upgrade_troubleshoot
• Zodra FMC de HA-probleemoplossing van de eerste (stand-by) eenheid verzamelt, activeert FMC een externe taak om dezelfde informatie van de actieve eenheid te verzamelen.
  • Deze gegevensverzameling op afstand wordt alleen ondersteund wanneer de apparaten 7.6 of hoger uitvoeren.
  • Als apparaten worden gevonden met een versie van minder dan 7.6, wordt het verzamelen van gegevens op afstand overgeslagen. In dit geval zou de FMC dus alleen gegevens van de stand-by-eenheid verzamelen en besluiten tot verdere actie.

• HA geavanceerde probleemoplossingsgeneratie is snel. Als Lina down is en er niet in slaagt om het rapport te genereren, wordt het onmiddellijk afgesloten.
  • De reboot-tijd van het apparaat is afhankelijk van platform tot platform en de reboot-tijd is hetzelfde als we voor elk platform hebben gedocumenteerd.

Voorafgaand probleemoplossingsrapport van HA

Elke HA-eenheid genereert vooraf een HA-probleemoplossingsgegevens in de vorm van een JSON-bestand na het opnieuw opstarten van de upgrade en deelt deze met FMC. Hier zijn validatievoorbeelden wanneer er sprake is van een mislukking en succes.

Voorbeeld van HA-validatiefout

Bestand: /ngfw/var/sf/sync/ha/upgrade_troubleshoot

{
"failover_lan" : "NA",
"error_code" : "1046 -
STARTUP_FAILOVER_CONFIG_NOT_PRESENT",
"current_time" : 1701369637,
"peer_HA_state" : "Not Detected",
"FMC_AQ_ID" : "0",
"state_link" : "NA",
"json_time" : "18:40:37 UTC Nov 30 2023",
"my_HA_state" : "Disabled",
"my_HA_role" : "Secondary",
"return_status" : "STATUS_ERROR",
"message" : "Failover config is not present on the startup
config. Device is in standalone state. Please configure failover.",
"peer_HA_role" : "Primary"
}

Voorbeeld van succesvolle HA-validatie

Bestand: /ngfw/var/sf/sync/ha/upgrade_troubleshoot

{
"return_status" : "STATUS_OK",
"message" : "No Action required.",
"current_time" : 1699526448,
"my_HA_state" : "Standby Ready",
"FMC_AQ_ID" : "0",
"retry_count" : "3",
"error_code" : "0000 - HA_OK",
"peer_HA_role" : "Secondary",
"failover_lan" : "up",
"peer_HA_state" : "Active",
"my_HA_role" : "Primary",
"state_link" : "up",
"json_time" : "10:40:48 UTC Nov 09 2
}

Inhoud van HA Advance Troubleshoot

Locatie van HA Advance Troubleshoot File

HA advance troubleshoot JSON bestandslocatie:

On FTD: /ngfw/var/sf/sync/ha/upgrade_troubleshoot
On FMC: /var/sf/peers//sync/ha/upgrade_troubleshoot

• De HA-probleemoplossing is gebaseerd op het lina-commando.
  • Als de probleemoplossing niet kan worden gegenereerd op /ngfw/var/sf/sync/ha/upgrade_troubleshoot, kan de gebruiker de logbestanden raadplegen op: /ngfw/var/log/ha_upgrade_troubleshoot.log
• /ngfw/var/sf/sync/ha/upgrade_troubleshoot en /ngfw/var/log/ha_upgrade_troubleshoot.log maken deel uit van het FTD Troubleshoot-bestand.

Tips voor HA Advance Troubleshoot Generation-problemen

Soms wordt HA advance troubleshoot niet gegenereerd vanwege de systeemstatus en de reden hiervoor kan lineair zijn of het proces van de actiewachtrij is down na het opnieuw opstarten van de upgrade. Als lina of action queue niet beschikbaar is, is dit een probleem.

Controleer in dergelijke gevallen of lina- en ActionQueue-processen worden uitgevoerd met behulp van deze opdracht in de expertmodus:

pmtool status | grep lina
lina (system) - Running 5503  Indicates Lina is up and running

pmtool status | grep ActionQueueScrape
ActionQueueScrape (system) - Running 5268  Indicates action queue is up and running

Status en actie retourneren in probleemoplossing van HA Advance

• STATUS_INIT: Dit geeft aan dat de HA-probleemoplossing is geactiveerd.
• STATUS_OK: Het apparaat bevindt zich in een stabiele toestand. Er is geen actie vereist.
• STATUSFOUT: Hiermee wordt bepaald dat er een fout is opgetreden als gevolg waarvan geen HA is gevormd. De gebruiker moet een actie ondernemen op basis van het weergegeven bericht of de gebruiker moet contact opnemen met TAC.
• STATUS_RETRY: Het apparaat kan zich in een van de tussenliggende toestanden bevinden. De HA-probleemoplossing blijft opnieuw proberen na een vast interval op basis van de status totdat STATUS_ERROR of STATUS_OK wordt aangetroffen.
  • Op basis van de aangetroffen fouten STATUS ERROR, worden de HA-fouten onderverdeeld in 2 gevallen:
    • Interventie van de gebruiker – Deze HA-fouten kunnen door de gebruiker worden opgelost en de gebruiker kan de upgrade hervatten, waarbij de TAC-interventie niet vereist is.
    • TAC-interventie – Voor deze HA-fouten kan de gebruiker het niet zelf oplossen; TAC-interventie is vereist.

Foutcode en classificatie

Op basis van foutcodes worden Fouten geclassificeerd zoals hieronder weergegeven:

Berichten voor gebruikersinterventie

TAC-interventieberichten

UI-wijzigingen in Firewall Management Center

Softwarearchitectuur

Deze functie is sterk afhankelijk van het bestaande actiewachtrijkader. De functie maakt gebruik van de onderliggende lina CLI om de HA vooraf probleemoplossingsgegevens te genereren.

Veelgestelde vragen

V: Is de functie van toepassing op de FTD-upgradeterugkeerfunctionaliteit?
A: Nee. Deze functie is niet van toepassing op de terugkeerfunctionaliteit, omdat FTD-terugkeerfuncties parallel werken en niet 1 bij 1.

V: Als de upgrade mislukt op 200_enable_maintenance_mode.pl, genereert deze dan de gegevens voor het vooraf oplossen van problemen?
A: Nee. Problemen met HA vooraf worden alleen na het opnieuw opstarten van de upgrade gegenereerd en niet tijdens het mislukken van de upgrade

V: Als de upgrade is geblokkeerd vanwege HA-validaties op de tweede eenheid, kan een gebruiker dan alleen de upgrade op de tweede eenheid activeren?
A: Ja. De gebruiker moet het HA-paar opnieuw selecteren voor een upgrade en FMC activeert de upgrade alleen op een niet-geüpgraded apparaat.