Cisco SDWAN Manager 3 Node Cluster Disaster Recovery

Inleiding

Dit document beschrijft de stateful aard van Cisco vManage en de primaire/secundaire aangewezen router (DR), waardoor handmatige failover met automatische gegevensreplicatie mogelijk wordt.

Voorwaarden

Vereisten

Cisco raadt u aan kennis te hebben van vManage-clusters met 3 knooppunten.
Er moeten twee afzonderlijke vManage-clusters met drie knooppunten worden geconfigureerd en operationeel zijn om door te gaan met noodherstel. Op het actieve cluster moeten validators en controllers zijn geïnstalleerd. Als u validators en controllers op de DR-site hebt staan, moeten deze ook op het actieve cluster worden geïnstalleerd en niet op het DR vManage-cluster.

Cisco raadt u aan om aan de volgende vereisten te voldoen voordat u Disaster Recovery registreert:

• Zorg ervoor dat de primaire en de secundaire node bereikbaar zijn via HTTPS op een transport VPN (VPN 0).
• Zorg ervoor dat Cisco vSmart Controllers en Cisco vBond Orchestrators op de secundaire setup zijn aangesloten op de primaire setup.
• Zorg ervoor dat de primaire node en de secundaire node van Cisco vManage dezelfde Cisco vManage-versie gebruiken.
• Out-of-band clusterinterface in VPN 0:
  • Voor elke vManage-instantie in een cluster is een derde interface (clusterkoppeling) vereist naast de interfaces die worden gebruikt voor VPN 0 (transport) en VPN 512 (beheer).
  • Deze interface wordt gebruikt voor communicatie en synchronisatie tussen de vManage-servers in het cluster.
  • Deze interface moet ten minste 1 Gbps zijn en een latentie van 4 ms of minder hebben. Een interface van 10 Gbps wordt aanbevolen.
  • Beide vManage-knooppunten moeten elkaar via deze interface kunnen bereiken: of het nu een laag 2-segment is of via laag 3-routering.
  • In elke vManage moet deze interface in de GUI worden geconfigureerd als een clusterinterface (Beheer>Clusterbeheer – geef uw eigen IP-adres, gebruiker en wachtwoord voor de out-of-band clusterinterface aan).
  • Om Cisco vManage-knooppunten in staat te stellen met elkaar te communiceren via datacenters, schakelt u de TCP-poorten 8443 en 830 in op uw firewalls voor datacenters.
• Zorg ervoor dat alle services (toepassingsserver, configuratie-db, berichtenserver, coördinatieserver en statistiek-db) zijn ingeschakeld op beide Cisco vManage-knooppunten.
• Verdeel alle controllers, inclusief Cisco vBond Orchestrators, over zowel primaire als secundaire datacenters. Zorg ervoor dat deze controllers bereikbaar zijn voor Cisco vManage-knooppunten die over deze datacenters zijn verdeeld. De controllers maken alleen verbinding met de primaire Cisco vManage-node.
• Zorg ervoor dat er geen andere bewerkingen worden uitgevoerd in de actieve (primaire) en de standby (secundaire) Cisco vManage-node. Zorg er bijvoorbeeld voor dat er geen servers bezig zijn met het upgraden of koppelen van sjablonen aan apparaten.
• Schakel de Cisco vManage HTTP/HTTPS-proxyserver uit als deze is ingeschakeld. Zie HTTP/HTTPS-proxyserver voor Cisco vManage-communicatie met externe servers. Als u de proxyserver niet uitschakelt, probeert Cisco vManage een noodherstelcommunicatie tot stand te brengen via het IP-adres van de proxy, zelfs als de IP-adressen van Cisco vManage out-of-band clusters direct bereikbaar zijn. U kunt de Cisco vManage HTTP/HTTPS-proxyserver opnieuw inschakelen nadat de registratie voor Disaster Recovery is voltooid.
• Voordat u het registratieproces voor noodherstel start, gaat u naar het venster Tools > Netwerk opnieuw ontdekken op het primaire Cisco vManage-knooppunt en herontdekt u de Cisco vBond Orchestrators.

Gebruikte componenten

De informatie in dit document is gebaseerd op de volgende softwareversies:

• Manager: 20.12.5
• Validator: 20.12.5
• Controleur: 20.12.5
• cEdge: 17.12.5

De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk live is, moet u zorgen dat u de potentiële impact van elke opdracht begrijpt.

Achtergrondinformatie

Disaster Recovery biedt een door de beheerder getriggerd failoverproces. Wanneer Disaster Recovery wordt geregistreerd, worden gegevens automatisch gerepliceerd tussen de primaire en secundaire Cisco vManage-clusters. Indien nodig voert u handmatig een failover uit naar het secundaire cluster.

Configureren

Netwerkdiagram

Dit cijfer illustreert de architectuur op hoog niveau van de Disaster Recovery-oplossing met een cluster met drie knooppunten.

Configuraties

Raadpleeg deze link voor meer informatie over vManage Disaster Recovery.

De twee afzonderlijke clusters met drie knooppunten zijn al gemaakt, ervan uitgaande dat elke SD-WAN-beheerder een minimale configuratie heeft en dat het certificeringsgedeelte is voltooid.

• Navigeer naar Beheer > Clusterbeheer op beide clusters en controleer of alle knooppunten klaar zijn.

DC vManage:

DR-vManage:

• Navigeer naar Beheer>Disaster Recovery. Klik op Disaster Recovery beheren.

• Vul in het pop-upvenster de gegevens voor zowel primaire als secundaire vManage in.

  De aan te geven IP-adressen zijn de out-of-band clusterinterfaces en IP-adressen.

  De referenties moeten afkomstig zijn van een netadmin-gebruiker en mogen niet worden gewijzigd zodra de DR is geconfigureerd, tenzij deze wordt verwijderd.

  
  

  Klik op Volgende zodra u deze hebt ingevuld.

  • Vul de gegevens van de vBond-controllers in.
    

  De vBond-controllers moeten bereikbaar zijn via het opgegeven IP-adres via Netconf.

  

  Klik op Volgende zodra u deze hebt ingevuld.
  
  

  • Kies in de herstelmodus Handmatig. De automatische modus is uitgeschakeld. Klik op Next (Volgende).

Stel de waarde in en klik op Opslaan.

• De registratie van DR begint nu. Klik op de knop Vernieuwen om de status en de voortgangslogboeken handmatig te vernieuwen. Dit proces kan tot 20-30 minuten duren.
  

Verificatie

• Navigeer naar Beheer>Disaster Recovery om de Disaster Recovery-status te bekijken en wanneer de gegevens de laatste keer zijn gerepliceerd.
  
  
  

  Opmerking: in dit scenario duurde replicatie slechts 49 seconden omdat de laboratoriumomgeving een kleine database heeft. Replicatie kan echter enkele uren duren, afhankelijk van de grootte van de database. Bovendien kan het enkele cycli vereisen om een succesvolle replicatie te bereiken.

Logbestand voor noodherstel in beide clusters controleren.

DC-vmanage (9a15f979-d613-4d75-97bf-f7d4124bc687 is export ID)
vmanage1:/var/log/nms$ cat vmanage-disaster_recovery.log | grep 9a15f979-d613-4d75-97bf-f7d4124bc687
04-Jul-2025 05:17:08,297 UTC INFO [] [] [DataReplicationManager] (pool-232-thread-1) || Export ID Generated: 9a15f979-d613-4d75-97bf-f7d4124bc687
04-Jul-2025 05:17:58,431 UTC INFO [] [] [DisasterRecoveryAlarmsDAO] (pool-232-thread-1) || AlarmsDAO::addAlarm() - Adding alarm {suppressed=false, component=["Disaster Recovery"], severity="Info", eventname="EXPORT_DATA", message="Primary Successfully Exported", acknowledged=false, active=true, type="Disaster_Recovery", rule_name_display="Disaster_Recovery", uuid="ec133314-7205-4afc-bee3-a4b080fc42f0", update_time=1751606278431, entry_time=1751606278431, values=[{host-name="vmanage1", system-ip="11.11.11.1", dcPersonality="primary", exportSize="22.363 MB", exportDuration="49 secs", exportID="9a15f979-d613-4d75-97bf-f7d4124bc687"}], values_short_display=[{host-name="vmanage1", system-ip="11.11.11.1", dcPersonality="primary", exportSize="22.363 MB", exportDuration="49 secs", exportID="9a15f979-d613-4d75-97bf-f7d4124bc687"}], devices=[{host-name="vmanage1", system-ip="11.11.11.1", dcPersonality="primary", exportSize="22.363 MB", exportDuration="49 secs", exportID="9a15f979-d613-4d75-97bf-f7d4124bc687"}], receive_time=1751606278431} 
04-Jul-2025 05:17:58,722 UTC INFO [] [] [DataReplicationManager] (pool-232-thread-1) || Sending the import request to remote server 89.89.89.4 for exportID: 9a15f979-d613-4d75-97bf-f7d4124bc687.
04-Jul-2025 05:17:59,081 UTC INFO [a17a50ae-e6d3-401c-9d34-7c9423a5dd5a] [vmanage1] [DisasterRecoveryRestfulResource] (default task-32) |default| Received request from 89.89.89.1, for token: 9a15f979-d613-4d75-97bf-f7d4124bc687, and file: default_1751001428297.tar.gz 
04-Jul-2025 05:21:06,515 UTC INFO [a456da19-9868-42e1-b3e7-9cb7ef3bdb81] [vmanage1] [DisasterRecoveryRestfulResource] (default task-31) |default| Replication status for exportID: 9a15f979-d613-4d75-97bf-f7d4124bc687, is Success
vmanage1:/var/log/nms$

DR-Vmanage
DR-vmanage1:/var/log/nms$ cat vmanage-disaster_recovery.log | grep 9a15f979-d613-4d75-97bf-f7d4124bc687
04-Jul-2025 05:15:23,296 UTC INFO [] [] [DataReplicationManager] (Thread-366) || Payload received for data replication: {replicationDir="/opt/data/disaster_recovery/", filename="default_1751001428297.tar.gz", exportID="9a15f979-d613-4d75-97bf-f7d4124bc687", deviceIP="89.89.89.1", exportTime="1751606278229", exportDuration="49 secs", exportSize="22.363 MB", SwitchOverHistoryNode={lastSwitch=0, reasonForSwitch=null, updatedPrimary="89.89.89.1"}, startTime="1751606228297", sha256sum="06363770a967beec4667f29e5b033de4a538523f34e36d9952ffc893fb0557db"}
04-Jul-2025 05:15:23,298 UTC INFO [] [] [DataReplicationManager] (Thread-366) || destinationURL dataservice/disasterrecovery/download/9a15f979-d613-4d75-97bf-f7d4124bc687/default_1751001428297.tar.gz Saved to File /opt/data/disaster_recovery/default_1751001428297.tar.gz
04-Jul-2025 05:15:24,040 UTC INFO [] [] [DisasterRecoveryAlarmsDAO] (Thread-366) || AlarmsDAO::addAlarm() - Adding alarm {suppressed=false, component=["Disaster Recovery"], severity="Info", eventname="DOWNLOAD_DATA", message="Replication payload successfully downloaded by secondary", acknowledged=false, active=true, type="Disaster_Recovery", rule_name_display="Disaster_Recovery", uuid="94ab4c3a-26d9-4d99-b631-d380313d7f08", update_time=1751606124040, entry_time=1751606124040, values=[{host-name="DR-vmanage1", system-ip="12.12.12.1", dcPersonality="secondary", exportSize="22.363 MB", downloadDuration="00 secs", exportID="9a15f979-d613-4d75-97bf-f7d4124bc687"}], values_short_display=[{host-name="DR-vmanage1", system-ip="12.12.12.1", dcPersonality="secondary", exportSize="22.363 MB", downloadDuration="00 secs", exportID="9a15f979-d613-4d75-97bf-f7d4124bc687"}], devices=[{host-name="DR-vmanage1", system-ip="12.12.12.1", dcPersonality="secondary", exportSize="22.363 MB", downloadDuration="00 secs", exportID="9a15f979-d613-4d75-97bf-f7d4124bc687"}], receive_time=1751606124040} 
04-Jul-2025 05:15:24,170 UTC INFO [] [] [DataReplicationManager] (Thread-366) || Downloaded replication file size 23449259 for token 9a15f979-d613-4d75-97bf-f7d4124bc687
04-Jul-2025 05:15:24,171 UTC INFO [] [] [DisasterRecoveryManager] (Thread-366) || Sending rpc message to copyReplicationFile for token 9a15f979-d613-4d75-97bf-f7d4124bc687
04-Jul-2025 05:15:24,216 UTC INFO [] [] [DisasterRecoveryManager] (Thread-366) || Sending message to destinations [Endpoint{ip='89.89.89.5', uuid='c3e303a2-53d0-4525-901b-d96e9ce92875'}, Endpoint{ip='89.89.89.6', uuid='bf45f345-ff2e-48ec-b8fd-0bb92427cc28'}] for token 9a15f979-d613-4d75-97bf-f7d4124bc687
04-Jul-2025 05:15:24,245 UTC INFO [] [] [DisasterRecoveryManager] (Thread-366) || Waiting for copyReplicationFile to complete for token 9a15f979-d613-4d75-97bf-f7d4124bc687

04-Jul-2025 05:18:19,545 UTC INFO [] [] [DataReplicationWorker] (Thread-366) || Successfully Deleted Imported Data Directory /opt/data/disaster_recovery/9a15f979-d613-4d75-97bf-f7d4124bc687
04-Jul-2025 05:18:19,643 UTC INFO [] [] [DisasterRecoveryAlarmsDAO] (Thread-366) || AlarmsDAO::addAlarm() - Adding alarm {suppressed=false, component=["Disaster Recovery"], severity="Info", eventname="IMPORT_DATA", message="Secondary Successfully Imported", acknowledged=false, active=true, type="Disaster_Recovery", rule_name_display="Disaster_Recovery", uuid="1fc80500-f621-4d45-9395-4ed949ddda68", update_time=1751606299643, entry_time=1751606299643, values=[{host-name="DR-vmanage1", system-ip="12.12.12.1", dcPersonality="secondary", exportSize="22.363 MB", importDuration="02 mins 45 secs", exportID="9a15f979-d613-4d75-97bf-f7d4124bc687"}], values_short_display=[{host-name="DR-vmanage1", system-ip="12.12.12.1", dcPersonality="secondary", exportSize="22.363 MB", importDuration="02 mins 45 secs", exportID="9a15f979-d613-4d75-97bf-f7d4124bc687"}], devices=[{host-name="DR-vmanage1", system-ip="12.12.12.1", dcPersonality="secondary", exportSize="22.363 MB", importDuration="02 mins 45 secs", exportID="9a15f979-d613-4d75-97bf-f7d4124bc687"}], receive_time=1751606299643} 
04-Jul-2025 05:18:19,707 UTC INFO [] [] [DataReplicationManager] (Thread-366) || Successfully imported data from exportID 9a15f979-d613-4d75-97bf-f7d4124bc687
04-Jul-2025 05:18:19,716 UTC INFO [] [] [DisasterRecoveryManager] (Thread-366) || Sending rpc message to deleteReplicationFile for token 9a15f979-d613-4d75-97bf-f7d4124bc687
04-Jul-2025 05:18:19,849 UTC INFO [] [] [DisasterRecoveryManager] (Thread-366) || Sending message to destinations [Endpoint{ip='89.89.89.5', uuid='c3e303a2-53d0-4525-901b-d96e9ce92875'}, Endpoint{ip='89.89.89.6', uuid='bf45f345-ff2e-48ec-b8fd-0bb92427cc28'}] for token 9a15f979-d613-4d75-97bf-f7d4124bc687

Hoe de kopieerknooppunt voor replicatie te verifiëren?

• Gebruik de volgende API om de koploper voor replicatie-node op beide clusters te vinden:

https://<vmanage-ip>/Data Service/Entity Ownership/Tree.

Voor DC-cluster:
Replicatieknooppunt is cb87a08e-079e-4394-81c3-e63c36ac22c0 dat knooppunt1 is, controleer het van show control local-properties.

Evenzo voor DR-vManage is de replicatienode d78832e5-e6d3-4b6b-bf61-f923cf3c7282.

Update van wachtwoord voor validator (vBond) na registratie voor Disaster Recovery

Als u het vBond-wachtwoord wijzigt nadat de registratie voor Disaster Recovery is voltooid, mislukt een overschakeling omdat het vBond-wachtwoord niet wordt bijgewerkt in het secundaire cluster, dat nog steeds het oude vBond-wachtwoord behoudt.

[04-July-2025 6:47:35 UTC] Unshut control tunnel on the standby vManage. 
[04-July-2025 6:47:36 UTC] Sleeping for 10 seconds to ensure control tunnel is fully up and functional on the vmanage. 
[04-July-2025 6:47:55 UTC] Failed to activate the cluster. Vbond is unreachable 

================ 

04-July-2025 06:47:55,206 UTC ERROR [89b008fa-2c1b-4f78-b093-ed1fa1f06b71] [vManage20-14-DR] [DisasterRecoveryManager] (dr_activate) |default| IP credentials are not reachable through given ip and authentication creds com.viptela.vmanage.server.device.common.NetConfClientException: java.io.IOException: Unable to authenticate for deviceIP 10.66.91.163. With session Nio2Session[local=/10.66.91.173:56704, remote=/10.66.91.163:830]! 
at com.viptela.vmanage.server.device.common.NetConfClient.connect(NetConfClient.java:255) ~[vmanage-server-1.0.0-SNAPSHOT.jar:?] 
at com.viptela.vmanage.server.device.common.NetConfClient.(NetConfClient.java:114) ~[vmanage-server-1.0.0-SNAPSHOT.jar:?]

Wachtwoord voor validator (vbond) bijwerken

Zorg ervoor dat u het nieuwe vBond-wachtwoord bijwerkt op zowel de Disaster Recovery-pagina als onder Wachtwoord beheren:

Beheer > Disaster Recovery > Wachtwoord beheren > vBond-wachtwoord bijwerken.

Zorg ervoor dat de replicatie succesvol is na het bijwerken van het wachtwoord. Probeer een failover alleen na bevestiging van succesvolle replicatie.

voorbehoud: https://bst.cloudapps.cisco.com/bugsearch/bug/CSCwn19224.

Nieuwe validator (vBond) toevoegen aan bedekking na registratie voor Disaster Recovery

Het toevoegen van een nieuwe validator aan de SD-WAN-overlay na registratie voor Disaster Recovery wordt niet ondersteund, omdat de installatie voor Disaster Recovery niet op de hoogte is van deze nieuwe validatorinformatie omdat deze niet is bijgewerkt tijdens de registratie.

Hoewel u de validator kunt toevoegen, mislukt een switchover.

Als u een nieuwe validator moet toevoegen, volgt u de volgende stappen:

1. Verwijder de installatie voor Disaster Recovery.

2. Voeg de nieuwe validator toe aan de SD-WAN-overlay.

3. Disaster recovery opnieuw configureren.

Overlay's voor Disaster Recovery bijwerken

• Gebruik de CLI-methode om zowel de actieve als de stand-by Cisco SD-WAN-beheerders te upgraden.

• Zorg ervoor dat de replicatiestatus op de pagina Beheer > Disaster Recovery stabiel is en niet van voorbijgaande aard, zoals de status Import Pending, Export Pending, of Download Pending. De status Succes moet worden ingesteld voordat herstel bij calamiteiten wordt onderbroken.

• Pauzeer de Disaster Recovery met Disaster Recovery onder Beheer > Disaster Recovery-pagina.

Upgradeproces

In dit geval wordt vManage-cluster bijgewerkt van 20.12.5 naar 20.15.2. Gebruik de CLI-methode om het cluster te upgraden.

Controleer de versie en de replicatiestatus voordat u een upgrade uitvoert.

Disaster Recovery pauzeren:

Zorg er na de upgrade voor dat alle services actief zijn en dat u zich met de GUI kunt aanmelden bij alle vManage-knooppunten (DC en DR).

Hervat noodherstel; replicatie wordt gestart en de replicatiestatus moet uiteindelijk als succes worden weergegeven.

Gerelateerde informatie

• https://www.cisco.com/c/en/us/td/docs/routers/sdwan/configuration/ha-scaling/ios-xe-17/high-availability-book-xe/m-disaster-recovery.html
• Cisco Technical Support en downloads