Back-up en herstel - volledig clusterherstel - CPS

Inleiding

In dit document worden de stappen beschreven die vereist zijn om een volledig CPS-cluster te herstellen in een Ultra-M instelling waar CPS Virtual Network Functions (VPN’s) worden opgeslagen.

Achtergrondinformatie

Ultra-M is een vooraf verpakte en gevalideerde gevirtualiseerde mobiele pakketoplossing die is ontworpen om de implementatie van VNFs te vereenvoudigen. Ultra-M oplossing bestaat uit de volgende typen virtuele machines (VM):

• Elastic Services Controller (ESC)
• Cisco Policy Suite (CPS)

De hoge architectuur van Ultra-M en de betrokken onderdelen zijn in deze afbeelding weergegeven:

Dit document is bedoeld voor Cisco-personeel dat bekend is met het Cisco Ultra-M platform.

Opmerking: De Ultra M 5.1.x release wordt gebruikt voor het definiëren van de procedures in dit document.

Afkortingen

VNF	Virtuele netwerkfunctie
ESC	Elastic Service Controller
MOP	Procedure
OSD	Objectopslaglocaties
HDD	Station vaste schijf
SSD	Solid State Drive
VIM	Virtual-infrastructuurbeheer
VM	Virtuele machine
UUID	Universele unieke ID-versterker

veronderstelling

Voor deze procedure wordt ervan uitgegaan dat alleen het CPS-cluster moet worden hersteld en dat alle componenten op OpenStack niveau operationeel zijn, met inbegrip van het ESC 

Procedure terugzetten

   

Als ESC er niet in slaagt om VM te starten:

• In sommige gevallen kan ESC de VM niet starten vanwege een onverwachte toestand. Een omschakelingsmechanisme is het uitvoeren van een ESC - omschakeling door herstart van het ESC. De ESC-omschakeling duurt ongeveer een minuut. Start Health.sh op de nieuwe Master ESC om te controleren of het goed is. Wanneer het ESC Meester wordt, kan ESC de VM-status vastleggen en de VM starten. Aangezien deze bewerking is gepland, moet u 5-7 minuten wachten voordat deze is voltooid. 

• U kunt /var/log/esc/yangesc.log en /var/log/esc/escmanager.log controleren. Indien VM na 5-7 minuten niet wordt hersteld, moet de gebruiker de geïmpacte VM(s) handmatig gaan herstellen.

• zodra de VM met succes is hersteld en actief is; ervoor zorgen dat alle syslogspecifieke configuratie wordt hersteld van de vorige succesvolle bekende back-up. Zorg ervoor dat deze in alle ESC-VM's wordt hersteld

root@abautotestvnfm1em-0:/etc/rsyslog.d# pwd
/etc/rsyslog.d

root@abautotestvnfm1em-0:/etc/rsyslog.d# ll

total 28
drwxr-xr-x  2 root root 4096 Jun  7 18:38 ./
drwxr-xr-x 86 root root 4096 Jun  6 20:33 ../]
-rw-r--r--  1 root root  319 Jun  7 18:36 00-vnmf-proxy.conf
-rw-r--r--  1 root root  317 Jun  7 18:38 01-ncs-java.conf
-rw-r--r--  1 root root  311 Mar 17  2012 20-ufw.conf
-rw-r--r--  1 root root  252 Nov 23  2015 21-cloudinit.conf
-rw-r--r--  1 root root 1655 Apr 18  2013 50-default.conf

root@abautotestvnfm1em-0:/etc/rsyslog.d# ls /etc/rsyslog.conf
rsyslog.conf

CPS-herstel

1. Maak een back-up van CPS Cluster Manager

Stap 1. Gebruik de volgende opdracht om de nova-gevallen te bekijken en de naam van de VM-instantie van de clusterbeheerder te noteren:

nova list

Hou de Cluman tegen ESC.

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action STOP 
       
       

Stap 2. Controleer Cluster Manager in de SHUTOFF-staat.

admin@esc1 ~]$ /opt/cisco/esc/confd/bin/confd_cli 

admin@esc1> show esc_datamodel opdata tenants tenant Core deployments * state_machine

Stap 3. Maak een nieuwe snapshot-afbeelding zoals in deze opdracht:

nova image-create --poll 
       
        
         
       

Opmerking: Zorg ervoor dat u voldoende schijfruimte hebt voor de snapshot.

Belangrijk - Indien VM na het creëren van een snapshot onbereikbaar wordt, controleert u de status van VM met de opdracht nova list. Als de VM in de "SHUTOFF"-status staat, moet u de VM handmatig starten.

Stap 4. Bekijk de afbeeldingslijst met de volgende opdracht: Nieuwe lijst van afbeeldingen Afbeelding 1: Uitvoer van voorbeelden

Stap 5. Wanneer een snapshot is gemaakt, wordt de snapshot-afbeelding opgeslagen in OpenStack Glance. Om de snapshot in een externe gegevenswinkel op te slaan, kunt u de snapshot downloaden en het bestand in OSPF naar ( /home/stack/CPS_BACKUP) overbrengen

U kunt de afbeelding downloaden met de volgende opdracht in OpenStack:

glance image-download –-file For example: glance image-download –-file snapshot.raw 2bbfb51c-cd05-4b7c-ad77-8362d76578db

Stap 6. Lijst van de gedownload afbeeldingen in de volgende opdracht:

ls —ltr *snapshot*

Example output: -rw-r--r--. 1 root root 10429595648 Aug 16 02:39 snapshot.raw

Stap 7. Bewaar de momentopname van de Cluster Manager VM om in de toekomst te herstellen.

2. back-up van de configuratie en de database.

1. config_br.py -a export --all /var/tmp/backup/ATP1_backup_all_$(date +\%Y-\%m-\%d).tar.gz OR
2. config_br.py -a export --mongo-all /var/tmp/backup/ATP1_backup_mongoall$(date +\%Y-\%m-\%d).tar.gz
3. config_br.py -a export --svn --etc --grafanadb --auth-htpasswd --haproxy /var/tmp/backup/ATP1_backup_svn_etc_grafanadb_haproxy_$(date +\%Y-\%m-\%d).tar.gz
4. mongodump - /var/qps/bin/support/env/env_export.sh --mongo /var/tmp/env_export_$date.tgz
5. patches - cat /etc/broadhop/repositories, check which patches are installed and copy those patches to the backup directory /home/stack/CPS_BACKUP on OSPD
6. backup the cronjobs by taking backup of the cron directory: /var/spool/cron/ from the Pcrfclient01/Cluman. Then move the file to CPS_BACKUP on the OSPD.

Controleer vanaf het tabblad Crontab -l als er een andere back-up nodig is

Alle back-ups overbrengen naar het OSPD-adres/startpunt/stack/CPS_BACKUP

3. Back-upbeeldbestand van ESC Master.

/opt/cisco/esc/confd/bin/netconf-console --host 127.0.0.1 --port 830 -u 
       
       
         -p 
        
          --get-config > /home/admin/ESC_config.xml 
         
       

Overschakelen van het bestand in OSPF-home/stack/CPS_BACKUP

4. Back-up van de tabbladen -l

Maak een tekstbestand met crontab -l en vervang het op externe locatie (in OSPF/home/stack/CPS_BACKUP)

5. Neem een back-up van de routebestanden van de LB- en PCRF-client.

Collect and scp the below conifgurations from both LBs and Pcrfclients
route -n /etc/sysconfig/network-script/route-*

Cluster Manager VM in OpenStack herstellen

Stap 1. Kopieer de VM-snapshot van de clustermanager naar de controller-blade zoals in deze opdracht wordt getoond:

ls —ltr *snapshot*

Uitvoer van voorbeeld: -rw-r—r—. 1 wortel 10429595648 aug 16 02:39 snapshot.rauw

Stap 2. Upload de snapshot-afbeelding naar OpenStack van Datastore:

glance image-create --name --file --disk-format qcow2 --container-format bare

  

Stap 3. Controleer of de snapshot met een Nova opdracht is geüpload zoals in dit voorbeeld:

nova image-list

Afbeelding 2: Uitvoer van voorbeelden

Stap 4. Afhankelijk van de vraag of de clustermanager VM al dan niet bestaat, kunt u ervoor kiezen om de handgreep te maken of te herbouwen:

Indien de Cluster Manager VM-instantie niet bestaat, creëer dan de Cluman VM met een opdracht Heat of Nova zoals in het volgende voorbeeld wordt getoond:

Maak de Cluman VM met ESC 

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli edit-config /opt/cisco/esc/cisco-cps/config/gr/tmo/gen/
       
       

Het PCRF-cluster zal met de hulp van de bovenstaande opdracht uitgroeien en dan de clusterbeheerconfiguraties herstellen van de back-ups die worden genomen met het terugzetten van de configuratie_br.py, mongorestore van een dumpen in back-up

delete - nova boot --config-drive true --image "" --flavor "" --nic net-id=",v4-fixed-ip=" --nic net-id="network_id,v4-fixed-ip=ip_address" --block-device-mapping "/dev/vdb=2edbac5e-55de-4d4c-a427-ab24ebe66181:::0" --availability-zone "az-2:megh-os2-compute2.cisco.com" --security-groups cps_secgrp "cluman" 

Als de Cluster Manager VM-instantie bestaat, gebruikt u een nova-herbouwopdracht om de Cluman VM-instantie te herbouwen met de geüploade momentopname zoals aangegeven:

nova rebuild 
       
        
         
       

Bijvoorbeeld: nova reconstrueer cps-cluman-5f3tujqvbi67 cluman_snapshot

Stap 5 Lijst alle instanties zoals getoond en controleer of de nieuwe instantie van de clustermanager is gemaakt en actief is:

nova lijst

Afbeelding 3: Uitvoer van voorbeelden

De laatste patches op het systeem herstellen

1.       Copy the patch files to cluster manager which were backed up in OSPD /home/stack/CPS_BACKUP 
2.       Login to the Cluster Manager as a root user.
3.       Untar the patch by executing the following command:  tar -xvzf [patch name].tar.gz
4.       Edit /etc/broadhop/repositories and add the following entry:  file:///$path_to_the plugin/[component name]  
5.       Run build_all.sh script to create updated QPS packages:  /var/qps/install/current/scripts/build_all.sh
6.       Shutdown all software components on the target VMs:  runonall.sh sudo monit stop all
7.       Make sure all software components are shutdown on target VMs:  statusall.sh

Opmerking: De softwarecomponenten moeten alle tonen Niet-gemonitord als huidige status) 8. Werk de qns VMs met de nieuwe software bij met behulp van reinit.sh script: /var/qps/install/current/scripts/upgrade/reinit.sh 9. Start alle softwarecomponenten op de doelVM's opnieuw: runonall.sh sudo start alle 10. Controleer dat de component is bijgewerkt, run: over.sh

De tegenhangers herstellen

1. Verplaats het back-upbestand van OSPF naar Cluman/Pcrfclient01 
   
   
2. Draai de opdracht om de taak vanaf de back-up te activeren
   #crontab Back-uplijn
   
3. Controleer of de klusjes onder de opdracht zijn geactiveerd
           #crontab-l       

Individuele VM's in het cluster herstellen

De pc-client01-VM opnieuw implementeren

Stap 1. Meld u aan bij de Cluster Manager VM als basisgebruiker.

Stap 2. Let op de UUID van de SVN-opslagplaats met de volgende opdracht:

svn info http://pcrfclient02/repos | grep UUID

De opdracht voert de UUID uit van de opslagplaats.

Bijvoorbeeld: UID als bewaarder: e50bbd2-5726-46b8-b807-10f4a7424f0e

Stap 3. Importeer de configuratiegegevens van de backup-beleidsbouwer in Cluster Manager, zoals in het volgende voorbeeld:

config_br.py -a import --etc-oam --svn --stats --grafanadb --auth-htpasswd --users /mnt/backup/oam_backup_27102016.tar.gz

Opmerking: Vele implementaties voeren een kroontaak uit die regelmatig een back-up maakt van configuratiegegevens.Zie Subversie Repository Backup, voor meer informatie. 

Stap 4. Om de VM-archiefbestanden op de Cluster Manager te genereren met behulp van de nieuwste configuraties, voert u de volgende opdracht uit:

/var/qps/install/current/scripts/build/build_svn.sh

Stap 5. Voer een van de volgende handelingen uit om de pc-client01 VM te implementeren:

Gebruik in OpenStack de HEAT-sjabloon of de Nova-opdracht om de VM opnieuw te maken. Zie de installatiehandleiding van CPS voor OpenStack voor meer informatie.

Stap 6. Zet de VN-master/slave-synchronisatie tussen de client01 en PPP2002 weer in met de client01 als de master in deze opdrachten.

Als SVN reeds gesynchroniseerd is, geef deze opdrachten niet uit.

Om te controleren of SVN in sync is, voer deze opdracht uit van PC02.

Als een waarde wordt teruggegeven, is SVN al in sync:

/usr/bin/svn propget svn:sync-from-url --revprop -r0 http://pcrfclient01/repos

Start deze opdrachten vanaf PPP01:

/bin/rm -fr /var/www/svn/repos
 
/usr/bin/svnadmin create /var/www/svn/repos
 
/usr/bin/svn propset --revprop -r0 svn:sync-last-merged-rev 0 http://pcrfclient02/repos-proxy-sync
 
/usr/bin/svnadmin setuuid /var/www/svn/repos/ "Enter the UUID captured in step 2"
 
/etc/init.d/vm-init-client /var/qps/bin/support/recover_svn_sync.sh

Stap 7. Als cliënt01 ook de scheidsrechter VM is, voert u deze stappen uit:

1. Maak de mongodb start/stop scripts op basis van de systeemconfiguratie. Niet alle implementaties hebben al deze databases geconfigureerd.

Opmerking: Raadpleeg /etc/broadhop/mongoConfig.cfg om te bepalen welke databases moeten worden ingesteld.

cd /var/qps/bin/support/mongo
 
build_set.sh --session --create-scripts
build_set.sh --admin --create-scripts
build_set.sh --spr --create-scripts
build_set.sh --balance --create-scripts
build_set.sh --audit --create-scripts
build_set.sh --report --create-scripts

2. Start het mongoproces:

/usr/bin/systemctl start sessionmgr-XXXXX

3. Wacht tot de arbiter start, en voer vervolgens diagnostiek.sh —get_replica_status uit om de gezondheid van de replica-set te controleren.

Herplaatsing van de pc-client02 VM

Stap 1. Meld u aan bij de Cluster Manager VM als basisgebruiker.

Stap 2. Om de VM-archiefbestanden op de Cluster Manager te genereren met behulp van de nieuwste configuraties, voert u deze opdracht uit:

/var/qps/install/current/scripts/build/build_svn.sh

Stap 3 Voer een van de volgende handelingen uit om de pc-client02 VM te implementeren: 

Gebruik in OpenStack de HEAT-sjabloon of de Nova-opdracht om de VM opnieuw te maken. Zie de installatiehandleiding van CPS voor OpenStack voor meer informatie.

Stap 4 Secure shell aan de opdrachtgever01:

ssh pcrfclient01

Stap 5 Start dit script om de SVN repos van PC01 te herstellen:

/var/qps/bin/support/recover_svn_sync.sh

Een sessie opnieuw uitzetten voor VM

Stap 1. Meld u aan bij de Cluster Manager VM als basisgebruiker

Stap 2. Om de sessionhouder VM in te zetten en de mislukte of corrupte VM te vervangen, voert u een van de volgende handelingen uit:

Gebruik in OpenStack de HEAT-sjabloon of de Nova-opdracht om de VM opnieuw te maken. Zie CPS Installatie-gids voor OpenStack voor meer informatie

Stap 3. Maak de mongodb start/stop scripts op basis van de systeemconfiguratie.

Niet alle implementaties hebben al deze databases geconfigureerd. Raadpleeg /etc/broadhop/mongoConfig.cfg om te bepalen welke databases moeten worden opgezet

cd /var/qps/bin/support/mongo
 
build_set.sh --session --create-scripts
build_set.sh --admin --create-scripts
build_set.sh --spr --create-scripts
build_set.sh --balance --create-scripts
build_set.sh --audit --create-scripts
build_set.sh --report --create-scripts

Stap 4. Bevestig het omhulsel aan de sessionhouder VM en start het mongoproces:

ssh sessionmgrXX

/usr/bin/systemctl start sessionmgr-XXXXX

Stap 5. Wacht tot de leden beginnen en voor de secundaire leden synchroniseren, dan voer diagnostiek.sh —get_replica_status uit om de gezondheid van de database te controleren.

Stap 6. Om de Session Manager-database te herstellen, gebruikt u een van de volgende voorbeeldopdrachten, afhankelijk van of de back-up is uitgevoerd met —mongo-all of —mongo optie:

• config_br.py -a import --mongo-all --users /mnt/backup/Name of backup 

or

• config_br.py -a import --mongo --users /mnt/backup/Name of backup

Om de Policy Director (taakverdeling) VM te herimplementeren

Stap 1. Meld u aan bij de Cluster Manager VM als basisgebruiker.

Stap 2. Om de configuratiegegevens van de bouwer van het backup-beleid in de Cluster Manager in te voeren, voert u deze opdracht uit:

config_br.py -a import --network --haproxy --users /mnt/backup/lb_backup_27102016.tar.gz

Stap 3 Om de VM-archiefbestanden op de Cluster Manager te genereren met behulp van de nieuwste configuraties, voert u deze opdracht uit:

/var/qps/install/current/scripts/build/build_svn.sh

Stap 4. Voer een van de volgende handelingen uit om lb01 VM te implementeren:

Gebruik in OpenStack de HEAT-sjabloon of de Nova-opdracht om de VM opnieuw te maken. Zie de installatiehandleiding van CPS voor OpenStack voor meer informatie.

QNS-VM (Policy Server) opnieuw implementeren

Stap 1. Meld u aan bij de Cluster Manager VM als basisgebruiker.

Stap 2. Importeer de configuratiegegevens van de backup Policy Builder in de Cluster Manager, zoals in dit voorbeeld:

config_br.py -a import --users /mnt/backup/qns_backup_27102016.tar.gz

Stap 3. Om de VM-archiefbestanden op de Cluster Manager te genereren met behulp van de nieuwste configuraties, voert u deze opdracht uit:

/var/qps/install/current/scripts/build/build_svn.sh

Stap 4 Voer een van deze handelingen uit om de qns VM te implementeren:

Gebruik in OpenStack de HEAT-sjabloon of de Nova-opdracht om de VM opnieuw te maken. Zie CPS Installatie-gids voor OpenStack voor meer informatie 

Algemene procedure voor terugzetten van databases

Stap 1. Start deze opdracht om de database te herstellen:

config_br.py –a import --mongo-all /mnt/backup/backup_$date.tar.gz where $date is the timestamp when the export was made.

Bijvoorbeeld:

config_br.py –a import --mongo-all /mnt/backup/backup_27092016.tgz

Stap 2. Meld u aan bij de database en controleer of deze actief is en toegankelijk is:

1. Inloggen op sessiemanager:

mongo --host sessionmgr01 --port $port

waar $port het poortnummer van de te controleren database is. Bijvoorbeeld, 27718 is de standaardbalanspoort.

2. Geef de database weer door de volgende opdracht uit te voeren:

show dbs

3. Schakel de mongoshell in de database door de volgende opdracht uit te voeren:

use $db

waar $db een database naam is die in de vorige opdracht wordt weergegeven.

De gebruik opdracht verandert de mongoshell in die database.

Bijvoorbeeld:

use balance_mgmt

4. Start deze opdracht om de collecties weer te geven:

show collections

5. Start deze opdracht om het aantal records in de verzameling weer te geven:

db.$collection.count()
 
For example, db.account.count()

Bovenstaand voorbeeld toont het aantal records in de "verzamelrekening" in de balansdatabase (balance_mgmt).

Terugzetten van omgekeerde pad

Als u de Gegevens van de Configuratie van de Leider van een steun wilt herstellen, voert u de volgende opdracht uit:

config_br.py –a import --svn /mnt/backup/backup_$date.tgz where, $date is the date when the cron created the backup file. 

Grafana Dashboard herstellen

U kunt het Grafana-dashboard herstellen met de volgende opdracht:

config_br.py -a import --grafanadb /mnt/backup/

De terugzetten valideren

Controleer het werksysteem na het herstellen van de gegevens met deze opdracht:

/var/qps/bin/diag/diagnostics.sh

Als ESC er niet in slaagt om VM te starten

• In sommige gevallen kan ESC de VM niet starten vanwege een onverwachte toestand. Een omschakelingsmechanisme is het uitvoeren van een ESC - omschakeling door herstart van het ESC. De ESC-omschakeling duurt ongeveer een minuut. Start Health.sh op de nieuwe Master ESC om te controleren of het goed is. Wanneer het ESC Meester wordt, kan ESC de VM-status vastleggen en de VM starten. Aangezien deze bewerking is gepland, moet u 5-7 minuten wachten voordat deze is voltooid.  

• U kunt /var/log/esc/yangesc.log en /var/log/esc/escmanager.log controleren. Indien VM na 5-7 minuten niet wordt hersteld, moet de gebruiker de geïmpacte VM(s) handmatig gaan herstellen.
  
  
• Als de Cluster volledig niet beschikbaar is en alleen ESC bereikbaar is, moet dan het herstel worden uitgevoerd vanaf de nieuwste back-ups die worden gemaakt van de geplande back-ups die worden uitgevoerd via Cronjobs. De terugvorderingsprocedure blijft dezelfde als die welke in het MOP wordt genoemd.