Herstelprocedure voor automatische VPN-fouten van Ultra-M - vEPC

Inleiding

In dit document worden de stappen beschreven die vereist zijn om de Ultra Automation Services (UAS) of AutoVNF Cluster defect te herstellen in een Ultra-M instelling waarbij StarOS Virtual Network Services (VPN’s) wordt gehost.

Achtergrondinformatie

Ultra-M is een vooraf verpakte en gevalideerde gevirtualiseerde mobiele pakketoplossing die is ontworpen om de plaatsing van VNFs te vereenvoudigen.

Ultra-M oplossing bestaat uit de gementeerde virtuele machinetypen:

• Automatische IT 
• Automatisch implementeren
• UAS of AutoVNF
• Element Manager (EM)
• Elastic Services Controller (ESC)
• Bedieningsfunctie (CF)
• Sessiefunctie (SF)

De hoge architectuur van Ultra-M en de betrokken onderdelen zijn in deze afbeelding weergegeven:

UltraM-architectuur

Dit document is bedoeld voor het Cisco-personeel dat bekend is met het Cisco Ultra-M platform.

Opmerking: De Ultra M 5.1.x release wordt overwogen om de procedures in dit document te definiëren.

Afkortingen

VNF	Virtuele netwerkfunctie
CF	Bedieningsfunctie
SF	Service-functie
ESC	Elastic Service Controller
MOP	Procedure
OSD	Objectopslaglocaties
HDD	Station vaste schijf
SSD	Solid State Drive
VIM	Virtual-infrastructuurbeheer
VM	Virtuele machine
EM	Element Manager
UAS	Ultra Automation Services
UUID	Universele unieke ID-versterker

Werkstroom van de MoP

Zaak 1. Terugwinning van één enkel defect UAS-cluster

Statuscontrole

1. Ultra-M Manager voert de gezondheidscontrole van het Ultra-M knooppunt uit. Navigeer naar de rapporten /var/log/cisco/ultrasone/health/directory en naar het UAS-rapport.

• [stack@pod1-ospd ultram-health]$ more ultram_health_uas.report
  
  ---------------------------------------------------------------------------------------------------------
   VNF ID           | UAS Node | Status   | Error Info, if any        
  ---------------------------------------------------------------------------------------------------------
   172.21.201.122   | autovnf  | XXX      | AutoVNF Cluster FAILED : Node: 172.16.180.12, Status: error, Role: NA
   172.21.201.122   | vnf-em   | :-)      |
   172.21.201.122   | esc      | :-)      |
  --------------------------------------------------------------------------------------------------------- 

2. De verwachte status van het UAS-cluster is dezelfde als in de afbeelding, waarbij alle drie de UAS-systemen in leven zijn. 

[stack@pod1-ospd ~]# ssh ubuntu@10.1.1.1
password:

ubuntu@autovnf1-uas:~$ ncs_cli -u admin -C

autovnf1-uas-0#show uas 
uas version 1.0.1-1
uas state ha-active
uas ha-vip 172.16.181.101
INSTANCE IP STATE ROLE 
------------------------------------
172.16.180.3 alive CONFD-MASTER 
172.16.180.7 alive CONFD-SLAVE 
172.16.180.12 alive NA

Geen verbinding met Config-server wanneer u probeert met de UAS te verbinden

1. In sommige gevallen kunt u geen verbinding maken met de samengestelde server.

ubuntu@autovnf1-uas-0:/opt/cisco/usp/uas/manager$ confd_cli -u admin -C
Failed to connect to server

 2. Controleer de status van het uas-confd proces.

ubuntu@autovnf1-uas-0:/opt/cisco/usp/uas/manager$ sudo initctl status uas-confd
uas-confd stop/waiting

3. Als de samengestelde server niet werkt, moet u de service opnieuw opstarten.

ubuntu@autovnf1-uas-0:/opt/cisco/usp/uas/manager$ sudo initctl start uas-confd
uas-confd start/running, process 7970
ubuntu@autovnf1-uas-0:/opt/cisco/usp/uas/manager$ confd_cli -u admin -C
Welcome to the ConfD CLI
admin connected from 172.16.180.9 using ssh on autovnf1-uas-0

UAS uit foutenstaat herstellen

 1. In geval van een storing van één AutoVNF-cluster in het cluster, toont UAS-cluster een van de UAS-waarden in de foutenstand.

[stack@pod1-ospd ~]# ssh ubuntu@10.1.1.1
password:

ubuntu@autovnf1-uas:~$ ncs_cli -u admin -C

autovnf1-uas-0#show uas 
uas version 1.0.1-1
uas state ha-active
uas ha-vip 172.16.181.101
INSTANCE IP STATE ROLE 
------------------------------------
172.16.180.3 alive CONFD-MASTER 
172.16.180.7 alive CONFD-SLAVE 
172.16.180.12 alive error

2. Kopieer het corerc-bestand (r-bestand van uw VPN) van /home/stack in een OSPF-server naar AutoDeployment en bron deze. 

3. Controleer de status van uw UAS/AutoVNF met behulp van uas-check.py script. AutoVPN1 is de AutoVNF naam. 

ubuntu@auto-deploy-iso-590-uas-0:~$ /opt/cisco/usp/apps/auto-it/scripts/uas-check.py auto-vnf autovnf1
2017-11-17 14:52:20,186 - INFO: Check of AutoVNF cluster started
2017-11-17 14:52:22,172 - INFO: Found 2 AutoVNF instance(s), 3 expected
2017-11-17 14:52:22,172 - INFO: Instance 'autovnf1-uas-2' is missing
2017-11-17 14:52:22,172 - INFO: Check completed, AutoVNF cluster has recoverable errors

4. Herhaal de UAS met het gebruik van uas-check.py script en voeg - fixsleutelwoord toe.

ubuntu@auto-deploy-iso-590-uas-0:~$ /opt/cisco/usp/apps/auto-it/scripts/uas-check.py auto-vnf autovnf1 --fix
2017-11-17 14:52:27,493 - INFO: Check of AutoVNF cluster started
2017-11-17 14:52:29,215 - INFO: Found 2 AutoVNF instance(s), 3 expected
2017-11-17 14:52:29,215 - INFO: Instance 'autovnf1-uas-2' is missing
2017-11-17 14:52:29,215 - INFO: Check completed, AutoVNF cluster has recoverable errors
2017-11-17 14:52:29,386 - INFO: Creating instance 'autovnf1-uas-2' and attaching volume 'autovnf1-uas-vol-2'
2017-11-17 14:52:47,600 - INFO: Created instance 'autovnf1-uas-2'

5. U zult zien dat de nieuw gecreëerde UAS in leven is en deel uitmaakt van het cluster.

autovnf1-uas-0#show uas 
uas version 1.0.1-1
uas state ha-active
uas ha-vip 172.16.181.101
INSTANCE IP STATE ROLE 
------------------------------------
172.16.180.3 alive CONFD-MASTER 
172.16.180.7 alive CONFD-SLAVE 
172.16.180.13 alive NA

Zaak 2. Alle drie de UAS (AutoVNF) bevinden zich in de foutstatus

1. Ultra-M Manager voert de gezondheidscontrole van het Ultra-M knooppunt uit.

[stack@pod1-ospd ultram-health]$ more ultram_health_uas.report

---------------------------------------------------------------------------------------------------------

 VNF ID           | UAS Node | Status   | Error Info, if any        

---------------------------------------------------------------------------------------------------------

 172.21.201.122   | autovnf  | XXX      | AutoVNF Cluster FAILED : Node: 172.16.180.12, Status: error, Role: NA,Node: 172.16.180.9, Status: error, Role: NA,Node: 172.16.180.10, Status: error, Role: NA

 172.21.201.122   | vnf-em   | :-)      |

 172.21.201.122   | esc      | :-)      |

---------------------------------------------------------------------------------------------------------

2. Zoals waargenomen in de output meldt Ultra-M manager dat er een storing is voor AutoVNF en dat de drie UAS van het cluster in de foutenstatus verkeren. 

Controleer de UAS-status met uas-check.py Script

1. Meld u aan bij de automatische implementatie en controleer of u toegang hebt tot de AutoVPN-UAS en de status.

ubuntu@auto-deploy-iso-590-uas-0:~$ /opt/cisco/usp/apps/auto-it/scripts$ ./uas-check.py auto-vnf autovnf1 --os-tenant-name core

2017-12-05 11:41:09,834 - INFO: Check of AutoVNF cluster started
2017-12-05 11:41:11,342 - INFO: Found 3 ACTIVE AutoVNF instances
2017-12-05 11:41:11,343 - INFO: Check completed, AutoVNF cluster is fine

2. Van Auto-implementatie, Secure Shell (SSH) tot AutoVPN-knooppunt en ga naar de vertrouwde modus. Controleer de status bij tonen.

ubuntu@auto-deploy-iso-590-uas-0:~$ ssh ubuntu@172.16.180.9
password:
autovnf1-uas-1#show uas
uas version 1.0.1-1
uas state ha-active
uas ha-vip 172.16.181.101
INSTANCE IP    STATE  ROLE 

----------------------------

172.16.180.9   error  NA   
172.16.180.10  error  NA   
172.16.180.12  error  NA   

3. Aanbevolen wordt de status in alle drie UAS-knooppunten te controleren.

Controleer de stand van de VM's op OpenStack Level

Controleer de status van de AutoVNF-VM's in de nova-lijst. Voer desgewenst nova-start uit om de VM voor het schudden te starten.

[stack@pod1-ospd ultram-health]$ nova list | grep autovnf

| 83870eed-b4e9-47b3-976d-cc3eddecf866 | autovnf1-uas-0                                                 | ACTIVE | -          | Running     | orchestr=172.16.180.12; mgmt=172.16.181.6                                                                                                                  
| 201d9ce5-538c-42f7-a46c-fc8cdef1eabf | autovnf1-uas-1                                                 | ACTIVE | -          | Running     | orchestr=172.16.180.10; mgmt=172.16.181.5                                                                                                                    
| 6c6d25cd-21b6-42b9-87ff-286220faa2ff | autovnf1-uas-2                                                 | ACTIVE | -          | Running     | orchestr=172.16.180.9; mgmt=172.16.181.13                                                     

Bekijk de pooier

1. Controleer de toestand van de zoöjager om de stand als leider te controleren.

ubuntu@autovnf1-uas-0:/var/log/upstart$ /opt/cisco/usp/packages/zookeeper/current/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/cisco/usp/packages/zookeeper/current/bin/../conf/zoo.cfg
Mode: leader

2. De veehouder moet normaal gesproken omhoog.

Probleemoplossing voor de automatische VPN - processen en taken

1. Vermeld de reden voor de foutenstatus van de knooppunten. Om AutoVNF te kunnen gebruiken, is er een verzameling processen die moeten worden uitgevoerd zoals wordt weergegeven:

AutoVNF

uws-ae

uas-confd

cluster_manager

uas_manager

ubuntu@autovnf1-uas-0:~$ sudo initctl list  | grep uas 

uas-confd stop/waiting ====> this is not good, the uas-confd process is not running

uas_manager start/running, process 2143

root@autovnf1-uas-1:/home/ubuntu# sudo initctl list 
....
uas-confd start/running, process 1780
....
autovnf start/running, process 1908
....
....
uws-ae start/running, process 1909
....
....
cluster_manager start/running, process 1827
....
.....
uas_manager start/running, process 1697
......
......

2. Controleer of deze python-processen worden uitgevoerd:

uas_manager.py

cluster_manager.py

usp_autovnf.py

  

root@autovnf1-uas-1:/home/ubuntu# ps -aef | grep pyth
root      1819  1697  0 Jun13 ?        00:00:50 python /opt/cisco/usp/uas/manager/uas_manager.py
root      1858  1827  0 Jun13 ?        00:09:21 python /opt/cisco/usp/uas/manager/cluster_manager.py
root      1908     1  0 Jun13 ?        00:01:00 python /opt/cisco/usp/uas/autovnf/usp_autovnf.py
root     25662 24750  0 13:16 pts/7    00:00:00 grep --color=auto pyth

3. Als een van de verwachte processen niet in staat van start/lopen is, moet u het proces opnieuw opstarten en de status controleren. Indien de fout nog steeds voorkomt, volgt u de in de volgende sectie vermelde procedure om dit probleem op te lossen.

Fix voor meerdere UAS in foutenstatus

1. nova — een harde herstart <naam van de VM> van de OSPF, geeft enige tijd voor het herstel van deze VM voordat u naar de volgende UAS gaat. Doe het op alle UAS VM's. 

of

2.Meld u aan bij elk van de UAS en gebruik de computer opnieuw op. Wacht op het herstel en ga vervolgens naar andere UAS-VM's.

Controleer voor transactielogboeken:

/var/log/upstart/autovnf.log

show logs xxx | display xml

Dit zal het probleem oplossen en de UAS van foutenstaat herstellen. 

1. Controleer hetzelfde met het gebruik van het rapport ultram_health_check.

[stack@pod1-ospd ultram-health]$ more ultram_health_uas.report

---------------------------------------------------------------------------------------------------------

 VNF ID           | UAS Node | Status   | Error Info, if any        

---------------------------------------------------------------------------------------------------------

 172.21.201.122   | autovnf  | :-)      | 

 172.21.201.122   | vnf-em   | :-)      |

 172.21.201.122   | esc      | :-)      |

---------------------------------------------------------------------------------------------------------