Inhoud

Inleiding

Probleem

Oplossing

Statuscontrole

Herstelstappen

Na controle van de herstelstatus

Inleiding

Dit document beschrijft hoe de Ultra Automation and Monitoring Engine (UAME) moet herstellen van de geheugenlekkage in UAME-probleem - CSCvu73187

Probleem

Het ESC-alarm (Elastic Services Controller) op de Ultra M-gezondheidsmonitor:

[root@pod1-ospd ~]# cat /var/log/cisco/ultram-health/*.report | grep -i xxx

10.10.10.10/vnf-esc          | esc      | XXX      | vnf-esc:(error)

Oplossing

Statuscontrole

Stap 1. Meld u aan bij OpenStack Platform Director (OSP-D) en controleer de vnf-esc-fouten.

[stack@pod1-ospd ~]$ cat /var/log/cisco/ultram-health/*.report | grep -i xxx

[stack@pod1-ospd ~]$ cat /var/log/cisco/ultram-health/*.report | grep -iv ':-)'

Stap 2. Controleer dat u niet via IP-beheersoftware 10.241.179.116 aan UAME kunt inloggen, maar IP is instelbaar:

(pod1) [stack@pod1-ospd ~]$ ssh ubuntu@10.10.10.10

ssh_exchange_identification: read: Connection reset by peer

(pod1) [stack@pod1-ospd ~]$ ping -c 5 10.10.10.10

PING 10.10.10.10 (10.10.10.10) 56(84) bytes of data.

64 bytes from 10.10.10.10: icmp_seq=1 ttl=57 time=0.242 ms

64 bytes from 10.10.10.10: icmp_seq=2 ttl=57 time=0.214 ms

64 bytes from 10.10.10.10: icmp_seq=3 ttl=57 time=0.240 ms

64 bytes from 10.10.10.10: icmp_seq=4 ttl=57 time=0.255 ms

64 bytes from 10.10.10.10: icmp_seq=5 ttl=57 time=0.240 ms

--- 10.10.10.10 ping statistics ---

5 packets transmitted, 5 received, 0% packet loss, time 4000ms

rtt min/avg/max/mdev = 0.214/0.238/0.255/0.016 ms

Stap 3. Controleer dat VM's die verband houden met ESC & UAME actief zijn en op OSP-D draaien.

[stack@pod1-ospd ~]$ source *core

(pod1) [stack@pod1-ospd ~]$

(pod1) [stack@pod1-ospd ~]$ nova list --field name,status,host,instance_name,power_state | grep esc

| 31416ffd-0719-4ce5-9e99-a1234567890e | pod1-uame-1 | ACTIVE | - | Running | pod1-AUTOMATION-ORCH=172.16.180.15; pod1-AUTOMATION-MGMT=172.16.181.33 |

| d6830e97-bd82-4d8e-9467-a1234567890e | pod1-uame-2 | ACTIVE | - | Running | pod1-AUTOMATION-ORCH=172.16.180.8; pod1-AUTOMATION-MGMT=172.16.181.12

(pod1) [stack@pod1-ospd ~]$ nova list --field name,status,host,instance_name,power_state | grep uame

| 0c1596bc-e50f-4374-9098-a1234567890e | pod1-esc-vnf-esc-core-esc-1 | ACTIVE | - | Running | pod1-AUTOMATION-ORCH=172.16.180.10; pod1-AUTOMATION-MGMT=172.16.181.10 |

| 3875618d-dcbe-4748-b196-a1234567890e | pod1-esc-vnf-esc-core-esc-2 | ACTIVE | - | Running | pod1-AUTOMATION-ORCH=172.16.180.18; pod1-AUTOMATION-MGMT=172.16.181.5

Stap 4. Controleer of u verbinding kunt maken met het primaire en reservekopie ESC. Controleer dat ook de ESC-gezondheid wordt goedgekeurd.

[admin@pod1-esc-vnf-esc-core-esc-2 ~]$ cat /opt/cisco/esc/keepalived_state

[admin@pod1-esc-vnf-esc-core-esc-2 ~]$ health.sh

============== ESC HA with DRBD =================

vimmanager (pgid 14654) is running

monitor (pgid 14719) is running

mona (pgid 14830) is running

snmp is disabled at startup

etsi is disabled at startup

pgsql (pgid 15130) is running

keepalived (pgid 13083) is running

portal is disabled at startup

confd (pgid 15027) is running

filesystem (pgid 0) is running

escmanager (pgid 15316) is running

=======================================

ESC HEALTH PASSED

[admin@pod1-esc-vnf-esc-core-esc-2 ~]$ ssh admin@172.16.180.12

####################################################################

# ESC on pod1-esc-vnf-esc-core-esc-2 is in BACKUP state.

####################################################################

[admin@pod1-esc-vnf-esc-core-esc-1 ~]$ cat /opt/cisco/esc/keepalived_state

BACKUP

Herstelstappen

Stap 1. Meld u aan bij Horizon Dashboard-console voor een voorbeeld pod1-uame-2.

Stap 2. Start de pod1-uame-2 VM-exemplaar opnieuw op het Horizon Dashboard. Neem de logberichten van de instantie op.

Stap 3. Zodra de inlogmelding in de console van de pool van de pc-type 1-type-2 VM-instantie van Horizon Dashboard wordt weergegeven, start u SSH in de UAME via haar IP-beheersysteem 10.10.10

(pod1) [stack@pod1-ospd ~]$ ssh ubuntu@10.10.10.10

Opmerking: Ga alleen naar de volgende stap als deze stap is geslaagd.

Stap 4. Controleer de schijfruimte vooral voor bestanden/dev/vda3 op primaire UAM.

ubuntu@pod1-uame-1:~$ df -kh

Stap 5. Trunk het syslog- of syslog.1-bestand (grotere bestandsgrootte van de twee bestanden, doorgaans in MB of GB) op de primaire UAM-toepassing.

ubuntu@pod1-uame-1:~$ sudo su -

root@pod1-uame-1:~#

root@pod1-uame-1:~# cd /var/log

root@pod1-uame-1:/var/log# ls -lrth *syslog*

root@pod1-uame-1:/var/log# > syslog.1 or > syslog

Stap 6. Zorg ervoor dat syslogg of syslog.1 bestand-size nu 0 bytes op primaire UAME is.

root@pod1-uame-1:/var/log# ls -lrth *syslog*

Stap 7. Zorg ervoor dat df-kh voldoende vrije ruimte heeft voor bestandsafdeling op primaire UAME.

ubuntu@pod1-uame-1:~$ df -kh

SSH in secundaire UAME.

ubuntu@pod1-uame-1:~$ ssh ubuntu@172.16.180.8

password:

...

ubuntu@pod1-uame-2:~$

Stap 8. Trunk het syslog- of syslog.1-bestand (groter bestand, groter van de twee bestanden, doorgaans in MB of GB) op secundaire UAME.

ubuntu@pod1-uame-2:~$ sudo su -

root@pod1-uame-2:~#

root@pod1-uame-2:~# cd /var/log

root@pod1-uame-2:/var/log# ls -lrth *syslog*

root@pod1-uame-2:/var/log# > syslog.1 or > syslog

Stap 9. Zorg ervoor dat syslogg of syslog.1 bestand-size nu 0 bytes op secondaire UAME is.

root@pod1-uame-2:/var/log# ls -lrth *syslog*

Stap 10. Zorg ervoor dat df-kh voldoende vrije ruimte heeft voor bestandsafdeling op secundaire UAME.

ubuntu@pod1-uame-2:~$ df -kh

Na controle van de herstelstatus

Stap 1. Wacht op ten minste één herhaling van de Ultra M gezondheidsmonitor om te bevestigen dat er geen vnf-esc-fouten zijn gezien in het gezondheidsrapport.

[stack@pod1-ospd ~]$ cat /var/log/cisco/ultram-health/*.report | grep -i xxx

[stack@pod1-ospd ~]$ cat /var/log/cisco/ultram-health/*.report | grep -iv ':-)'

Stap 2. Bevestig ESC- en UAME-VM's actief en actief op OSPF-niveau.

[stack@pod1-ospd ~]$ source *core

(pod1) [stack@pod1-ospd ~]$ nova list --field name,status,host,instance_name,power_state | grep esc

(pod1) [stack@pod1-ospd ~]$ nova list --field name,status,host,instance_name,power_state | grep uame

Stap 3. SSH in het primaire en back-upESC en bevestig dat ESC-gezondheid ook wordt doorgegeven.

[admin@pod1-esc-vnf-esc-core-esc-2 ~]$ cat /opt/cisco/esc/keepalived_state

[admin@pod1-esc-vnf-esc-core-esc-2 ~]$ health.sh

============== ESC HA with DRBD =================

vimmanager (pgid 14638) is running

monitor (pgid 14703) is running

mona (pgid 14759) is running

snmp is disabled at startup

etsi is disabled at startup

pgsql (pgid 15114) is running

keepalived (pgid 13205) is running

portal is disabled at startup

confd (pgid 15011) is running

filesystem (pgid 0) is running

escmanager (pgid 15300) is running

=======================================

ESC HEALTH PASSED

[admin@pod1-esc-vnf-esc-core-esc-2 ~]$ ssh admin@

admin@172.16.181.26's password:

Last login: Fri May 1 10:28:12 2020 from 172.16.180.13

####################################################################

# ESC on scucs501-esc-vnf-esc-core-esc-2 is in BACKUP state.

####################################################################

[admin@pod1-esc-vnf-esc-core-esc-2 ~]$ cat /opt/cisco/esc/keepalived_state

BACKUP

Stap 4. Bevestig in UAME dat de ESC-vnf in leefomstandigheden verkeert.

ubuntu@pod1-uame-1:~$ sudo su

ubuntu@pod1-uame-1:~$ confd_cli -u admin -C

pod1-uame-1# show vnfr state