Terugvorderingsprocedure voor de UAME-toewijzing van geheugen

Inleiding

Dit document beschrijft hoe de Ultra Automation and Monitoring Engine (UAME) moet herstellen van de geheugenlekkage in UAME-probleem - CSCvu73187

Probleem

Het ESC-alarm (Elastic Services Controller) op de Ultra M-gezondheidsmonitor:

[root@pod1-ospd ~]# cat /var/log/cisco/ultram-health/*.report | grep -i xxx
 10.10.10.10/vnf-esc          | esc      | XXX      | vnf-esc:(error)

Oplossing

Statuscontrole

Stap 1. Meld u aan bij OpenStack Platform Director (OSP-D) en controleer de vnf-esc-fouten.

[stack@pod1-ospd ~]$ cat /var/log/cisco/ultram-health/*.report | grep -i xxx
[stack@pod1-ospd ~]$ cat /var/log/cisco/ultram-health/*.report | grep -iv ':-)'

Stap 2. Controleer dat u niet via IP-beheersoftware 10.241.179.116 aan UAME kunt inloggen, maar IP is instelbaar:

(pod1) [stack@pod1-ospd ~]$ ssh ubuntu@10.10.10.10
ssh_exchange_identification: read: Connection reset by peer
(pod1) [stack@pod1-ospd ~]$ ping -c 5 10.10.10.10
PING 10.10.10.10 (10.10.10.10) 56(84) bytes of data.
64 bytes from 10.10.10.10: icmp_seq=1 ttl=57 time=0.242 ms
64 bytes from 10.10.10.10: icmp_seq=2 ttl=57 time=0.214 ms
64 bytes from 10.10.10.10: icmp_seq=3 ttl=57 time=0.240 ms
64 bytes from 10.10.10.10: icmp_seq=4 ttl=57 time=0.255 ms
64 bytes from 10.10.10.10: icmp_seq=5 ttl=57 time=0.240 ms

--- 10.10.10.10 ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 4000ms
rtt min/avg/max/mdev = 0.214/0.238/0.255/0.016 ms

Stap 3. Controleer dat VM's die verband houden met ESC & UAME actief zijn en op OSP-D draaien.

[stack@pod1-ospd ~]$ source *core 
(pod1) [stack@pod1-ospd ~]$

(pod1) [stack@pod1-ospd ~]$ nova list --field name,status,host,instance_name,power_state | grep esc
| 31416ffd-0719-4ce5-9e99-a1234567890e | pod1-uame-1 | ACTIVE | - | Running | pod1-AUTOMATION-ORCH=172.16.180.15; pod1-AUTOMATION-MGMT=172.16.181.33 |
| d6830e97-bd82-4d8e-9467-a1234567890e | pod1-uame-2 | ACTIVE | - | Running | pod1-AUTOMATION-ORCH=172.16.180.8; pod1-AUTOMATION-MGMT=172.16.181.12

(pod1) [stack@pod1-ospd ~]$ nova list --field name,status,host,instance_name,power_state | grep uame
| 0c1596bc-e50f-4374-9098-a1234567890e | pod1-esc-vnf-esc-core-esc-1 | ACTIVE | - | Running | pod1-AUTOMATION-ORCH=172.16.180.10; pod1-AUTOMATION-MGMT=172.16.181.10 |
| 3875618d-dcbe-4748-b196-a1234567890e | pod1-esc-vnf-esc-core-esc-2 | ACTIVE | - | Running | pod1-AUTOMATION-ORCH=172.16.180.18; pod1-AUTOMATION-MGMT=172.16.181.5

Stap 4. Controleer of u verbinding kunt maken met het primaire en reservekopie ESC. Controleer dat ook de ESC-gezondheid wordt goedgekeurd.

[admin@pod1-esc-vnf-esc-core-esc-2 ~]$ cat /opt/cisco/esc/keepalived_state

[admin@pod1-esc-vnf-esc-core-esc-2 ~]$ health.sh 
============== ESC HA with DRBD =================
vimmanager (pgid 14654) is running
monitor (pgid 14719) is running
mona (pgid 14830) is running
snmp is disabled at startup
etsi is disabled at startup
pgsql (pgid 15130) is running
keepalived (pgid 13083) is running
portal is disabled at startup
confd (pgid 15027) is running
filesystem (pgid 0) is running
escmanager (pgid 15316) is running
=======================================
ESC HEALTH PASSED

[admin@pod1-esc-vnf-esc-core-esc-2 ~]$ ssh admin@172.16.180.12
####################################################################
# ESC on pod1-esc-vnf-esc-core-esc-2 is in BACKUP state.
####################################################################

[admin@pod1-esc-vnf-esc-core-esc-1 ~]$ cat /opt/cisco/esc/keepalived_state
BACKUP

Herstelstappen

Stap 1. Meld u aan bij Horizon Dashboard-console voor een voorbeeld pod1-uame-2.

Stap 2. Start de pod1-uame-2 VM-exemplaar opnieuw op het Horizon Dashboard. Neem de logberichten van de instantie op.

Stap 3. Zodra de inlogmelding in de console van de pool van de pc-type 1-type-2 VM-instantie van Horizon Dashboard wordt weergegeven, start u SSH in de UAME via haar IP-beheersysteem 10.10.10

(pod1) [stack@pod1-ospd ~]$ ssh ubuntu@10.10.10.10

Opmerking: Ga alleen naar de volgende stap als deze stap is geslaagd.

Stap 4. Controleer de schijfruimte vooral voor bestanden/dev/vda3 op primaire UAM.

ubuntu@pod1-uame-1:~$ df -kh

Stap 5. Trunk het syslog- of syslog.1-bestand (grotere bestandsgrootte van de twee bestanden, doorgaans in MB of GB) op de primaire UAM-toepassing.

ubuntu@pod1-uame-1:~$ sudo su -
root@pod1-uame-1:~# 
root@pod1-uame-1:~# cd /var/log
root@pod1-uame-1:/var/log# ls -lrth *syslog*
root@pod1-uame-1:/var/log# > syslog.1 or > syslog

Stap 6. Zorg ervoor dat syslogg of syslog.1 bestand-size nu 0 bytes op primaire UAME is.

root@pod1-uame-1:/var/log# ls -lrth *syslog*

Stap 7. Zorg ervoor dat df-kh voldoende vrije ruimte heeft voor bestandsafdeling op primaire UAME.

ubuntu@pod1-uame-1:~$ df -kh

SSH in secundaire UAME.

ubuntu@pod1-uame-1:~$ ssh ubuntu@172.16.180.8
password: 
...
ubuntu@pod1-uame-2:~$

Stap 8. Trunk het syslog- of syslog.1-bestand (groter bestand, groter van de twee bestanden, doorgaans in MB of GB) op secundaire UAME.

ubuntu@pod1-uame-2:~$ sudo su -
root@pod1-uame-2:~# 
root@pod1-uame-2:~# cd /var/log
root@pod1-uame-2:/var/log# ls -lrth *syslog*
root@pod1-uame-2:/var/log# > syslog.1 or > syslog

Stap 9. Zorg ervoor dat syslogg of syslog.1 bestand-size nu 0 bytes op secondaire UAME is.

root@pod1-uame-2:/var/log# ls -lrth *syslog*

Stap 10. Zorg ervoor dat df-kh voldoende vrije ruimte heeft voor bestandsafdeling op secundaire UAME.

ubuntu@pod1-uame-2:~$ df -kh

Na controle van de herstelstatus

Stap 1. Wacht op ten minste één herhaling van de Ultra M gezondheidsmonitor om te bevestigen dat er geen vnf-esc-fouten zijn gezien in het gezondheidsrapport.

[stack@pod1-ospd ~]$ cat /var/log/cisco/ultram-health/*.report | grep -i xxx
[stack@pod1-ospd ~]$ cat /var/log/cisco/ultram-health/*.report | grep -iv ':-)'

Stap 2. Bevestig ESC- en UAME-VM's actief en actief op OSPF-niveau.

[stack@pod1-ospd ~]$ source *core 
(pod1) [stack@pod1-ospd ~]$ nova list --field name,status,host,instance_name,power_state | grep esc
(pod1) [stack@pod1-ospd ~]$ nova list --field name,status,host,instance_name,power_state | grep uame

Stap 3. SSH in het primaire en back-upESC en bevestig dat ESC-gezondheid ook wordt doorgegeven.

[admin@pod1-esc-vnf-esc-core-esc-2 ~]$ cat /opt/cisco/esc/keepalived_state


[admin@pod1-esc-vnf-esc-core-esc-2 ~]$ health.sh 
============== ESC HA with DRBD =================
vimmanager (pgid 14638) is running
monitor (pgid 14703) is running
mona (pgid 14759) is running
snmp is disabled at startup
etsi is disabled at startup
pgsql (pgid 15114) is running
keepalived (pgid 13205) is running
portal is disabled at startup
confd (pgid 15011) is running
filesystem (pgid 0) is running
escmanager (pgid 15300) is running
=======================================
ESC HEALTH PASSED

[admin@pod1-esc-vnf-esc-core-esc-2 ~]$ ssh admin@
admin@172.16.181.26's password: 
Last login: Fri May 1 10:28:12 2020 from 172.16.180.13

####################################################################
# ESC on scucs501-esc-vnf-esc-core-esc-2 is in BACKUP state.
####################################################################

[admin@pod1-esc-vnf-esc-core-esc-2 ~]$ cat /opt/cisco/esc/keepalived_state
BACKUP

Stap 4. Bevestig in UAME dat de ESC-vnf in leefomstandigheden verkeert.

ubuntu@pod1-uame-1:~$ sudo su
ubuntu@pod1-uame-1:~$ confd_cli -u admin -C
pod1-uame-1# show vnfr state