内容

概要

問題

解決方法

ステータスチェック

リカバリ手順

回復後のステータスチェック

概要

このドキュメントでは、Ultra Automation and Monitoring Engine(UAME)をUAME問題のメモリリークから回復する方法について説明します。CSCvu73187

問題

Ultra MヘルスモニタのElastic Services Controller(ESC)アラーム：

[root@pod1-ospd ~]# cat /var/log/cisco/ultram-health/*.report | grep -i xxx

10.10.10.10/vnf-esc          | esc      | XXX      | vnf-esc:(error)

解決方法

ステータスチェック

ステップ1:OpenStack Platform Director(OSP-D)にログインし、vnf-escエラーを確認します。

[stack@pod1-ospd ~]$ cat /var/log/cisco/ultram-health/*.report | grep -i xxx

[stack@pod1-ospd ~]$ cat /var/log/cisco/ultram-health/*.report | grep -iv ':-)'

ステップ2：管理IP 10.241.179.116経由でUAMEにログインできないが、IPにpingできることを確認します。

(pod1) [stack@pod1-ospd ~]$ ssh ubuntu@10.10.10.10

ssh_exchange_identification: read: Connection reset by peer

(pod1) [stack@pod1-ospd ~]$ ping -c 5 10.10.10.10

PING 10.10.10.10 (10.10.10.10) 56(84) bytes of data.

64 bytes from 10.10.10.10: icmp_seq=1 ttl=57 time=0.242 ms

64 bytes from 10.10.10.10: icmp_seq=2 ttl=57 time=0.214 ms

64 bytes from 10.10.10.10: icmp_seq=3 ttl=57 time=0.240 ms

64 bytes from 10.10.10.10: icmp_seq=4 ttl=57 time=0.255 ms

64 bytes from 10.10.10.10: icmp_seq=5 ttl=57 time=0.240 ms

--- 10.10.10.10 ping statistics ---

5 packets transmitted, 5 received, 0% packet loss, time 4000ms

rtt min/avg/max/mdev = 0.214/0.238/0.255/0.016 ms

ステップ3:ESCおよびUAMEに関連するVMがアクティブで、OSP-Dで稼働していることを確認します。

[stack@pod1-ospd ~]$ source *core

(pod1) [stack@pod1-ospd ~]$

(pod1) [stack@pod1-ospd ~]$ nova list --field name,status,host,instance_name,power_state | grep esc

| 31416ffd-0719-4ce5-9e99-a1234567890e | pod1-uame-1 | ACTIVE | - | Running | pod1-AUTOMATION-ORCH=172.16.180.15; pod1-AUTOMATION-MGMT=172.16.181.33 |

| d6830e97-bd82-4d8e-9467-a1234567890e | pod1-uame-2 | ACTIVE | - | Running | pod1-AUTOMATION-ORCH=172.16.180.8; pod1-AUTOMATION-MGMT=172.16.181.12

(pod1) [stack@pod1-ospd ~]$ nova list --field name,status,host,instance_name,power_state | grep uame

| 0c1596bc-e50f-4374-9098-a1234567890e | pod1-esc-vnf-esc-core-esc-1 | ACTIVE | - | Running | pod1-AUTOMATION-ORCH=172.16.180.10; pod1-AUTOMATION-MGMT=172.16.181.10 |

| 3875618d-dcbe-4748-b196-a1234567890e | pod1-esc-vnf-esc-core-esc-2 | ACTIVE | - | Running | pod1-AUTOMATION-ORCH=172.16.180.18; pod1-AUTOMATION-MGMT=172.16.181.5

ステップ4：プライマリおよびバックアップESCに接続できることを確認します。ESCの状態も渡されていることを確認します。

[admin@pod1-esc-vnf-esc-core-esc-2 ~]$ cat /opt/cisco/esc/keepalived_state

[admin@pod1-esc-vnf-esc-core-esc-2 ~]$ health.sh

============== ESC HA with DRBD =================

vimmanager (pgid 14654) is running

monitor (pgid 14719) is running

mona (pgid 14830) is running

snmp is disabled at startup

etsi is disabled at startup

pgsql (pgid 15130) is running

keepalived (pgid 13083) is running

portal is disabled at startup

confd (pgid 15027) is running

filesystem (pgid 0) is running

escmanager (pgid 15316) is running

=======================================

ESC HEALTH PASSED

[admin@pod1-esc-vnf-esc-core-esc-2 ~]$ ssh admin@172.16.180.12

####################################################################

# ESC on pod1-esc-vnf-esc-core-esc-2 is in BACKUP state.

####################################################################

[admin@pod1-esc-vnf-esc-core-esc-1 ~]$ cat /opt/cisco/esc/keepalived_state

BACKUP

リカバリ手順

ステップ1:pod1-ame-2インスタンスのHorizon Dashboardコンソールにログインします。

ステップ2:Horizon Dashboardからpod1-ame-2 VMインスタンスをソフトリブートします。インスタンスのコンソールログメッセージを確認します。

ステップ3：ログインプロンプトがHorizon Dashboardのpod1-ame-2 VMインスタンスのコンソールに表示されたら、管理IP 10.10.10.10を介してUAMEにSSHを開始します

(pod1) [stack@pod1-ospd ~]$ ssh ubuntu@10.10.10.10

注：この手順が成功した場合にのみ、次の手順に進みます。

ステップ4：特にプライマリUAMEの/dev/vda3ファイルシステムのディスク領域をチェックしてください。

ubuntu@pod1-uame-1:~$ df -kh

ステップ5：プライマリUAMEのsyslogまたはsyslog.1ファイル（通常はMBまたはGBの2つのファイルのうち、大きなファイルサイズ）を切り捨ててください。

ubuntu@pod1-uame-1:~$ sudo su -

root@pod1-uame-1:~#

root@pod1-uame-1:~# cd /var/log

root@pod1-uame-1:/var/log# ls -lrth *syslog*

root@pod1-uame-1:/var/log# > syslog.1 or > syslog

ステップ6:syslogまたはsyslog.1のファイルサイズがプライマリUAMEで0バイトであることを確認してください。

root@pod1-uame-1:/var/log# ls -lrth *syslog*

ステップ7. df -khに、プライマリUAMEのファイルシステムパーティション用の十分な空き領域があることを確認してください。

ubuntu@pod1-uame-1:~$ df -kh

セカンダリUAMEにSSH接続します。

ubuntu@pod1-uame-1:~$ ssh ubuntu@172.16.180.8

password:

...

ubuntu@pod1-uame-2:~$

ステップ8：セカンダリUAMEでsyslogまたはsyslog.1ファイル（通常はMBまたはGBの2つのファイルのうち、大きなファイルサイズ）を切り捨てます。

ubuntu@pod1-uame-2:~$ sudo su -

root@pod1-uame-2:~#

root@pod1-uame-2:~# cd /var/log

root@pod1-uame-2:/var/log# ls -lrth *syslog*

root@pod1-uame-2:/var/log# > syslog.1 or > syslog

ステップ9：セカンダリUAMEでsyslogまたはsyslog.1のファイルサイズが0バイトになったことを確認します。

root@pod1-uame-2:/var/log# ls -lrth *syslog*

ステップ10：セカンダリUAMEのファイルシステムパーティションに十分な空き領域がdf -khにあることを確認します。

ubuntu@pod1-uame-2:~$ df -kh

回復後のステータスチェック

ステップ1:Ultra Mヘルスモニタの少なくとも1回の反復を待ち、ヘルスレポートにvnf-escエラーが表示されていないことを確認します。

[stack@pod1-ospd ~]$ cat /var/log/cisco/ultram-health/*.report | grep -i xxx

[stack@pod1-ospd ~]$ cat /var/log/cisco/ultram-health/*.report | grep -iv ':-)'

ステップ2:ESCとUAME VMがアクティブで、OSPDで実行中であることを確認します。

[stack@pod1-ospd ~]$ source *core

(pod1) [stack@pod1-ospd ~]$ nova list --field name,status,host,instance_name,power_state | grep esc

(pod1) [stack@pod1-ospd ~]$ nova list --field name,status,host,instance_name,power_state | grep uame

ステップ3：プライマリESCとバックアップESCにSSH接続し、ESCの状態も渡されていることを確認します。

[admin@pod1-esc-vnf-esc-core-esc-2 ~]$ cat /opt/cisco/esc/keepalived_state

[admin@pod1-esc-vnf-esc-core-esc-2 ~]$ health.sh

============== ESC HA with DRBD =================

vimmanager (pgid 14638) is running

monitor (pgid 14703) is running

mona (pgid 14759) is running

snmp is disabled at startup

etsi is disabled at startup

pgsql (pgid 15114) is running

keepalived (pgid 13205) is running

portal is disabled at startup

confd (pgid 15011) is running

filesystem (pgid 0) is running

escmanager (pgid 15300) is running

=======================================

ESC HEALTH PASSED

[admin@pod1-esc-vnf-esc-core-esc-2 ~]$ ssh admin@

admin@172.16.181.26's password:

Last login: Fri May 1 10:28:12 2020 from 172.16.180.13

####################################################################

# ESC on scucs501-esc-vnf-esc-core-esc-2 is in BACKUP state.

####################################################################

[admin@pod1-esc-vnf-esc-core-esc-2 ~]$ cat /opt/cisco/esc/keepalived_state

BACKUP

ステップ4:UAMEでESC vnfdがALIVE状態であることを確認します。

ubuntu@pod1-uame-1:~$ sudo su

ubuntu@pod1-uame-1:~$ confd_cli -u admin -C

pod1-uame-1# show vnfr state