UAME 메모리 할당 문제에 대한 복구 절차

다운로드 옵션

  • PDF     (139.4 KB)
    다양한 디바이스에서 Adobe Reader로 보기
  • ePub     (84.7 KB)
    iPhone, iPad, Android, Sony Reader 또는 Windows Phone의 다양한 앱에서 보기
  • Mobi (Kindle)     (72.0 KB)
    Kindle 디바이스에서 보기 또는 다양한 디바이스의 Kindle 앱에서 보기
업데이트:2021년 4월 28일 (수)
문서 ID:217071

편견 없는 언어

본 제품에 대한 문서 세트는 편견 없는 언어를 사용하기 위해 노력합니다. 본 설명서 세트의 목적상, 편견 없는 언어는 나이, 장애, 성별, 인종 정체성, 민족 정체성, 성적 지향성, 사회 경제적 지위 및 교차성에 기초한 차별을 의미하지 않는 언어로 정의됩니다. 제품 소프트웨어의 사용자 인터페이스에서 하드코딩된 언어, RFP 설명서에 기초한 언어 또는 참조된 서드파티 제품에서 사용하는 언어로 인해 설명서에 예외가 있을 수 있습니다. 시스코에서 어떤 방식으로 포용적인 언어를 사용하고 있는지 자세히 알아보세요.

이 번역에 관하여

Cisco는 전 세계 사용자에게 다양한 언어로 지원 콘텐츠를 제공하기 위해 기계 번역 기술과 수작업 번역을 병행하여 이 문서를 번역했습니다. 아무리 품질이 높은 기계 번역이라도 전문 번역가의 번역 결과물만큼 정확하지는 않습니다. Cisco Systems, Inc.는 이 같은 번역에 대해 어떠한 책임도 지지 않으며 항상 원본 영문 문서(링크 제공됨)를 참조할 것을 권장합니다.

    소개

    이 문서에서는 UAME의 메모리 누출(Memory Extrence) 문제 - CSCvu73187에서 UAME(Ultra Automation and Monitoring Engine)을 복구하는 방법에 대해 설명합니다.

    문제


    Ultra M 상태 모니터의 ESC(Elastic Services Controller) 경보:

    [root@pod1-ospd ~]# cat /var/log/cisco/ultram-health/*.report | grep -i xxx
 10.10.10.10/vnf-esc          | esc      | XXX      | vnf-esc:(error)

    솔루션

    상태 확인

    1단계. OSP-D(OpenStack Platform Director)에 로그인하고 vnf-esc 오류를 확인합니다.

    [stack@pod1-ospd ~]$ cat /var/log/cisco/ultram-health/*.report | grep -i xxx
    [stack@pod1-ospd ~]$ cat /var/log/cisco/ultram-health/*.report | grep -iv ':-)'

    2단계. 관리 IP 10.241.179.116을 통해 UAME에 로그인할 수 없지만 IP에 ping이 가능한지 확인합니다.

    (pod1) [stack@pod1-ospd ~]$ ssh ubuntu@10.10.10.10
    ssh_exchange_identification: read: Connection reset by peer
    (pod1) [stack@pod1-ospd ~]$ ping -c 5 10.10.10.10
    PING 10.10.10.10 (10.10.10.10) 56(84) bytes of data.
    64 bytes from 10.10.10.10: icmp_seq=1 ttl=57 time=0.242 ms
    64 bytes from 10.10.10.10: icmp_seq=2 ttl=57 time=0.214 ms
    64 bytes from 10.10.10.10: icmp_seq=3 ttl=57 time=0.240 ms
    64 bytes from 10.10.10.10: icmp_seq=4 ttl=57 time=0.255 ms
    64 bytes from 10.10.10.10: icmp_seq=5 ttl=57 time=0.240 ms

    --- 10.10.10.10 ping statistics ---
    5 packets transmitted, 5 received, 0% packet loss, time 4000ms
    rtt min/avg/max/mdev = 0.214/0.238/0.255/0.016 ms

    3단계. ESC 및 UAME과 관련된 VM이 활성 상태이고 OSP-D에서 실행되는지 확인합니다.

    [stack@pod1-ospd ~]$ source *core 
    (pod1) [stack@pod1-ospd ~]$

    (pod1) [stack@pod1-ospd ~]$ nova list --field name,status,host,instance_name,power_state | grep esc
    | 31416ffd-0719-4ce5-9e99-a1234567890e | pod1-uame-1 | ACTIVE | - | Running | pod1-AUTOMATION-ORCH=172.16.180.15; pod1-AUTOMATION-MGMT=172.16.181.33 |
    | d6830e97-bd82-4d8e-9467-a1234567890e | pod1-uame-2 | ACTIVE | - | Running | pod1-AUTOMATION-ORCH=172.16.180.8; pod1-AUTOMATION-MGMT=172.16.181.12

    (pod1) [stack@pod1-ospd ~]$ nova list --field name,status,host,instance_name,power_state | grep uame
    | 0c1596bc-e50f-4374-9098-a1234567890e | pod1-esc-vnf-esc-core-esc-1 | ACTIVE | - | Running | pod1-AUTOMATION-ORCH=172.16.180.10; pod1-AUTOMATION-MGMT=172.16.181.10 |
    | 3875618d-dcbe-4748-b196-a1234567890e | pod1-esc-vnf-esc-core-esc-2 | ACTIVE | - | Running | pod1-AUTOMATION-ORCH=172.16.180.18; pod1-AUTOMATION-MGMT=172.16.181.5

    4단계. 기본 및 백업 ESC에 연결할 수 있는지 확인합니다.ESC 상태도 전달되었는지 확인합니다.

    [admin@pod1-esc-vnf-esc-core-esc-2 ~]$ cat /opt/cisco/esc/keepalived_state

    [admin@pod1-esc-vnf-esc-core-esc-2 ~]$ health.sh 
    ============== ESC HA with DRBD =================
    vimmanager (pgid 14654) is running
    monitor (pgid 14719) is running
    mona (pgid 14830) is running
    snmp is disabled at startup
    etsi is disabled at startup
    pgsql (pgid 15130) is running
    keepalived (pgid 13083) is running
    portal is disabled at startup
    confd (pgid 15027) is running
    filesystem (pgid 0) is running
    escmanager (pgid 15316) is running
    =======================================
    ESC HEALTH PASSED

    [admin@pod1-esc-vnf-esc-core-esc-2 ~]$ ssh admin@172.16.180.12
    ####################################################################
    # ESC on pod1-esc-vnf-esc-core-esc-2 is in BACKUP state.
    ####################################################################

    [admin@pod1-esc-vnf-esc-core-esc-1 ~]$ cat /opt/cisco/esc/keepalived_state
    BACKUP

    복구 단계

    1단계. pod1-uame-2 인스턴스의 경우 Horizon Dashboard 콘솔에 로그인합니다.

    2단계. 소프트 Horizon Dashboard에서 pod1-uame-2 VM 인스턴스를 재부팅합니다.인스턴스의 콘솔 로그 메시지를 확인합니다.

    3단계. Horizon Dashboard에서 pod1-uame-2 VM 인스턴스의 콘솔에 로그인 프롬프트가 표시되면 관리 IP 10.10.10.10을 통해 UAME에 SSH를 시작합니다.

    (pod1) [stack@pod1-ospd ~]$ ssh ubuntu@10.10.10.10

    참고:이 단계가 성공한 경우에만 다음 단계로 진행합니다.

    4단계. 특히 기본 UAME의 /dev/vda3 파일 시스템에 대한 디스크 공간을 확인합니다.

    ubuntu@pod1-uame-1:~$ df -kh

    5단계. 기본 UAME에서 syslog 또는 syslog.1 파일(일반적으로 MB 또는 GB의 두 파일 중 큰 파일 크기)을 자릅니다.

    ubuntu@pod1-uame-1:~$ sudo su -
    root@pod1-uame-1:~# 
    root@pod1-uame-1:~# cd /var/log
    root@pod1-uame-1:/var/log# ls -lrth *syslog*
    root@pod1-uame-1:/var/log# > syslog.1 or > syslog

    6단계. syslog 또는 syslog.1 파일 크기가 이제 기본 UAME에서 0바이트인지 확인합니다.

    root@pod1-uame-1:/var/log# ls -lrth *syslog*

    7단계. df -kh가 기본 UAME에서 파일 시스템 파티션을 위한 충분한 여유 공간이 있어야 합니다.

    ubuntu@pod1-uame-1:~$ df -kh

    보조 UAME에 SSH를 적용합니다.

    ubuntu@pod1-uame-1:~$ ssh ubuntu@172.16.180.8
    password: 
    ...
    ubuntu@pod1-uame-2:~$

    8단계. 보조 UAME에서 syslog 또는 syslog.1 파일(일반적으로 MB 또는 GB의 두 파일 중 큰 파일 크기)을 자릅니다.

    ubuntu@pod1-uame-2:~$ sudo su -
    root@pod1-uame-2:~# 
    root@pod1-uame-2:~# cd /var/log
    root@pod1-uame-2:/var/log# ls -lrth *syslog*
    root@pod1-uame-2:/var/log# > syslog.1 or > syslog

    9단계. 이제 syslog 또는 syslog.1 파일 크기가 보조 UAME에서 0바이트인지 확인합니다.

    root@pod1-uame-2:/var/log# ls -lrth *syslog*

    10단계. df -kh가 보조 UAME의 파일 시스템 파티션을 위한 충분한 여유 공간이 있어야 합니다.

    ubuntu@pod1-uame-2:~$ df -kh

    복구 후 상태 확인

    1단계. 상태 보고서에 표시된 vnf-esc 오류가 없음을 확인하기 위해 Ultra M 상태 모니터의 반복을 하나 이상 기다립니다.

    [stack@pod1-ospd ~]$ cat /var/log/cisco/ultram-health/*.report | grep -i xxx
    [stack@pod1-ospd ~]$ cat /var/log/cisco/ultram-health/*.report | grep -iv ':-)'

    2단계. ESC 및 UAME VM이 활성 상태이고 OSPD에서 실행 중인지 확인합니다.

    [stack@pod1-ospd ~]$ source *core 
    (pod1) [stack@pod1-ospd ~]$ nova list --field name,status,host,instance_name,power_state | grep esc
    (pod1) [stack@pod1-ospd ~]$ nova list --field name,status,host,instance_name,power_state | grep uame

    3단계. 기본 및 백업 ESC에 SSH를 입력하고 ESC 상태도 전달되었는지 확인합니다.

    [admin@pod1-esc-vnf-esc-core-esc-2 ~]$ cat /opt/cisco/esc/keepalived_state


    [admin@pod1-esc-vnf-esc-core-esc-2 ~]$ health.sh 
    ============== ESC HA with DRBD =================
    vimmanager (pgid 14638) is running
    monitor (pgid 14703) is running
    mona (pgid 14759) is running
    snmp is disabled at startup
    etsi is disabled at startup
    pgsql (pgid 15114) is running
    keepalived (pgid 13205) is running
    portal is disabled at startup
    confd (pgid 15011) is running
    filesystem (pgid 0) is running
    escmanager (pgid 15300) is running
    =======================================
    ESC HEALTH PASSED

    [admin@pod1-esc-vnf-esc-core-esc-2 ~]$ ssh admin@
    admin@172.16.181.26's password: 
    Last login: Fri May 1 10:28:12 2020 from 172.16.180.13

    ####################################################################
    # ESC on scucs501-esc-vnf-esc-core-esc-2 is in BACKUP state.
    ####################################################################

    [admin@pod1-esc-vnf-esc-core-esc-2 ~]$ cat /opt/cisco/esc/keepalived_state
    BACKUP

    4단계. UAME에서 ESC vnfd가 ALIVE 상태인지 확인합니다.

    ubuntu@pod1-uame-1:~$ sudo su
    ubuntu@pod1-uame-1:~$ confd_cli -u admin -C
    pod1-uame-1# show vnfr state
    TAC Authored

    Cisco 엔지니어가 작성

    • Dennis Lanov
      Cisco TAC 엔지니어

    이 문서가 도움이 되셨습니까?

    Feedback피드백

    지원 문의

    이 문서가 적용되는 제품