Contents

Introduction

Informações de Apoio

Abreviaturas

Procedimentos de backup

Backup de OSPD

Implantar automaticamente backup

Backup AutoIT-VNF

Backup do AutoVNF

Backup ESC

Backup do EM

Backup do StarOS

Procedimento de restauração

Recuperação de OSPD

Recuperação de Implantação Automática

Recuperação AutoIT-VNF

Recuperação AutoVNF

Recuperação ESC

Recuperação EM

Recuperação do StarOS

Introduction

Este documento descreve as etapas necessárias para fazer backup e restaurar uma máquina virtual (VM) em uma configuração Ultra-M que hospeda as funções de rede virtual (VNFs) do StarOS.

Informações de Apoio

O Ultra-M é uma solução de núcleo de pacotes móveis virtualizados, pré-embalada e validada, projetada para simplificar a implantação de VNFs. A solução Ultra-M consiste nos seguintes tipos de máquina virtual (VM):

- TI automática

- Implantação automática

- Ultra Automation Services (UAS)

- Gerenciador de Elementos (EM)

- Controlador de serviços elásticos (ESC)

- Função de Controle (CF)

- Função da sessão (SF)

A arquitetura de alto nível da Ultra-M e os componentes envolvidos estão descritos nesta imagem:

Este documento destina-se ao pessoal da Cisco que conhece a plataforma Ultra-M da Cisco.

Note: A versão Ultra M 5.1.x é considerada para definir os procedimentos neste documento.

Abreviaturas

VNF

Função de rede virtual

CF

Função de controle

SF

Função de serviço

ESC

Controlador de serviço elástico

MOP

Método de Procedimento

OSD

Discos de Armazenamento de Objeto

HDD

Unidade de disco rígido

SSD

Unidade de estado sólido

VIM

Virtual Infrastructure Manager

VM

Máquina virtual

EM

Gestor de Elementos

UAS

Ultra Automation Services

UUID

Identificador de ID universal exclusivo

Procedimentos de backup

Backup de OSPD

1. Verifique o status da pilha do OpenStack e a lista de nós.

[stack@director ~]$ source stackrc

[stack@director ~]$ openstack stack list --nested

[stack@director ~]$ ironic node-list

[stack@director ~]$ nova list

2. Verifique se todos os serviços do Undercloud estão no status carregado, ativo e em execução no nó OSP-D.

[stack@director ~]$ systemctl list-units "openstack*" "neutron*" "openvswitch*"

UNIT                                       LOAD   ACTIVE SUB     DESCRIPTION

neutron-dhcp-agent.service                 loaded active running OpenStack Neutron DHCP Agent

neutron-openvswitch-agent.service          loaded active running OpenStack Neutron Open vSwitch Agent

neutron-ovs-cleanup.service                loaded active exited  OpenStack Neutron Open vSwitch Cleanup Utility

neutron-server.service                     loaded active running OpenStack Neutron Server

openstack-aodh-evaluator.service           loaded active running OpenStack Alarm evaluator service

openstack-aodh-listener.service            loaded active running OpenStack Alarm listener service

openstack-aodh-notifier.service            loaded active running OpenStack Alarm notifier service

openstack-ceilometer-central.service       loaded active running OpenStack ceilometer central agent

openstack-ceilometer-collector.service     loaded active running OpenStack ceilometer collection service

openstack-ceilometer-notification.service  loaded active running OpenStack ceilometer notification agent

openstack-glance-api.service               loaded active running OpenStack Image Service (code-named Glance) API server

openstack-glance-registry.service          loaded active running OpenStack Image Service (code-named Glance) Registry server

openstack-heat-api-cfn.service             loaded active running Openstack Heat CFN-compatible API Service

openstack-heat-api.service                 loaded active running OpenStack Heat API Service

openstack-heat-engine.service              loaded active running Openstack Heat Engine Service

openstack-ironic-api.service               loaded active running OpenStack Ironic API service

openstack-ironic-conductor.service         loaded active running OpenStack Ironic Conductor service

openstack-ironic-inspector-dnsmasq.service loaded active running PXE boot dnsmasq service for Ironic Inspector

openstack-ironic-inspector.service         loaded active running Hardware introspection service for OpenStack Ironic

openstack-mistral-api.service              loaded active running Mistral API Server

openstack-mistral-engine.service           loaded active running Mistral Engine Server

openstack-mistral-executor.service         loaded active running Mistral Executor Server

openstack-nova-api.service                 loaded active running OpenStack Nova API Server

openstack-nova-cert.service                loaded active running OpenStack Nova Cert Server

openstack-nova-compute.service             loaded active running OpenStack Nova Compute Server

openstack-nova-conductor.service           loaded active running OpenStack Nova Conductor Server

openstack-nova-scheduler.service           loaded active running OpenStack Nova Scheduler Server

openstack-swift-account-reaper.service     loaded active running OpenStack Object Storage (swift) - Account Reaper

openstack-swift-account.service            loaded active running OpenStack Object Storage (swift) - Account Server

openstack-swift-container-updater.service  loaded active running OpenStack Object Storage (swift) - Container Updater

openstack-swift-container.service          loaded active running OpenStack Object Storage (swift) - Container Server

openstack-swift-object-updater.service     loaded active running OpenStack Object Storage (swift) - Object Updater

openstack-swift-object.service             loaded active running OpenStack Object Storage (swift) - Object Server

openstack-swift-proxy.service              loaded active running OpenStack Object Storage (swift) - Proxy Server

openstack-zaqar.service                    loaded active running OpenStack Message Queuing Service (code-named Zaqar) Server

openstack-zaqar@1.service                  loaded active running OpenStack Message Queuing Service (code-named Zaqar) Server Instance 1

openvswitch.service                        loaded active exited  Open vSwitch

LOAD   = Reflects whether the unit definition was properly loaded.

ACTIVE = The high-level unit activation state, i.e. generalization of SUB.

SUB    = The low-level unit activation state, values depend on unit type.

37 loaded units listed. Pass --all to see loaded but inactive units, too.

To show all installed unit files use 'systemctl list-unit-files'.

3. Confirme se você tem espaço em disco suficiente disponível antes de executar o processo de backup. Espera-se que este touro tenha pelo menos 3,5 GB.

[stack@director ~]$df -h

4. Execute esses comandos como o usuário raiz para fazer backup dos dados do nó Undercloud em um arquivo chamado undercloud-backup-[timestamp].tar.gz e transferi-los para o servidor de backup.

[root@director ~]# mysqldump --opt --all-databases > /root/undercloud-all-databases.sql

[root@director ~]# tar --xattrs -czf undercloud-backup-`date +%F`.tar.gz /root/undercloud-all-databases.sql

/etc/my.cnf.d/server.cnf /var/lib/glance/images /srv/node /home/stack

tar: Removing leading `/' from member names

Implantar automaticamente backup

1. A Implantação automática requer que seja feito backup desses dados:

- Implantar automaticamente o banco de dados de configuração de configuração (CDB)

- Configuração de implantação automática

- Logs de Implantação Automática

- Configuração do Syslog

2. O backup dos dados do CDB de configuração de implantação automática e da configuração em execução são necessários após cada ativação/desativação e garantem que os dados sejam transferidos para um servidor de backup.

3. A Implantação automática é executada no modo autônomo e, se esses dados forem perdidos, você não poderá desativar a implantação corretamente. Portanto, é obrigatório fazer o backup da configuração e dos dados CDB.

ubuntu@auto-deploy-iso-2007-uas-0:~$ sudo -i

root@auto-deploy-iso-2007-uas-0:~# service uas-confd stop

uas-confd stop/waiting

root@auto-deploy:/home/ubuntu# service autodeploy status

autodeploy start/running, process 1313

root@auto-deploy:/home/ubuntu# service autodeploy stop

autodeploy stop/waiting

root@auto-deploy-iso-2007-uas-0:~# cd /opt/cisco/usp/uas/confd-6.3.1/var/confd

root@auto-deploy-iso-2007-uas-0:/opt/cisco/usp/uas/confd-6.3.1/var/confd# tar cvf autodeploy_cdb_backup.tar cdb/

cdb/

cdb/O.cdb

cdb/C.cdb

cdb/aaa_init.xml

cdb/A.cdb

4. Copie autoDeployment_cdb_backup.tar para o servidor de backup.

5. Faça um backup da configuração em execução na Implantação automática e transfira-a para um servidor de backup.

root@auto-deploy:/home/ubuntu# confd_cli -u admin -C

Welcome to the ConfD CLI

admin connected from 127.0.0.1 using console on auto-deploy

auto-deploy#show running-config | save backup-config-$date.cfg à Replace the $date to appropriate date and POD reference

auto-deploy#

6.Inicie o serviço AutoDeploy Confd.

root@auto-deploy-iso-2007-uas-0:~# service uas-confd start

uas-confd start/running, process 13852

root@auto-deploy:/home/ubuntu# service autodeploy start

autodeploy start/running, process 8835

7. Navegue até o diretório de scripts e colete os registros da VM de Implantação Automática.

cd /opt/cisco/usp/uas/scripts

8. Inicie o script collection-uas-logs.sh para coletar os registros.

sudo ./collect-uas-logs.sh

9. Retire o backup da imagem ISO da Implantação automática e transfira para o servidor de backup.

root@POD1-5-1-7-2034-auto-deploy-uas-0:/home/ubuntu# /home/ubuntu/isos

root@POD1-5-1-7-2034-auto-deploy-uas-0:/home/ubuntu/isos# ll

total 4430888

drwxr-xr-x 2 root   root         4096 Dec 20 01:17 ./

drwxr-xr-x 5 ubuntu ubuntu       4096 Dec 20 02:31 ../

-rwxr-xr-x 1 ubuntu ubuntu 4537214976 Oct 12 03:34 usp-5_1_7-2034.iso*

10. Colete a configuração do syslog e salve-a no servidor de backup.

ubuntu@auto-deploy-vnf-iso-5-1-5-1196-uas-0:~$sudo su

root@auto-deploy-vnf-iso-5-1-5-1196-uas-0:/home/ubuntu#ls /etc/rsyslog.d/00-autodeploy.conf

00-autodeploy.conf

root@auto-deploy-vnf-iso-5-1-5-1196-uas-0:/home/ubuntu#ls /etc/rsyslog.conf

rsyslog.conf

Backup AutoIT-VNF

AutoIT-VNF é uma VM stateless, portanto, não há banco de dados (DB) que precise ser copiado em backup. O AutoIT-VNF é responsável por fazer o gerenciamento do pacote juntamente com o repositório de gerenciamento de configuração do Ultra-M, portanto, é essencial que esses backups sejam realizados.

1. Faça o backup das configurações StarOS do dia 0 e transfira-as para o servidor de backup.

root@auto-it-vnf-iso-5-8-uas-0:/home/ubuntu# cd /opt/cisco/usp/uploads/

root@auto-it-vnf-iso-5-8-uas-0:/opt/cisco/usp/uploads# ll

total 12

drwxrwxr-x  2 uspadmin usp-data 4096 Nov  8 23:28 ./

drwxr-xr-x 15 root     root     4096 Nov  8 23:53 ../

-rw-rw-r--  1 ubuntu   ubuntu    985 Nov  8 23:28 system.cfg

2. Navegue até o diretório de scripts e colete os registros da VM AutoIT.

cd /opt/cisco/usp/uas/scripts

3. Inicie o script collection-uas-logs.sh para coletar os registros.

sudo ./collect-uas-logs.sh

4. Colete o backup da configuração do syslog e salve-o no servidor de backup.

ubuntu@auto-it-vnf-iso-5-1-5-1196-uas-0:~$sudo su

root@auto-it-vnf-iso-5-1-5-1196-uas-0:/home/ubuntu#ls /etc/rsyslog.d/00-autoit-vnf.conf

00-autoit-vnf.conf

root@auto-it-vnf-iso-5-1-5-1196-uas-0:ls /etc/rsyslog.conf

rsyslog.conf

Backup do AutoVNF

O AutoVNF é responsável por ativar VNFM e VNF individuais. O AutoDeploy envia a configuração necessária para instanciar o VNFM. e VNF para AutoVNF e AutoVNF fazem essa operação. Para ativar o VNFM, o AutoVNF irá falar diretamente com o VIM/OpenStack e depois que o VNFM estiver ativo, o AutoVNF usa o VNFM para ativar o VNF.

A AutoVNF tem redundância 1:N e, em uma configuração Ultra-M, há três VMs AutoVNF em execução. A falha de AutoVNF única é suportada no Ultra-M e a recuperação é viável.

Note: Se houver mais de uma falha, ela não será suportada e poderá exigir a reimplantação do sistema.

Detalhes do backup do AutoVNF:

- configuração running

- CDB ConfD

- Logs AutoVNF (de cada instância do AutoVNF)

- Configuração do Syslog

Recomenda-se fazer backups antes de qualquer ativação/desativação no site especificado e carregada no servidor de backup.

1. Efetue login no AutoVNF mestre e valide se ele é confd-master.

root@auto-testautovnf1-uas-1:/home/ubuntu# confd_cli -u admin -C

Welcome to the ConfD CLI

admin connected from 127.0.0.1 using console on auto-testautovnf1-uas-1

auto-testautovnf1-uas-1#show uas

uas version 1.0.1-1

uas state ha-active

uas ha-vip 172.57.11.101

INSTANCE IP   STATE  ROLE

-----------------------------------

172.57.12.6   alive  CONFD-SLAVE

172.57.12.7   alive  CONFD-MASTER

172.57.12.13  alive  NA

auto-testautovnf1-uas-1#exit

root@auto-testautovnf1-uas-1:/home/ubuntu# ip a

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

valid_lft forever preferred_lft forever

inet6 ::1/128 scope host

valid_lft forever preferred_lft forever

2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000

link/ether fa:16:3e:c7:dc:89 brd ff:ff:ff:ff:ff:ff

inet 172.57.12.7/24 brd 172.57.12.255 scope global eth0

valid_lft forever preferred_lft forever

inet6 fe80::f816:3eff:fec7:dc89/64 scope link

valid_lft forever preferred_lft forever

3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000

link/ether fa:16:3e:10:29:1b brd ff:ff:ff:ff:ff:ff

inet 172.57.11.101/24 brd 172.57.11.255 scope global eth1

valid_lft forever preferred_lft forever

inet6 fe80::f816:3eff:fe10:291b/64 scope link

valid_lft forever preferred_lft forever

2. Faça um backup da configuração atual e transfira o arquivo para o servidor de backup.

root@auto-testautovnf1-uas-1:/home/ubuntu# confd_cli -u admin -C

Welcome to the ConfD CLI

admin connected from 127.0.0.1 using console on auto-testautovnf1-uas-1

auto-testautovnf1-uas-1#show running-config | save running-autovnf-12202017.cfg

auto-testautovnf1-uas-1#exit

root@auto-testautovnf1-uas-1:/home/ubuntu# ll running-autovnf-12202017.cfg

-rw-r--r-- 1 root   root   18181 Dec 20 19:03 running-autovnf-12202017.cfg

3. Faça um backup do CDB e transfira o arquivo para o servidor de backup.

root@auto-testautovnf1-uas-1:/opt/cisco/usp/uas/confd-6.3.1/var/confd# tar cvf autovnf_cdb_backup.tar cdb/

cdb/

cdb/O.cdb

cdb/C.cdb

cdb/aaa_init.xml

cdb/vpc.xml

cdb/A.cdb

cdb/gilan.xml

root@auto-testautovnf1-uas-1:/opt/cisco/usp/uas/confd-6.3.1/var/confd#

root@auto-testautovnf1-uas-1:/opt/cisco/usp/uas/confd-6.3.1/var/confd# ll autovnf_cdb_backup.tar

-rw-r--r-- 1 root root 1198080 Dec 20 19:08 autovnf_cdb_backup.tar

4. Navegue até o diretório de scripts, colete os logs e transfira para o servidor de backup.

cd /opt/cisco/usp/uas/scripts

sudo ./collect-uas-logs.sh

5. Efetue login na instância em standby do AutoVNF e execute estas etapas para coletar os registros e transferi-los para o servidor de backup.

6. Faça backup da configuração de syslog nas VMs AutoVNF mestre e standby e transfira-as para o servidor de backup.

ubuntu@auto-testautovnf1-uas-1:~$sudo su

root@auto-testautovnf1-uas-1:/home/ubuntu#ls /etc/rsyslog.d/00-autovnf.conf

00-autovnf.conf

root@auto-testautovnf1-uas-1:/home/ubuntu#ls /etc/rsyslog.conf

rsyslog.conf

Backup ESC

1. O AutoVNF é responsável por ativar o ESC em uma solução Ultra-M interagindo diretamente com o VIM. O AutoVNF/EM passa a configuração específica do VNF para o ESC e o ESC, por sua vez, ativará o VNF interagindo com o VIM.

2. O ESC tem redundância 1:1 na solução Ultra-M. Há duas VMs ESC implantadas e que suportam uma única falha no Ultra-M, ou seja, você pode recuperar o sistema se houver uma única falha no sistema.

Note: Se houver mais de uma falha, ela não será suportada e poderá exigir a reimplantação do sistema.

Detalhes do backup ESC:

- Configuração running

- CDB ConfD

- Logs ESC

- Configuração de syslog

3. A frequência do backup do banco de dados ESC é complicada e precisa ser tratada com cuidado enquanto o ESC monitora e mantém as várias máquinas de estado para várias VMs VNF implantadas. Aconselha-se que esses backups sejam executados depois de você seguir as atividades em determinado VNF/POD/Site.

4. Verifique se a integridade do ESC é boa com o uso do script health.sh.

[root@auto-test-vnfm1-esc-0 admin]# escadm status

0 ESC status=0 ESC Master Healthy

[root@auto-test-vnfm1-esc-0 admin]# health.sh

esc ui is disabled -- skipping status check

esc_monitor start/running, process 836

esc_mona is up and running ...

vimmanager start/running, process 2741

vimmanager start/running, process 2741

esc_confd is started

tomcat6 (pid 2907) is running...                           [  OK  ]

postgresql-9.4 (pid  2660) is running...

ESC service is running...

Active VIM = OPENSTACK

ESC Operation Mode=OPERATION

/opt/cisco/esc/esc_database is a mountpoint

============== ESC HA (MASTER) with DRBD =================

DRBD_ROLE_CHECK=0

MNT_ESC_DATABSE_CHECK=0

VIMMANAGER_RET=0

ESC_CHECK=0

STORAGE_CHECK=0

ESC_SERVICE_RET=0

MONA_RET=0

ESC_MONITOR_RET=0

=======================================

ESC HEALTH PASSED

5. Faça um backup da configuração atual e transfira o arquivo para o servidor de backup.

[root@auto-test-vnfm1-esc-0 admin]# /opt/cisco/esc/confd/bin/confd_cli -u admin -C

admin connected from 127.0.0.1 using console on auto-test-vnfm1-esc-0.novalocal

auto-test-vnfm1-esc-0# show running-config | save /tmp/running-esc-12202017.cfg

auto-test-vnfm1-esc-0#exit

[root@auto-test-vnfm1-esc-0 admin]# ll /tmp/running-esc-12202017.cfg

-rw-------. 1 tomcat tomcat 25569 Dec 20 21:37 /tmp/running-esc-12202017.cfg

Banco de Dados de Backup

1. Defina ESC para o modo de manutenção.

2. Faça login na VM ESC e execute esse comando antes de fazer o backup.

[admin@auto-test-vnfm1-esc-0 admin]# sudo bash

[root@auto-test-vnfm1-esc-0 admin]# cp /opt/cisco/esc/esc-scripts/esc_dbtool.py /opt/cisco/esc/esc-scripts/esc_dbtool.py.bkup

[root@auto-test-vnfm1-esc-0 admin]# sudo sed -i "s,'pg_dump,'/usr/pgsql-9.4/bin/pg_dump," /opt/cisco/esc/esc-scripts/esc_dbtool.py

#Set ESC to mainenance mode

[root@auto-test-vnfm1-esc-0 admin]# escadm op_mode set --mode=maintenance

3. Verifique o modo ESC e certifique-se de que ele esteja no modo de manutenção.

[root@auto-test-vnfm1-esc-0 admin]# escadm op_mode show

4. Banco de dados de backup com o uso da ferramenta de restauração de backup de banco de dados disponível em ESC.

[root@auto-test-vnfm1-esc-0 admin]# sudo /opt/cisco/esc/esc-scripts/esc_dbtool.py backup --file  scp://<username>:<password>@<backup_vm_ip>:<filename>

5. Defina ESC novamente como Operation Mode (Modo de operação) e confirme o modo.

[root@auto-test-vnfm1-esc-0 admin]# escadm op_mode set --mode=operation

[root@auto-test-vnfm1-esc-0 admin]# escadm op_mode show

6. Navegue até o diretório scripts e colete os logs.

[root@auto-test-vnfm1-esc-0 admin]# /opt/cisco/esc/esc-scripts

sudo ./collect_esc_log.sh

7. Repita o mesmo procedimento na VM ESC em standby e transfira os registros para o servidor de backup.

8. Colete o backup da configuração do syslog no ESC VMS e transfira-o para o servidor de backup.

[admin@auto-test-vnfm2-esc-1 ~]$ cd /etc/rsyslog.d

[admin@auto-test-vnfm2-esc-1 rsyslog.d]$ls /etc/rsyslog.d/00-escmanager.conf

00-escmanager.conf

[admin@auto-test-vnfm2-esc-1 rsyslog.d]$ls /etc/rsyslog.d/01-messages.conf

01-messages.conf

[admin@auto-test-vnfm2-esc-1 rsyslog.d]$ls /etc/rsyslog.d/02-mona.conf

02-mona.conf

[admin@auto-test-vnfm2-esc-1 rsyslog.d]$ls /etc/rsyslog.conf

rsyslog.conf

Backup do EM

1. Depois que o VNFM/ESC estiver ativo, o AutoVNF usará o ESC para ativar o cluster EM. Quando o cluster EM estiver ativo, a EM interagirá com o ESC para ativar o VNF (VPC/StarOS).

2. A EM tem redundância 1:N na solução Ultra-M. Há um cluster de três VMs EM e o Ultra-M suporta a recuperação de falha única de VM.

Note: Se houver mais de uma falha, ela não será suportada e poderá exigir a reimplantação do sistema.

Detalhes do backup EM:

- Configuração running

- NCS DB

- Registros EM (de VMs ativas/em standby do NCS)

- Configuração de syslog

3. A frequência do backup do EM DB é complicada e precisa ser tratada com cuidado enquanto o ESC monitora e mantém as várias máquinas de estado para várias VMs VNF implantadas. Recomenda-se que esses backups sejam executados depois de você seguir as atividades em determinado VNF/POD/Site.

4. Faça com que o EM esteja executando o backup da configuração e transfira o arquivo para o servidor de backup.

ubuntu@vnfd1deploymentem-0:~$ sudo -i

root@vnfd1deploymentem-0:~# ncs_cli -u admin -C

admin connected from 127.0.0.1 using console on vnfd1deploymentem-0

admin@scm# show running-config | save em-running-12202017.cfg

root@vnfd1deploymentem-0:~# ll em-running-12202017.cfg

-rw-r--r-- 1 root root 19957 Dec 20 23:01 em-running-12202017.cfg

5. Faça o backup do EM NCS DB e transfira o arquivo para o servidor de backup.

ubuntu@vnfd1deploymentem-0:~$ sudo -i

root@vnfd1deploymentem-0:~# cd /opt/cisco/em/git/em-scm/ncs-cdb

root@vnfd1deploymentem-0:/opt/cisco/em/git/em-scm/ncs-cdb# ll

total 472716

drwxrwxr-x 2 root root      4096 Dec 20 02:53 ./

drwxr-xr-x 9 root root      4096 Dec 20 19:22 ../

-rw-r--r-- 1 root root       770 Dec 20 02:48 aaa_users.xml

-rw-r--r-- 1 root root     70447 Dec 20 02:53 A.cdb

-rw-r--r-- 1 root root 483927031 Dec 20 02:48 C.cdb

-rw-rw-r-- 1 root root        47 Jul 27 05:53 .gitignore

-rw-rw-r-- 1 root root       332 Jul 27 05:53 global-settings.xml

-rw-rw-r-- 1 root root       621 Jul 27 05:53 jvm-defaults.xml

-rw-rw-r-- 1 root root      3392 Jul 27 05:53 nacm.xml

-rw-r--r-- 1 root root      6156 Dec 20 02:53 O.cdb

-rw-r--r-- 1 root root     13041 Dec 20 02:48 startup-vnfd.xml

root@vnfd1deploymentem-0:/opt/cisco/em/git/em-scm/ncs-cdb#

root@vnfd1deploymentem-0:/opt/cisco/em/git/em-scm# tar cvf em_cdb_backup.tar ncs-cdb

ncs-cdb/

ncs-cdb/O.cdb

ncs-cdb/C.cdb

ncs-cdb/nacm.xml

ncs-cdb/jvm-defaults.xml

ncs-cdb/A.cdb

ncs-cdb/aaa_users.xml

ncs-cdb/global-settings.xml

ncs-cdb/.gitignore

ncs-cdb/startup-vnfd.xml

root@vnfd1deploymentem-0:/opt/cisco/em/git/em-scm# ll em_cdb_backup.tar

-rw-r--r-- 1 root root 484034560 Dec 20 23:06 em_cdb_backup.tar

6. Navegue até o diretório scripts, colete os logs e transfira-o para o servidor de backup.

/opt/cisco/em-scripts

sudo ./collect-em-logs.sh

- Repita o mesmo procedimento para coletar o log da VM em standby do NCS

- Faça backup da configuração do syslog em todas as VMs EM e transfira-as para o servidor de backup

root@vnfd1deploymentem-0:/etc/rsyslog.d# pwd

/etc/rsyslog.d

root@vnfd1deploymentem-0:/etc/rsyslog.d# ll

total 28

drwxr-xr-x  2 root root 4096 Jun  7 18:38 ./

drwxr-xr-x 86 root root 4096 Jun  6 20:33 ../

-rw-r--r--  1 root root  319 Jun  7 18:36 00-vnmf-proxy.conf

-rw-r--r--  1 root root  317 Jun  7 18:38 01-ncs-java.conf

-rw-r--r--  1 root root  311 Mar 17  2012 20-ufw.conf

-rw-r--r--  1 root root  252 Nov 23  2015 21-cloudinit.conf

-rw-r--r--  1 root root 1655 Apr 18  2013 50-default.conf

root@vnfd1deploymentem-0:/etc/rsyslog.d# ls /etc/rsyslog.conf

rsyslog.conf

Backup do StarOS

Para o StarOS, é necessário fazer backup dessas informações.

- É necessário fazer backup dos registros de dados de cobrança (CDRs) no servidor remoto em intervalos regulares

- Configuração do dia 0 aplicada no momento da implantação do sistema

- configuração de Dia N

- SSDs

- Configuração de syslog

Procedimento de restauração

Recuperação de OSPD

O procedimento de recuperação do OSPD é executado com base nessas suposições

- O backup do OSPD está disponível no servidor OSPD antigo

- A recuperação do OSPD será feita no novo servidor, que é a substituição do antigo servidor OSPD no sistema.

Recuperação de Implantação Automática

1. O AutoDeploy VM é recuperável quando a VM está em estado de erro ou desligamento. Execute uma reinicialização forçada para ativar a VM afetada. Execute essas verificações para ver se isso ajuda a recuperar a AutoDeploy.

Checking AutoDeploy Processes

Verify that key processes are running on the AutoDeploy VM:

root@auto-deploy-iso-2007-uas-0:~# initctl status autodeploy

autodeploy start/running, process 1771

root@auto-deploy-iso-2007-uas-0:~# ps -ef | grep java

root      1788  1771  0 May24 ?        00:00:41 /usr/bin/java -jar /opt/cisco/usp/apps/autodeploy/autodeploy-1.0.jar com.cisco.usp.autodeploy.Application --autodeploy.transaction-log-store=/var/log/cisco-uas/autodeploy/transactions

Stopping/Restarting AutoDeploy Processes

#To start the AutoDeploy process:

root@auto-deploy-iso-2007-uas-0:~# initctl start autodeploy

autodeploy start/running, process 11094

#To stop the AutoDeploy process:

root@auto-deploy-iso-2007-uas-0:~# initctl stop autodeploy

autodeploy stop/waiting

#To restart the AutoDeploy process:

root@auto-deploy-iso-2007-uas-0:~# initctl restart autodeploy

autodeploy start/running, process 11049

#If the VM is in ERROR or shutdown state, hard-reboot the AutoDeploy VM

[stack@pod1-ospd ~]$ nova list |grep auto-deploy

| 9b55270a-2dcd-4ac1-aba3-bf041733a0c9 | auto-deploy-ISO-2007-uas-0                                     | ACTIVE | -          | running     | mgmt=172.16.181.12, 10.84.123.39

[stack@pod1-ospd ~]$ nova reboot –hard 9b55270a-2dcd-4ac1-aba3-bf041733a0c9

2. Se a Implantação automática não for recuperável, siga estes procedimentos para restaurá-la ao estado em que estava antes. Use o backup feito anteriormente.

[stack@pod1-ospd ~]$ nova list |grep auto-deploy

| 9b55270a-2dcd-4ac1-aba3-bf041733a0c9 | auto-deploy-ISO-2007-uas-0                                     | ACTIVE | -          | running     | mgmt=172.16.181.12, 10.84.123.39 [stack@pod1-ospd ~]$ cd /opt/cisco/usp/uas-installer/scripts

[stack@pod1-ospd ~]$ ./auto-deploy-booting.sh --floating-ip 10.1.1.2 --delete

3. Depois que a Implantação automática for excluída, crie-a novamente com o mesmo endereço ip flutuante.

[stack@pod1-ospd ~]$ cd /opt/cisco/usp/uas-installer/scripts

[stack@pod1-ospd scripts]$ ./auto-deploy-booting.sh --floating-ip 10.1.1.2

2017-11-17 07:05:03,038 - INFO: Creating AutoDeploy deployment (1 instance(s)) on 'http://10.1.1.2:5000/v2.0' tenant 'core' user 'core', ISO 'default'

2017-11-17 07:05:03,039 - INFO: Loading image 'auto-deploy-ISO-5-1-7-2007-usp-uas-1.0.1-1504.qcow2' from '/opt/cisco/usp/uas-installer/images/usp-uas-1.0.1-1504.qcow2'

2017-11-17 07:05:14,603 - INFO: Loaded image 'auto-deploy-ISO-5-1-7-2007-usp-uas-1.0.1-1504.qcow2'

2017-11-17 07:05:15,787 - INFO: Assigned floating IP '10.1.1.2' to IP '172.16.181.7'

2017-11-17 07:05:15,788 - INFO: Creating instance 'auto-deploy-ISO-5-1-7-2007-uas-0'

2017-11-17 07:05:42,759 - INFO: Created instance 'auto-deploy-ISO-5-1-7-2007-uas-0'

2017-11-17 07:05:42,759 - INFO: Request completed, floating IP: 10.1.1.2]

4. Copie o arquivo AutoDeployment.cfg, ISO e o arquivo confd_backup tar do servidor de backup para a VM de AutoImplantação.

5. Restaure arquivos cdb confd do arquivo tar de backup.

ubuntu@auto-deploy-iso-2007-uas-0:~# sudo -i

ubuntu@auto-deploy-iso-2007-uas-0:#  service uas-confd stop

uas-confd stop/waiting

root@auto-deploy-iso-2007-uas-0:# cd /opt/cisco/usp/uas/confd-6.3.1/var/confd

root@auto-deploy-iso-2007-uas-0:/opt/cisco/usp/uas/confd-6.3.1/var/confd# tar xvf /home/ubuntu/ad_cdb_backup.tar

cdb/

cdb/O.cdb

cdb/C.cdb

cdb/aaa_init.xml

cdb/A.cdb

root@auto-deploy-iso-2007-uas-0~# service uas-confd start

uas-confd start/running, process 2036

#Restart AutoDeploy process

root@auto-deploy-iso-2007-uas-0~# service autodeploy restart

autodeploy start/running, process 2144

#Check that confd was loaded properly by checking earlier transactions.

root@auto-deploy-iso-2007-uas-0:~# confd_cli -u admin -C

Welcome to the ConfD CLI

admin connected from 127.0.0.1 using console on auto-deploy-iso-2007-uas-0

auto-deploy-iso-2007-uas-0#show transaction

SERVICE                                                              SITE

DEPLOYMENT                                                     SITE  TX    AUTOVNF  VNF  AUTOVNF

TX ID          TX TYPE             ID          DATE AND TIME                  STATUS              ID    ID    ID       ID   TX ID

-------------------------------------------------------------------------------------------------------------------------------------

1512571978613  service-deployment  tb5bxb      2017-12-06T14:52:59.412+00:00  deployment-success

6. Se a VM for restaurada e executada com êxito; certifique-se de que toda a configuração específica do syslog seja restaurada a partir do backup conhecido anterior.

ubuntu@auto-deploy-vnf-iso-5-1-5-1196-uas-0:~$sudo su

root@auto-deploy-vnf-iso-5-1-5-1196-uas-0:/home/ubuntu#ls /etc/rsyslog.d/00-autodeploy.conf

00-autodeploy.conf

root@auto-deploy-vnf-iso-5-1-5-1196-uas-0:/home/ubuntu#ls /etc/rsyslog.conf

rsyslog.conf

Recuperação AutoIT-VNF

1. A VM AutoIT-VNF é recuperável, se a VM estiver em estado de erro ou desligamento, execute uma reinicialização forçada para ativar a VM afetada. Execute estas etapas para recuperar o AutoIT-VNF.

Checking AutoIT-VNF Processes

Verify that key processes are running on the AutoIT-VNF VM:

root@auto-it-vnf-iso-5-1-5-1196-uas-0:~# service autoit status

AutoIT-VNF is running.

#Stopping/Restarting AutoIT-VNF Processes

root@auto-it-vnf-iso-5-1-5-1196-uas-0:~# service autoit stop

AutoIT-VNF API server stopped.

#To restart the AutoIT-VNF processes:

root@auto-it-vnf-iso-5-1-5-1196-uas-0:~# service autoit restart

AutoIT-VNF API server stopped.

Starting AutoIT-VNF

/opt/cisco/usp/apps/auto-it/vnf

AutoIT API server started.

#If the VM is in ERROR or shutdown state, hard-reboot the AutoDeploy VM

[stack@pod1-ospd ~]$ nova list |grep auto-it

| 1c45270a-2dcd-4ac1-aba3-bf041733d1a1 | auto-it-vnf-ISO-2007-uas-0                                     | ACTIVE | -          | running     | mgmt=172.16.181.13, 10.84.123.40

[stack@pod1-ospd ~]$ nova reboot –hard 1c45270a-2dcd-4ac1-aba3-bf041733d1a1

2. Se o AutoIT-VNF não for recuperável, siga estes procedimentos para restaurá-lo ao estado em que se encontrava anteriormente. Use o arquivo de backup.

[stack@pod1-ospd ~]$ nova list |grep auto-it

| 580faf80-1d8c-463b-9354-781ea0c0b352 | auto-it-vnf-ISO-2007-uas-0                                     | ACTIVE | -          | running     | mgmt=172.16.181.3, 10.84.123.42 [stack@pod1-ospd ~]$ cd /opt/cisco/usp/uas-installer/scripts

[stack@pod1-ospd ~]$ ./ auto-it-vnf-staging.sh --floating-ip 10.1.1.3 --delete

3. Recrie a TI automática executando o script de preparação auto-it-vnf e certifique-se de usar o mesmo ip flutuante usado anteriormente.

[stack@pod1-ospd ~]$ cd /opt/cisco/usp/uas-installer/scripts

[stack@pod1-ospd scripts]$ ./auto-it-vnf-staging.sh --floating-ip 10.1.1.3

2017-11-16 12:54:31,381 - INFO: Creating StagingServer deployment (1 instance(s)) on 'http://10.1.1.3:5000/v2.0' tenant 'core' user 'core', ISO 'default'

2017-11-16 12:54:31,382 - INFO: Loading image 'auto-it-vnf-ISO-5-1-7-2007-usp-uas-1.0.1-1504.qcow2' from '/opt/cisco/usp/uas-installer/images/usp-uas-1.0.1-1504.qcow2'

2017-11-16 12:54:51,961 - INFO: Loaded image 'auto-it-vnf-ISO-5-1-7-2007-usp-uas-1.0.1-1504.qcow2'

2017-11-16 12:54:53,217 - INFO: Assigned floating IP '10.1.1.3' to IP '172.16.181.9'

2017-11-16 12:54:53,217 - INFO: Creating instance 'auto-it-vnf-ISO-5-1-7-2007-uas-0'

2017-11-16 12:55:20,929 - INFO: Created instance 'auto-it-vnf-ISO-5-1-7-2007-uas-0'

2017-11-16 12:55:20,930 - INFO: Request completed, floating IP: 10.1.1.3

4. As imagens ISO usadas no POD precisam ser recarregadas no AutoIT-VNF.

[stack@pod1-ospd ~]$ cd images/5_1_7-2007/isos

[stack@pod1-ospd isos]$ curl -F file=@usp-5_1_7-2007.iso http://10.1.1.3:5001/isos

{

"iso-id": "5.1.7-2007"

}

Note: 10.1.1.3 is AutoIT-VNF IP in the above command.

#Validate that ISO is correctly loaded.

[stack@pod1-ospd isos]$ curl http://10.1.1.3:5001/isos

{

"isos": [

{

"iso-id": "5.1.7-2007"

}

]

}

5. Copie os arquivos VNF system.cfg do servidor remoto para a VM AutoIT-VNF. Neste exemplo, ele é copiado de AutoDeploy para AutoIT-VNF VM.

[stack@pod1-ospd autodeploy]$ scp system-vnf* ubuntu@10.1.1.3:.

ubuntu@10.1.1.3's password:

system-vnf1.cfg                                                                                               100% 1197     1.2KB/s   00:00

system-vnf2.cfg                                                                                               100% 1197     1.2KB/s   00:00

ubuntu@auto-it-vnf-iso-2007-uas-0:~$ pwd

/home/ubuntu

ubuntu@auto-it-vnf-iso-2007-uas-0:~$ ls

system-vnf1.cfg  system-vnf2.cfg

6. Copie os arquivos em um local apropriado no AutoIT-VNF conforme referenciado na configuração do AutoDeploy. Veja aqui.

ubuntu@auto-it-vnf-iso-2007-uas-0:~$ sudo -i

root@auto-it-vnf-iso-2007-uas-0:~$ cp –rp system-vnf1.cfg system-vnf2.cfg /opt/cisco/usp/uploads/

root@auto-it-vnf-iso-2007-uas-0:~$ls /opt/cisco/usp/uploads/

system-vnf1.cfg  system-vnf2.cfg

7. Se a VM for restaurada e executada com êxito, certifique-se de que toda a configuração específica do syslog foi restaurada a partir do backup conhecido anterior.

root@auto-deploy-vnf-iso-5-1-5-1196-uas-0:/home/ubuntu#ls /etc/rsyslog.d/00-autoit-vnf.conf

00-autoit-vnf.conf

root@auto-deploy-vnf-iso-5-1-5-1196-uas-0:ls /etc/rsyslog.conf

rsyslog.conf

Recuperação AutoVNF

1. A VM AutoVNF é recuperável se a VM estiver em estado de erro ou desligamento. Execute uma reinicialização forçada para ativar a VM afetada. Execute estas etapas para recuperar o AutoVNF.

2. Identifique a VM que está em estado Error (Erro) ou Shutdown (Desligamento). Reinicialize o AutoVNF VM.

Neste exemplo, reinicialize o autotestautovnf1-uas-2.

[root@tb1-baremetal scripts]# nova list | grep "auto-testautovnf1-uas-[0-2]"

| 3834a3e4-96c5-49de-a067-68b3846fba6b | auto-testautovnf1-uas-0                                        | ACTIVE | -          | running     | auto-testautovnf1-uas-orchestration=172.57.12.6; auto-testautovnf1-uas-management=172.57.11.8                                                                                       |

| 0fbfec0c-f4b0-4551-807b-50c5fe9d3ea7 | auto-testautovnf1-uas-1                                        | ACTIVE | -          | running     | auto-testautovnf1-uas-orchestration=172.57.12.7; auto-testautovnf1-uas-management=172.57.11.12                                                                                      |

| 432e1a57-00e9-4e58-8bef-2a20652df5bf | auto-testautovnf1-uas-2                                        | ACTIVE | -          | running     | auto-testautovnf1-uas-orchestration=172.57.12.13; auto-testautovnf1-uas-management=172.57.11.4                                                                                      |

[root@tb1-baremetal scripts]# nova reboot --hard 432e1a57-00e9-4e58-8bef-2a20652df5bf

Request to reboot server <Server: auto-testautovnf1-uas-2> has been accepted.

[root@tb1-baremetal scripts]#

3. Quando a VM for ativada, confirme se ela ingressa no cluster novamente.

root@auto-testautovnf1-uas-1:/opt/cisco/usp/uas/scripts# confd_cli -u admin -C

Welcome to the ConfD CLI

admin connected from 127.0.0.1 using console on auto-testautovnf1-uas-1

auto-testautovnf1-uas-1#show uas

uas version 1.0.1-1

uas state ha-active

uas ha-vip 172.57.11.101

INSTANCE IP   STATE  ROLE

-----------------------------------

172.57.12.6   alive  CONFD-SLAVE

172.57.12.7   alive  CONFD-MASTER

172.57.12.13  alive  NA

4. Se a VM AutoVNF não puder ser recuperada pelo procedimento mencionado, você precisará recuperá-la com a ajuda dessas etapas.

[stack@pod1-ospd ~]$ nova list | grep vnf1-UAS-uas-0

| 307a704c-a17c-4cdc-8e7a-3d6e7e4332fa | vnf1-UAS-uas-0                                                 | ACTIVE | -          | running     | vnf1-UAS-uas-orchestration=172.168.11.10; vnf1-UAS-uas-management=172.168.10.3

[stack@pod1-ospd ~]$ nova delete vnf1-UAS-uas-0

Request to delete server vnf1-UAS-uas-0 has been accepted.

5. Para recuperar a VM autovnf-uas, execute o script uas-check para verificar o estado. Ele deve relatar um erro. Em seguida, execute novamente com — opção de correção para recriar a VM UAS ausente.

[stack@pod1-ospd ~]$ cd /opt/cisco/usp/uas-installer/scripts/

[stack@pod1-ospd scripts]$ ./uas-check.py auto-vnf vnf1-UAS

2017-12-08 12:38:05,446 - INFO: Check of AutoVNF cluster started

2017-12-08 12:38:07,925 - INFO: Instance 'vnf1-UAS-uas-0' status is 'ERROR'

2017-12-08 12:38:07,925 - INFO: Check completed, AutoVNF cluster has recoverable errors

[stack@tb3-ospd scripts]$ ./uas-check.py auto-vnf vnf1-UAS --fix

2017-11-22 14:01:07,215 - INFO: Check of AutoVNF cluster started

2017-11-22 14:01:09,575 - INFO: Instance vnf1-UAS-uas-0' status is 'ERROR'

2017-11-22 14:01:09,575 - INFO: Check completed, AutoVNF cluster has recoverable errors

2017-11-22 14:01:09,778 - INFO: Removing instance vnf1-UAS-uas-0'

2017-11-22 14:01:13,568 - INFO: Removed instance vnf1-UAS-uas-0'

2017-11-22 14:01:13,568 - INFO: Creating instance vnf1-UAS-uas-0' and attaching volume ‘vnf1-UAS-uas-vol-0'

2017-11-22 14:01:49,525 - INFO: Created instance ‘vnf1-UAS-uas-0'

[stack@tb3-ospd scripts]$ ./uas-check.py auto-vnf vnf1-UAS

2017-11-16 13:11:07,472 - INFO: Check of AutoVNF cluster started

2017-11-16 13:11:09,510 - INFO: Found 3 ACTIVE AutoVNF instances

2017-11-16 13:11:09,511 - INFO: Check completed, AutoVNF cluster is fine

6. Faça login na VM principal do AutoVNF. Em alguns minutos após a recuperação, a instância recém-criada deve ingressar no cluster e no estado ativo.

tb3-bxb-vnf1-autovnf-uas-0#show uas

uas version 1.0.1-1

uas state ha-active

uas ha-vip 172.17.181.101

INSTANCE IP   STATE  ROLE

-----------------------------------

172.17.180.6  alive  CONFD-SLAVE

172.17.180.7  alive  CONFD-MASTER

172.17.180.9  alive  NA

#if uas-check.py --fix fails, you may need to copy this file and execute again.

[stack@tb3-ospd]$ mkdir –p /opt/cisco/usp/apps/auto-it/common/uas-deploy/

[stack@tb3-ospd]$ cp /opt/cisco/usp/uas-installer/common/uas-deploy/userdata-uas.txt /opt/cisco/usp/apps/auto-it/common/uas-deploy/

7. Se a VM for restaurada e executada com êxito, certifique-se de que toda a configuração específica do syslog foi restaurada a partir do backup conhecido anterior. Verifique se ele foi restaurado em todas as VMs AutoVNF.

ubuntu@auto-testautovnf1-uas-1:~$sudo su

root@auto-testautovnf1-uas-1:/home/ubuntu#ls /etc/rsyslog.d/00-autovnf.conf

00-autovnf.conf

root@auto-testautovnf1-uas-1:/home/ubuntu#ls /etc/rsyslog.conf

rsyslog.conf

Recuperação ESC

1. VM ESC é recuperável se a VM estiver no estado Error ou shutdown. Execute uma reinicialização forçada para ativar a VM afetada. Execute estas etapas para recuperar o ESC.

2. Identifique a VM que está no estado Error ou Shutdown, uma vez identificada a reinicialização forçada da VM ESC. Neste exemplo, o teste automático-vnfm1-ESC-0 é reinicializado.

[root@tb1-baremetal scripts]# nova list | grep auto-test-vnfm1-ESC-

| f03e3cac-a78a-439f-952b-045aea5b0d2c | auto-test-vnfm1-ESC-0                                       | ACTIVE | -          | running     | auto-testautovnf1-uas-orchestration=172.57.12.11; auto-testautovnf1-uas-management=172.57.11.3                                                                                      |

| 79498e0d-0569-4854-a902-012276740bce | auto-test-vnfm1-ESC-1                                       | ACTIVE | -          | running     | auto-testautovnf1-uas-orchestration=172.57.12.15; auto-testautovnf1-uas-management=172.57.11.5                                                                                      |

[root@tb1-baremetal scripts]# [root@tb1-baremetal scripts]# nova reboot --hard f03e3cac-a78a-439f-952b-045aea5b0d2c\

Request to reboot server <Server: auto-test-vnfm1-ESC-0> has been accepted.

[root@tb1-baremetal scripts]#

3. Se a VM ESC for excluída e precisar ser exibida novamente, siga esta sequência de etapas.

[stack@pod1-ospd scripts]$ nova list |grep ESC-1

| c566efbf-1274-4588-a2d8-0682e17b0d41 | vnf1-ESC-ESC-1                                                 | ACTIVE | -          | running     | vnf1-UAS-uas-orchestration=172.168.11.14; vnf1-UAS-uas-management=172.168.10.4                                                                                                 |

[stack@pod1-ospd scripts]$ nova delete vnf1-ESC-ESC-1

Request to delete server vnf1-ESC-ESC-1 has been accepted.

4. No AutoVNF-UAS, localize a transação de implantação ESC e, no registro da transação, localize a linha de comando boot_vm.py para criar a instância ESC.

ubuntu@vnf1-uas-uas-0:~$ sudo -i

root@vnf1-uas-uas-0:~# confd_cli -u admin -C

Welcome to the ConfD CLI

admin connected from 127.0.0.1 using console on vnf1-uas-uas-0

vnf1-uas-uas-0#show transaction

TX ID                                 TX TYPE          DEPLOYMENT ID    TIMESTAMP                         STATUS

------------------------------------------------------------------------------------------------------------------------------

35eefc4a-d4a9-11e7-bb72-fa163ef8df2b  vnf-deployment   vnf1-DEPLOYMENT  2017-11-29T02:01:27.750692-00:00  deployment-success

73d9c540-d4a8-11e7-bb72-fa163ef8df2b  vnfm-deployment  vnf1-ESC         2017-11-29T01:56:02.133663-00:00  deployment-success

vnf1-uas-uas-0#show logs 73d9c540-d4a8-11e7-bb72-fa163ef8df2b | display xml

<config xmlns="http://tail-f.com/ns/config/1.0">

<logs xmlns="http://www.cisco.com/usp/nfv/usp-autovnf-oper">

<tx-id>73d9c540-d4a8-11e7-bb72-fa163ef8df2b</tx-id>

<log>2017-11-29 01:56:02,142 - VNFM Deployment RPC triggered for deployment: vnf1-ESC, deactivate: 0

2017-11-29 01:56:02,179 - Notify deployment

..

2017-11-29 01:57:30,385 - Creating VNFM 'vnf1-ESC-ESC-1' with [python //opt/cisco/vnf-staging/bootvm.py vnf1-ESC-ESC-1 --flavor vnf1-ESC-ESC-flavor --image 3fe6b197-961b-4651-af22-dfd910436689 --net vnf1-UAS-uas-management --gateway_ip 172.168.10.1 --net vnf1-UAS-uas-orchestration --os_auth_url http://10.1.1.5:5000/v2.0 --os_tenant_name core --os_username ****** --os_password ****** --bs_os_auth_url http://10.1.1.5:5000/v2.0 --bs_os_tenant_name core --bs_os_username ****** --bs_os_password ****** --esc_ui_startup false --esc_params_file /tmp/esc_params.cfg --encrypt_key ****** --user_pass ****** --user_confd_pass ****** --kad_vif eth0 --kad_vip 172.168.10.7 --ipaddr 172.168.10.6 dhcp --ha_node_list 172.168.10.3 172.168.10.6 --file root:0755:/opt/cisco/esc/esc-scripts/esc_volume_em_staging.sh:/opt/cisco/usp/uas/autovnf/vnfms/esc-scripts/esc_volume_em_staging.sh --file root:0755:/opt/cisco/esc/esc-scripts/esc_vpc_chassis_id.py:/opt/cisco/usp/uas/autovnf/vnfms/esc-scripts/esc_vpc_chassis_id.py --file root:0755:/opt/cisco/esc/esc-scripts/esc-vpc-di-internal-keys.sh:/opt/cisco/usp/uas/autovnf/vnfms/esc-scripts/esc-vpc-di-internal-keys.sh]...

5. Salve a linha boot_vm.py em um arquivo de script shell (esc.sh) e atualize todas as linhas de nome de usuário ***** e senha ***** com as informações corretas (tipicamente núcleo/Cisco@123). Você também precisa remover a opção -encrypt_key. Para user_pass e user_confd_pass, você precisa usar o formato -user_passwd username:password (exemplo - admin:Cisco@123).

Agora, localize o URL para bootvm.py de running-config e obtenha o arquivo bootvm.py para a VM autovnf-uas. 10.1.1.3 é a TI automática nesse caso.

root@vnf1-uas-uas-0:~# confd_cli -u admin -C

Welcome to the ConfD CLI

admin connected from 127.0.0.1 using console on vnf1-uas-uas-0

vnf1-uas-uas-0#show running-config autovnf-vnfm:vnfm

…

configs bootvm

value http://10.1.1.3:80/bundles/5.1.7-2007/vnfm-bundle/bootvm-2_3_2_155.py

!

root@vnf1-uas-uas-0:~# wget http://10.1.1.3:80/bundles/5.1.7-2007/vnfm-bundle/bootvm-2_3_2_155.py

--2017-12-01 20:25:52--  http://10.1.1.3/bundles/5.1.7-2007/vnfm-bundle/bootvm-2_3_2_155.py

Connecting to 10.1.1.3:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 127771 (125K) [text/x-python]

Saving to: ‘bootvm-2_3_2_155.py’

100%[======================================================================================================>] 127,771     --.-K/s   in 0.001s

2017-12-01 20:25:52 (173 MB/s) - ‘bootvm-2_3_2_155.py’ saved [127771/127771

Create a /tmp/esc_params.cfg file.

root@vnf1-uas-uas-0:~# echo "openstack.endpoint=publicURL" > /tmp/esc_params.cfg

6. Execute o script shell que executa o script bootvm.py python com opções.

root@vnf1-uas-uas-0:~# /bin/sh esc.sh

+ python ./bootvm.py vnf1-ESC-ESC-1 --flavor vnf1-ESC-ESC-flavor --image 3fe6b197-961b-4651-af22-dfd910436689 --net vnf1-UAS-uas-management --gateway_ip 172.168.10.1 --net vnf1-UAS-uas-orchestration --os_auth_url http://10.1.1.5:5000/v2.0 --os_tenant_name core --os_username core --os_password Cisco@123 --bs_os_auth_url http://10.1.1.5:5000/v2.0 --bs_os_tenant_name core --bs_os_username core --bs_os_password Cisco@123 --esc_ui_startup false --esc_params_file /tmp/esc_params.cfg --user_pass admin:Cisco@123 --user_confd_pass admin:Cisco@123 --kad_vif eth0 --kad_vip 172.168.10.7 --ipaddr 172.168.10.6 dhcp --ha_node_list 172.168.10.3 172.168.10.6 --file root:0755:/opt/cisco/esc/esc-scripts/esc_volume_em_staging.sh:/opt/cisco/usp/uas/autovnf/vnfms/esc-scripts/esc_volume_em_staging.sh --file root:0755:/opt/cisco/esc/esc-scripts/esc_vpc_chassis_id.py:/opt/cisco/usp/uas/autovnf/vnfms/esc-scripts/esc_vpc_chassis_id.py --file root:0755:/opt/cisco/esc/esc-scripts/esc-vpc-di-internal-keys.sh:/opt/cisco/usp/uas/autovnf/vnfms/esc-scripts/esc-vpc-di-internal-keys.sh

+--------------------------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

| Property                             | Value                                                                                                                                                                                                                                                                                                  |

+--------------------------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

| OS-DCF:diskConfig                    | MANUAL                                                                                                                                                                                                                                                                                                 |

| OS-EXT-AZ:availability_zone          | mgmt                                                                                                                                                                                                                                                                                                   |

| OS-EXT-SRV-ATTR:host                 | tb5-ultram-osd-compute-1.localdomain                                                                                                                                                                                                                                                                   |

| OS-EXT-SRV-ATTR:hypervisor_hostname  | tb5-ultram-osd-compute-1.localdomain                                                                                                                                                                                                                                                                   |

| OS-EXT-SRV-ATTR:instance_name        | instance-000001eb                                                                                                                                                                                                                                                                                      |

| OS-EXT-STS:power_state               | 1                                                                                                                                                                                                                                                                                                      |

| OS-EXT-STS:task_state                | -                                                                                                                                                                                                                                                                                                      |

| OS-EXT-STS:vm_state                  | active                                                                                                                                                                                                                                                                                                 |

| OS-SRV-USG:launched_at               | 2017-12-02T13:28:32.000000                                                                                                                                                                                                                                                                             |

| OS-SRV-USG:terminated_at             | -                                                                                                                                                                                                                                                                                                      |

| accessIPv4                           |                                                                                                                                                                                                                                                                                                        |

| accessIPv6                           |                                                                                                                                                                                                                                                                                                        |

| addresses                            | {"vnf1-UAS-uas-orchestration": [{"OS-EXT-IPS-MAC:mac_addr": "fa:16:3e:d7:c6:19", "version": 4, "addr": "172.168.11.14", "OS-EXT-IPS:type": "fixed"}], "vnf1-UAS-uas-management": [{"OS-EXT-IPS-MAC:mac_addr": "fa:16:3e:31:ee:cd", "version": 4, "addr": "172.168.10.6", "OS-EXT-IPS:type": "fixed"}]}

| config_drive                         | True                                                                                                                                                                                                                                                                                                   |

| created                              | 2017-12-02T13:27:49Z                                                                                                                                                                                                                                                                                   |

| flavor                               | {"id": "457623b6-05d5-403c-b2e4-aa3b6a0c9d32", "links": [{"href": "http://10.1.1.5:8774/flavors/457623b6-05d5-403c-b2e4-aa3b6a0c9d32", "rel": "bookmark"}]}                                                                                                                                        |

| hostId                               | f5d2bbf0c5a7df34cf2e6f62ae0702ef120ff82f81c3f7664ffb35e9                                                                                                                                                                                                                                               |

| id                                   | 2601b8ec-8ff8-4285-810a-e859f6642ab6                                                                                                                                                                                                                                                                   |

| image                                | {"id": "3fe6b197-961b-4651-af22-dfd910436689", "links": [{"href": "http://10.1.1.5:8774/images/3fe6b197-961b-4651-af22-dfd910436689", "rel": "bookmark"}]}                                                                                                                                         |

| key_name                             | -                                                                                                                                                                                                                                                                                                      |

| metadata                             | {}                                                                                                                                                                                                                                                                                                     |

| name                                 | vnf1-esc-esc-1                                                                                                                                                                                                                                                                                         |

| os-extended-volumes:volumes_attached | []                                                                                                                                                                                                                                                                                                     |

| progress                             | 0                                                                                                                                                                                                                                                                                                      |

| security_groups                      | [{"name": "default"}, {"name": "default"}]                                                                                                                                                                                                                                                             |

| status                               | ACTIVE                                                                                                                                                                                                                                                                                                 |

| tenant_id                            | fd4b15df46c6469cbacf5b80dcc98a5c                                                                                                                                                                                                                                                                       |

| updated                              | 2017-12-02T13:28:32Z                                                                                                                                                                                                                                                                                   |

| user_id                              | d3b51d6f705f4826b22817f27505c6cd                                                                                                                                                                                                                                                                       |

7. No OSPD, verifique se a nova VM ESC está ATIVA/em execução.

[stack@pod1-ospd ~]$ nova list|grep -i esc

| 934519a4-d634-40c0-a51e-fc8d55ec7144 | vnf1-ESC-ESC-0                                                 | ACTIVE | -          | running     | vnf1-UAS-uas-orchestration=172.168.11.13; vnf1-UAS-uas-management=172.168.10.3                                                                                                 |

| 2601b8ec-8ff8-4285-810a-e859f6642ab6 | vnf1-ESC-ESC-1                                                 | ACTIVE | -          | running     | vnf1-UAS-uas-orchestration=172.168.11.14; vnf1-UAS-uas-management=172.168.10.6                                                                                                 |

#Log in to new ESC and verify Backup state.  You may execute health.sh on ESC Master too.

ubuntu@vnf1-uas-uas-0:~$ ssh admin@172.168.11.14

…

####################################################################

#   ESC on vnf1-esc-esc-1.novalocal is in BACKUP state.

####################################################################

[admin@vnf1-esc-esc-1 ~]$ escadm status

0 ESC status=0 ESC Backup Healthy

[admin@vnf1-esc-esc-1 ~]$ health.sh

============== ESC HA (BACKUP) =================

=======================================

ESC HEALTH PASSED

[admin@vnf1-esc-esc-1 ~]$ cat /proc/drbd

version: 8.4.7-1 (api:1/proto:86-101)

GIT-hash: 3a6a769340ef93b1ba2792c6461250790795db49 build by mockbuild@Build64R6, 2016-01-12 13:27:11

1: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r-----

ns:0 nr:504720 dw:3650316 dr:0 al:8 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0

8. Se a VM ESC não for recuperável e exigir a restauração do banco de dados, restaure o banco de dados do backup anterior.

9. Para a restauração da base de dados ESC, certifique-se de que o serviço ESC é interrompido antes de restaurar a base de dados; Para o ESC HA, execute primeiro na VM secundária e depois na VM principal.

# service keepalived stop

10. Verifique o status do serviço ESC e certifique-se de que tudo esteja parado nas VMs primária e secundária para HA.

# escadm status

11. Execute o script para restaurar o banco de dados. Como parte da restauração do banco de dados para a instância do ESC recém-criada, a ferramenta também promoverá uma das instâncias para ser um ESC primário, montará sua pasta DB no dispositivo DRBD e iniciará o banco de dados PostgreSQL.

# /opt/cisco/esc/esc-scripts/esc_dbtool.py restore --file scp://<username>:<password>@<backup_vm_ip>:<filename>

12. Reinicie o serviço ESC para concluir a restauração do banco de dados.

13. Para executar HA em ambas as VMs, reinicie o serviço keepalived.

# service keepalived start

14. Depois que a VM for restaurada e executada com êxito; certifique-se de que toda a configuração específica do syslog seja restaurada a partir do backup conhecido anterior. verifique se ele foi restaurado em todas as VMs do ESC.

[admin@auto-test-vnfm2-esc-1 ~]$

[admin@auto-test-vnfm2-esc-1 ~]$ cd /etc/rsyslog.d

[admin@auto-test-vnfm2-esc-1 rsyslog.d]$ls /etc/rsyslog.d/00-escmanager.conf

00-escmanager.conf

[admin@auto-test-vnfm2-esc-1 rsyslog.d]$ls /etc/rsyslog.d/01-messages.conf

01-messages.conf

[admin@auto-test-vnfm2-esc-1 rsyslog.d]$ls /etc/rsyslog.d/02-mona.conf

02-mona.conf

[admin@auto-test-vnfm2-esc-1 rsyslog.d]$ls /etc/rsyslog.conf

rsyslog.conf

Recuperação EM

1. Se a VM EM estiver no estado Nenhum/Erro devido a uma ou outra condição, o usuário poderá seguir a sequência fornecida para recuperar a VM EM afetada.

2. ESC/VNFM é o componente que monitora as VMs EM, portanto, no caso em que EM está no estado Erro, o ESC tentará recuperar automaticamente a VM EM. Por qualquer motivo, n se o ESC não puder concluir a recuperação com êxito, o ESC marcará essa VM no estado de erro.

3. Nesses cenários, o usuário pode fazer a recuperação manual da VM EM quando o problema de infraestrutura subjacente for corrigido. É importante executar essa recuperação manual somente depois que um problema subjacente é corrigido.

4. Identifique a VM no estado de erro.

[stack@pod1-ospd ~]$ source corerc

[stack@pod1-ospd ~]$ nova list --field name,host,status |grep -i err

| c794207b-a51e-455e-9a53-3b8ff3520bb9 | vnf1-DEPLOYMENT-_vnf1-D_0_a6843886-77b4-4f38-b941-74eb527113a8 | None                                 | ERROR   |

5. Efetue login no ESC Master, execute recovery-vm-action para cada EM e CF VM afetadas. Seja paciente. O ESC agendará a ação de recuperação e isso poderá não acontecer por alguns minutos.

ubuntu@vnf1-uas-uas-1:~$ ssh admin@172.168.10.3

…

[admin@vnf1-esc-esc-0 ~]$ sudo /opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli recovery-vm-action DO vnf1-DEPLOYMENT-_vnf1-D_0_a6843886-77b4-4f38-b941-74eb527113a8

[sudo] password for admin:

Recovery VM Action

/opt/cisco/esc/confd/bin/netconf-console --port=830 --host=127.0.0.1 --user=admin --privKeyFile=/root/.ssh/confd_id_dsa --privKeyType=dsa --rpc=/tmp/esc_nc_cli.ZpRCGiieuW

<?xml version="1.0" encoding="UTF-8"?>

<rpc-reply xmlns="urn:ietf:params:xml:ns:netconf:base:1.0" message-id="1">

<ok/>

</rpc-reply>

6. Monitore o /var/log/esc/yangesc.log até que o comando seja concluído.

[admin@vnf1-esc-esc-0 ~]$ tail -f /var/log/esc/yangesc.log

…

14:59:50,112 07-Nov-2017 WARN  Type: VM_RECOVERY_COMPLETE

14:59:50,112 07-Nov-2017 WARN  Status: SUCCESS

14:59:50,112 07-Nov-2017 WARN  Status Code: 200

14:59:50,112 07-Nov-2017 WARN  Status Msg: Recovery: Successfully recovered VM [vnf1-DEPLOYMENT-_vnf1-D_0_a6843886-77b4-4f38-b941-74eb527113a8]

#Log in to new EM and verify EM state is up.

ubuntu@vnf1vnfddeploymentem-1:~$ /opt/cisco/ncs/current/bin/ncs_cli -u admin -C

admin connected from 172.17.180.6 using ssh on vnf1vnfddeploymentem-1

admin@scm# show ems

EM            VNFM

ID  SLA  SCM  PROXY

---------------------

2   up   up   up

3   up   up   up

Quando o ESC não inicia a VM

1. Em alguns casos, o ESC não iniciará a VM devido a um estado inesperado. Uma solução alternativa é executar um switchover ESC reinicializando o ESC mestre. O switchover do ESC leva aproximadamente um minuto. Execute health.sh no novo ESC mestre para verificar se ele está ativado. Quando o ESC se tornar Master, o ESC poderá corrigir o estado da VM e iniciar a VM. Como essa operação está agendada, você deve aguardar de 5 a 7 minutos para que seja concluída.

2. Você pode monitorar /var/log/esc/yangesc.log e /var/log/esc/escmanager.log. Se você vir que a VM não é recuperada após 5 a 7 minutos, o usuário precisa ir e fazer a recuperação manual das VMs afetadas.

3. Depois que a VM for restaurada e executada com êxito; certifique-se de que toda a configuração específica do syslog seja restaurada a partir do backup conhecido anterior. Verifique se ele foi restaurado em todas as VMs ESC.

root@abautotestvnfm1em-0:/etc/rsyslog.d# pwd

/etc/rsyslog.d

root@abautotestvnfm1em-0:/etc/rsyslog.d# ll

total 28

drwxr-xr-x  2 root root 4096 Jun  7 18:38 ./

drwxr-xr-x 86 root root 4096 Jun  6 20:33 ../]

-rw-r--r--  1 root root  319 Jun  7 18:36 00-vnmf-proxy.conf

-rw-r--r--  1 root root  317 Jun  7 18:38 01-ncs-java.conf

-rw-r--r--  1 root root  311 Mar 17  2012 20-ufw.conf

-rw-r--r--  1 root root  252 Nov 23  2015 21-cloudinit.conf

-rw-r--r--  1 root root 1655 Apr 18  2013 50-default.conf

root@abautotestvnfm1em-0:/etc/rsyslog.d# ls /etc/rsyslog.conf

rsyslog.conf

Recuperação do StarOS

1. Caso uma das VM do StarOS apareça no estado Nenhum/Erro devido a uma ou outra condição, o usuário pode seguir esta sequência para recuperar a VM do StarOS afetada.

2. ESC/VNFM é o componente que monitora as VMs do StarOS, portanto, no caso em que a VM do CF/SF está em estado de erro, o ESC tentará recuperar automaticamente a VM do CF/SF. Por qualquer motivo, se o ESC não puder concluir a recuperação com êxito, o ESC marcará essa VM no estado Error.

3. Nesses cenários, o usuário pode fazer a recuperação manual da VM CF/SF quando o problema de infraestrutura subjacente for corrigido. É importante executar essa recuperação manual somente depois que você corrigir um problema subjacente.

4. Identifique a VM no estado Erro.

[stack@pod1-ospd ~]$ source corerc

[stack@pod1-ospd ~]$ nova list --field name,host,status |grep -i err

| c794207b-a51e-455e-9a53-3b8ff3520bb9 | vnf1-DEPLOYMENT-_s4_0_c2b19084-26b3-4c9c-8639-62428a4cb3a3 | None                                 | ERROR   |

5. Faça login no ESC Master, execute recovery-vm-action para cada EM e CF VM afetadas. Seja paciente. O ESC agendará a ação de recuperação e isso poderá não acontecer por alguns minutos.

ubuntu@vnf1-uas-uas-1:~$ ssh admin@172.168.10.3

…

[admin@vnf1-esc-esc-0 ~]$ sudo /opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli recovery-vm-action DO vnf1-DEPLOYMENT-_s4_0_c2b19084-26b3-4c9c-8639-62428a4cb3a3

[sudo] password for admin:

Recovery VM Action

/opt/cisco/esc/confd/bin/netconf-console --port=830 --host=127.0.0.1 --user=admin --privKeyFile=/root/.ssh/confd_id_dsa --privKeyType=dsa --rpc=/tmp/esc_nc_cli.ZpRCGiieuW

<?xml version="1.0" encoding="UTF-8"?>

<rpc-reply xmlns="urn:ietf:params:xml:ns:netconf:base:1.0" message-id="1">

<ok/>

</rpc-reply>

##Monitor the /var/log/esc/yangesc.log until command completes.

[admin@vnf1-esc-esc-0 ~]$ tail -f /var/log/esc/yangesc.log

…

14:59:50,112 07-Nov-2017 WARN  Type: VM_RECOVERY_COMPLETE

14:59:50,112 07-Nov-2017 WARN  Status: SUCCESS

14:59:50,112 07-Nov-2017 WARN  Status Code: 200

14:59:50,112 07-Nov-2017 WARN  Status Msg: Recovery: Successfully recovered VM [vnf1-DEPLOYMENT-_s4_0_c2b19084-26b3-4c9c-8639-62428a4cb3a3]

6. Além disso, valide o mesmo executando a guia show card no StarOS. Se a VM recuperada for SF, o usuário talvez precise ativá-la se desejar. Faça as alterações necessárias na configuração do StarOS.

[local]VNF1# show card tab

Saturday December 02 14:40:20 UTC 2017

Slot         Card Type                               Oper State     SPOF  Attach

-----------  --------------------------------------  -------------  ----  ------

1: CFC      Control Function Virtual Card           Active         No

2: CFC      Control Function Virtual Card           Standby        -

3: FC       4-Port Service Function Virtual Card    Active         No

4: FC       4-Port Service Function Virtual Card    Active         No

5: FC       4-Port Service Function Virtual Card    Active         No

6: FC       4-Port Service Function Virtual Card    Standby        -

7: FC       4-Port Service Function Virtual Card    Active         No

8: FC       4-Port Service Function Virtual Card    Active         No

9: FC       4-Port Service Function Virtual Card    Active         No

10: FC       4-Port Service Function Virtual Card    Active         No

Quando o ESC não inicia a VM

Em alguns casos, o ESC não iniciará a VM devido a um estado inesperado. Uma solução alternativa é executar um switchover ESC reinicializando o ESC mestre. O switchover do ESC leva aproximadamente um minuto. Execute health.sh no novo ESC mestre para verificar se ele está ativado. Quando o ESC se tornar Master, o ESC poderá corrigir o estado da VM e iniciar a VM. Como essa operação está agendada, você deve aguardar de 5 a 7 minutos para que seja concluída. Você pode monitorar /var/log/esc/yangesc.log e /var/log/esc/escmanager.log. Se você não vir que a VM é recuperada após 5 a 7 minutos, precisará fazer a recuperação manual das VMs afetadas.