Instantâneo e recuperação de VM CPAR

Introduction

Este documento descreve um procedimento passo a passo sobre como fazer backup (snapshot) das instâncias de Autenticação, Autorização e Contabilidade (AAA).

Informações de Apoio

É imperativo executar isso por site e um site de cada vez para minimizar o impacto no tráfego do assinante.

Este procedimento se aplica a um ambiente Openstack com o uso da versão NEWTON em que o controlador de serviços elásticos (ESC) não gerencia o Cisco Prime Access Registrar (CPAR) e o CPAR é instalado diretamente na Máquina virtual (VM) implantada no Openstack.

O Ultra-M é uma solução de núcleo de pacotes móveis virtualizados pré-embalada e validada, projetada para simplificar a implantação de VNFs (Virtual Network Functions). O OpenStack é o Virtualized Infrastructure Manager (VIM) para Ultra-M e consiste nos seguintes tipos de nó:

• Computação
• Disco de Armazenamento de Objeto - Computação (OSD - Compute)
• Controlador
• Plataforma OpenStack - Diretor (OSPD)

• A arquitetura de alto nível da Ultra-M e os componentes envolvidos estão descritos nesta imagem:

  

Este documento destina-se aos funcionários da Cisco que estão familiarizados com a plataforma Cisco Ultra-M e detalha as etapas necessárias para realizar o OpenStack e o sistema operacional Redhat. 

Note: A versão Ultra M 5.1.x é considerada para definir os procedimentos neste documento.

Impacto na rede

Em geral, quando o processo de CPAR é desativado, espera-se degradação de KPI como quando você desliga o aplicativo, leva até 5 minutos para que a armadilha de peer down de diâmetro seja enviada. Nesse momento, todas as solicitações roteadas para o CPAR falharão. Após esse tempo, os links são determinados como inativos e o Agente de Roteamento de Diâmetro (DRA) interrompe o roteamento de tráfego em direção a esse nó.

Além disso, para todas as sessões existentes no AAA que são desativadas, se houver um procedimento de anexação/desanexação que envolva essas sessões com outro AAA ativo, esse procedimento falhará, uma vez que o Hosted Security as a Service (HSS) responde que o usuário está registrado no AAA que está desligado e que o procedimento não poderá ser concluído com êxito. 

Espera-se que o desempenho do STR esteja abaixo de 90% da taxa de sucesso cerca de 10 horas após a conclusão da atividade. Após esse período, deve ser atingido o valor normal de 90%.

   

Alarmes

Alarmes do Protocolo de Gerenciamento de Rede Simples (SNMP - Simple Network Management Protocol) são gerados sempre que o serviço CPAR é interrompido e iniciado, portanto, espera-se que traps SNMP sejam gerados ao longo do processo. As armadilhas esperadas incluem:

• PARADA DE SERVIDOR CPAR
• VM DOWN
• NODE DOWN - (Alarme esperado não gerado diretamente pela instância de CPAR)
• DRA

Backup de Instantâneo de VM

Desligamento do aplicativo CPAR

Note: Certifique-se de ter acesso à Web ao HORIZON para o site no local e acesso ao OSPD.

Etapa 1. Abra qualquer cliente Secure Shell (SSH) conectado à rede de produção do Transformation Management Office (TMO) e conecte-se à instância do CPAR.

Note: É importante não desligar todas as 4 instâncias AAA em um site ao mesmo tempo, fazer uma de cada vez.

Etapa 2. Para desligar o aplicativo CPAR, execute o comando:

/opt/CSCOar/bin/arserver stop

A mensagem "Cisco Prime Access Registrar Server Agent shutdown complete" deve ser exibida.

Note: Se você deixar a sessão CLI aberta, o comando arserver stop não funcionará e esta mensagem de erro será exibida.

ERROR:    You can not shut down Cisco Prime Access Registrar while the

          CLI is being used.   Current list of running

          CLI with process id is:

 

2903 /opt/CSCOar/bin/aregcmd –s

Neste exemplo, a ID de processo 2903 destacada precisa ser encerrada para que o CPAR possa ser interrompido. Se for esse o caso, execute o comando e encerre este processo: 

kill -9 *process_id*

Em seguida, repita a Etapa 1.

Etapa 3. Para verificar se o aplicativo CPAR foi realmente desligado, execute o comando:

/opt/CSCOar/bin/arstatus

Essas mensagens devem aparecer:

Cisco Prime Access Registrar Server Agent not running

Cisco Prime Access Registrar GUI not running

Tarefa de Instantâneo de Cópia de Segurança da VM

Etapa 1. Digite o site da GUI do Horizon que corresponde ao Site (Cidade) atualmente em atividade.

Quando você acessa o Horizon, a tela observada é como mostrado na imagem.

Etapa 2. Navegue até Project > Instances como mostrado na imagem.

Se o usuário usado foi CPAR, somente as 4 instâncias AAA aparecem neste menu.

Etapa 3. Desligar apenas uma instância por vez, repita todo o processo neste documento. Para desligar a VM, navegue para Ações > Desligar instância como mostrado na imagem e confirme sua seleção.

Etapa 4. Para validar se a instância está realmente desligada, verifique o Status = Desligamento e Estado de energia = Desligamento, como mostrado na imagem.

Esta etapa encerra o processo de encerramento do CPAR.

Instantâneo de VM

Quando as VMs CPAR estiverem desativadas, os snapshots podem ser obtidos em paralelo, pois pertencem a computadores independentes.

Os quatro arquivos QCOW2 são criados em paralelo.

Etapa 1. Faça um instantâneo de cada instância AAA.

Note: 25 minutos para instâncias que usam uma imagem QCOW como origem e 1 hora para instâncias que usam uma imagem bruta como origem.

Etapa 2. Faça login na GUI do Openstack do POD.

Etapa 3. Depois de iniciar sessão, navegue até Project > Compute > Instances no menu superior e procure as instâncias de AAA, como mostrado na imagem.

Etapa 3. Clique em Create Snapshot para continuar com a criação do snapshot, como mostrado na imagem. Isso precisa ser executado na instância AAA correspondente.

Etapa 4. Depois que o snapshot for executado, navegue até o menu Imagens e verifique se todos terminam e relatam nenhum problema conforme mostrado na imagem.

Etapa 5. A próxima etapa é baixar o snapshot em um formato QCOW2 e transferi-lo para uma entidade remota, caso o OSPD seja perdido nesse processo. Para conseguir isso, identifique o snapshot executando o comando glance image-list no nível OSPD, como mostrado na imagem.

Etapa 6. Depois de identificar o snapshot a ser baixado (neste caso, é o marcado em verde), você pode baixá-lo em um formato QCOW2 com o comando glance image-download, como mostrado aqui:

[root@elospd01 stack]# glance image-download 92dfe18c-df35-4aa9-8c52-9c663d3f839b --file /tmp/AAA-CPAR-LGNoct192017.qcow2 &

O & envia o processo para o plano de fundo. Leva algum tempo para concluir a ação. Depois de concluída, a imagem pode ser localizada no diretório /tmp.

• Quando você envia o processo para o segundo plano e se a conectividade for perdida, o processo também será interrompido.
• Execute o comando disown -h para que, caso a conexão SSH seja perdida, o processo ainda seja executado e concluído no OSPD.

Passo 7. Quando o processo de download terminar, um processo de compactação precisa ser executado, pois esse snapshot pode ser preenchido com ZEROES devido a processos, tarefas e arquivos temporários tratados pelo sistema operacional (SO). O comando a ser executado para compactação de arquivo é virt-sparsify.

[root@elospd01 stack]# virt-sparsify AAA-CPAR-LGNoct192017.qcow2 AAA-CPAR-LGNoct192017_compressed.qcow2

Esse processo pode levar algum tempo (cerca de 10 a 15 minutos). Depois de concluído, o arquivo que resulta é aquele que precisa ser transferido para uma entidade externa conforme especificado na próxima etapa.

A verificação da integridade do arquivo é necessária, para que isso ocorra, execute o próximo comando e procure o atributo "corrupt" (corrompido) no final de sua saída.

[root@wsospd01 tmp]# qemu-img info AAA-CPAR-LGNoct192017_compressed.qcow2

image: AAA-CPAR-LGNoct192017_compressed.qcow2

file format: qcow2

virtual size: 150G (161061273600 bytes)

disk size: 18G

cluster_size: 65536

Format specific information:

    compat: 1.1

    lazy refcounts: false

    refcount bits: 16

    corrupt: false

Etapa 8. Para evitar um problema em que o OSPD é perdido, o snapshot recém-criado no formato QCOW2 precisa ser transferido para uma entidade externa. Antes de iniciar a transferência de arquivos, você deve verificar se o destino tem espaço em disco disponível suficiente. Execute o comando df -kh para verificar o espaço de memória.

Um conselho é transferi-lo temporariamente para o OSPD de outro site com o uso de SFTP sftp root@x.x.x.xonde x.x.x é o IP de um OSPD remoto.

Etapa 9. Para acelerar a transferência, o destino pode ser enviado a vários OSPDs. Da mesma forma, você pode executar o comando scp *name_of_the_file*.qcou2 root@ x.x.x.x:/tmp (onde x.x.x.x é o IP de um OSPD remoto) para transferir o arquivo para outro OSPD.

  

Recuperar instância com instantâneo

Processo de recuperação

É possível reimplantar a instância anterior com o snapshot realizado nas etapas anteriores.

Etapa 1. [OPCIONAL] Se não houver nenhum snapshot de VM anterior disponível, conecte-se ao nó OSPD onde o backup foi enviado e faça o sftp de volta ao nó OSPD original. Use sftp root@x.x.x.x, onde x.x.x.x é o IP de um OSPD original. Salve o arquivo de snapshot no diretório /tmp.

Etapa 2. Conecte-se ao nó OSPD onde a instância é reimplantada, como mostrado na imagem.

Etapa 3. Para usar o snapshot como uma imagem, é necessário carregá-lo no horizonte como tal. Use o próximo comando para fazer isso.

#glance image-create -- AAA-CPAR-Date-snapshot.qcow2 --container-format bare --disk-format qcow2 --name AAA-CPAR-Date-snapshot

O processo pode ser visto no horizonte e como mostrado na imagem.

Etapa 4. No Horizon, navegue para Project > Instances e clique em Iniciar instância como mostrado na imagem.

Etapa 5. Digite o Nome da instância e escolha a Zona de disponibilidade conforme mostrado na imagem.

Etapa 6. Na guia Origem, escolha a imagem para criar a instância. No menu Select Boot Source (Selecionar fonte de inicialização), selecione image e uma lista de imagens é exibida aqui. Escolha o que foi carregado anteriormente clicando no seu + sinal, como mostrado na imagem.

Passo 7. Na guia Sabor, escolha o Sabor AAA clicando no sinal + conforme mostrado na imagem.

Etapa 8. Finalmente, navegue até a guia Redes e escolha as redes que a instância precisará clicando no sinal +. Nesse caso, selecione diâmetro-soutable1, radius-routable1 e tb1-mgmt como mostrado na imagem.

Etapa 9. Clique em Iniciar instância para criá-la. O progresso pode ser monitorado no Horizon, como mostrado na imagem.

Etapa 10. Após alguns minutos, a instância é completamente implantada e pronta para uso, como mostrado na imagem.

Criar e atribuir um endereço IP flutuante

Um endereço IP flutuante é um endereço roteável, o que significa que ele pode ser alcançado de fora da arquitetura Ultra M/Openstack e pode se comunicar com outros nós da rede.

Etapa 1. No menu superior do Horizon, navegue até Admin > IPs flutuantes.

Etapa 2. Clique em Alocar IP para Projeto.

Etapa 3. Na janela Alocar IP Flutuante, selecione o Pool do qual o novo IP flutuante pertence, o Projeto ao qual ele será atribuído e o novo Endereço IP Flutuante em si, como mostrado na imagem.

Etapa 4. Clique em Alocar IP Flutuante.

Etapa 5. No menu superior do Horizon, navegue até Project > Instances.

Etapa 6. Na coluna Ação, clique na seta que aponta para baixo no botão Criar instantâneo, um menu é exibido. Clique na opção Associar IP flutuante.

Passo 7. Selecione o endereço IP flutuante correspondente destinado a ser usado no campo Endereço IP e escolha a interface de gerenciamento correspondente (eth0) da nova instância onde esse IP flutuante será atribuído na Porta a ser associada como mostrado na imagem.                                        

Etapa 8. Clique em Associar.

Habilitar SSH

Etapa 1. No menu superior do Horizon, navegue até Project > Instances.

Etapa 2. Clique no nome da instância/VM que foi criada na seção Iniciar uma nova instância.

Etapa 3. Clique em Console. Exibe a CLI da VM.

Etapa 4. Depois que a CLI for exibida, insira as credenciais de login apropriadas, conforme mostrado na imagem:

Nome de usuário: root

Senha: <cisco123>

Etapa 5. Na CLI, execute o comando vi /etc/ssh/sshd_config para editar a configuração do SSH.

Etapa 6. Quando o arquivo de configuração SSH estiver aberto, pressione I para editar o arquivo. Em seguida, altere a primeira linha de PasswordAuthentication no para PasswordAuthentication yes conforme mostrado na imagem.

Passo 7. Pressione ESC e digite :wq! para salvar as alterações de arquivo sshd_config.

Etapa 8. Execute o comando service sshd restart conforme mostrado na imagem.

Etapa 9. Para testar se as alterações na configuração do SSH foram aplicadas corretamente, abra qualquer cliente SSH e tente estabelecer uma conexão segura remota com o IP flutuante atribuído à instância (por exemplo, 10.145.0.249) e a raiz do usuário como mostrado na imagem.

           

Estabelecer sessão SSH

Etapa 1. Abra uma sessão SSH com o endereço IP da VM/servidor correspondente onde o aplicativo está instalado, como mostrado na imagem.

Início da instância do CPAR

Siga estas etapas quando a atividade tiver sido concluída e os serviços CPAR puderem ser restabelecidos no site que foi encerrado.

Etapa 1. Faça login novamente no Horizon, navegue para projeto > instância > iniciar instância.

Etapa 2. Verifique se o status da instância está Ativo e se o estado de energia está em execução, conforme mostrado na imagem.

Verificação de integridade pós-atividade

Etapa 1. Execute o comando /opt/CSCOar/bin/arstatus no nível do SO:

[root@wscaaa04 ~]# /opt/CSCOar/bin/arstatus

Cisco Prime AR RADIUS server running       (pid: 24834)

Cisco Prime AR Server Agent running        (pid: 24821)

Cisco Prime AR MCD lock manager running    (pid: 24824)

Cisco Prime AR MCD server running          (pid: 24833)

Cisco Prime AR GUI running                 (pid: 24836)

SNMP Master Agent running                (pid: 24835)

[root@wscaaa04 ~]#

Etapa 2. Execute o comando /opt/CSCOar/bin/aregcmd no nível do SO e insira as credenciais de administrador. Verifique se o CPAR Health está em 10 de 10 e se a CLI do CPAR de saída está em 10.

[root@aaa02 logs]# /opt/CSCOar/bin/aregcmd

Cisco Prime Access Registrar 7.3.0.1 Configuration Utility

Copyright (C) 1995-2017 by Cisco Systems, Inc.  All rights reserved.

Cluster:

User: admin

Passphrase:

Logging in to localhost

 

[ //localhost ]

    LicenseInfo = PAR-NG-TPS 7.3(100TPS:)

                  PAR-ADD-TPS 7.3(2000TPS:)

                  PAR-RDDR-TRX 7.3()

                  PAR-HSS 7.3()

    Radius/

    Administrators/

 

Server 'Radius' is Running, its health is 10 out of 10

 

--> exit

Etapa 3. Execute o comando netstat | diâmetro de grep e verifique se todas as conexões DRA estão estabelecidas.

A saída mencionada aqui é para um ambiente em que os links de diâmetro são esperados. Se menos links forem exibidos, isso representa uma desconexão do DRA que precisa ser analisada.

[root@aa02 logs]# netstat | grep diameter

tcp         0            0 aaa02.aaa.epc.:77 mp1.dra01.d:diameter ESTABLISHED

tcp         0            0 aaa02.aaa.epc.:36 tsa6.dra01:diameter ESTABLISHED

tcp         0            0 aaa02.aaa.epc.:47 mp2.dra01.d:diameter ESTABLISHED

tcp         0            0 aaa02.aaa.epc.:07 tsa5.dra01:diameter ESTABLISHED

tcp         0            0 aaa02.aaa.epc.:08 np2.dra01.d:diameter ESTABLISHED

Etapa 4. Verifique se o registro TelePresence Server (TPS) mostra as solicitações processadas pelo CPAR. Os valores destacados representam o TPS e esses são os que você precisa prestar atenção.

O valor do TPS não deve exceder 1500.

[root@wscaaa04 ~]# tail -f /opt/CSCOar/logs/tps-11-21-2017.csv

11-21-2017,23:57:35,263,0

11-21-2017,23:57:50,237,0

11-21-2017,23:58:05,237,0

11-21-2017,23:58:20,257,0

11-21-2017,23:58:35,254,0

11-21-2017,23:58:50,248,0

11-21-2017,23:59:05,272,0

11-21-2017,23:59:20,243,0

11-21-2017,23:59:35,244,0

11-21-2017,23:59:50,233,0

Etapa 5. Procure qualquer mensagem de "erro" ou "alarme" no name_radius_1_log:

[root@aaa02 logs]# grep -E "error|alarm" name_radius_1_log

Etapa 6. Para verificar a quantidade de memória que o processo CPAR usa, execute o comando:

top | grep radius

[root@sfraaa02 ~]# top | grep radius

27008 root      20   0 20.228g 2.413g  11408 S 128.3  7.7   1165:41 radius

Esse valor destacado deve ser inferior a 7 Gb, que é o máximo permitido no nível do aplicativo.