Contenido

Introducción

Troubleshoot

Encender el Administrador del clúster desde el estado SHUTOFF

Recuperar cualquier instancia del estado de ERROR

Reconstruir CPS Cluster Manager a través de Snapshot

Reimplementar el Administrador de clústeres de CPS mediante Snapshot

Verificación

Introducción

Este documento describe los pasos para recuperar las instancias de Cisco Virtual Policy and Charging Rules Function (vPCRF) implementadas en la implementación de Ultra-M/Openstack.

Troubleshoot

Encender el Administrador del clúster desde el estado SHUTOFF

Si alguna instancia se encuentra en estado SHUTOFF debido a un apagado planificado o a algún otro motivo, utilice este procedimiento para iniciar la instancia y habilitar su supervisión en Elastic Services Controller (ESC).

Paso 1. Verifique el estado de la instancia a través de OpenStack.

source /home/stack/destackovsrc-Pcrf

nova list --fields name,host,status | grep cm_0

| c5e4ebd4-803d-45c1-bd96-fd6e459b7ed6 | SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634 | destackovs-compute-2  | SHUTOFF|

Paso 2. Compruebe si el equipo está disponible y asegúrese de que el estado esté activo.

source /home/stack/destackovsrc

nova hypervisor-show destackovs-compute-2 | egrep ‘status|state’

| state                     | up                                       |

| status                    | enabled                                  |

Paso 3. Inicie sesión en ESC Master como usuario administrador y verifique el estado de la instancia en opdata.

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli get esc_datamodel/opdata | grep cm_0

SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634 VM_ERROR_STATE

Paso 4. Encienda la instancia desde openstack.

source /home/stack/destackovsrc-Pcrf

nova start SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634

Paso 5. Espere cinco minutos para que la instancia se inicie y llegue al estado activo.

source /home/stack/destackovsrc-Pcrf

nova list –fields name,status | grep cm_0

| c5e4ebd4-803d-45c1-bd96-fd6e459b7ed6 | SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634 | ACTIVE

Paso 6. EHabilite el monitor de VM en ESC después de que la instancia esté en estado activo.

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action ENABLE_MONITOR SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634

Para obtener más información sobre la recuperación de configuraciones de instancia, consulte los procedimientos específicos de tipo de instancia que se proporcionan aquí.

Recuperar cualquier instancia del estado de ERROR

Este procedimiento se puede utilizar si el estado de la instancia de CPS en openstack es ERROR:

Paso 1. Compruebe el estado de la instancia en OpenStack.

source /home/stack/destackovsrc-Pcrf

nova list --fields name,host,status | grep cm_0

| c5e4ebd4-803d-45c1-bd96-fd6e459b7ed6 | SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634 | destackovs-compute-2  | ERROR|

Paso 2. Compruebe si el ordenador está disponible y funciona correctamente.

source /home/stack/destackovsrc

nova hypervisor-show destackovs-compute-2 | egrep ‘status|state’

| state                     | up                                       |

| status                    | enabled                                  |

Paso 3. Inicie sesión en ESC Master como usuario administrador y verifique el estado de la instancia en opdata.

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli get esc_datamodel/opdata | grep cm_0

SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634 VM_ERROR_STATE

Paso 4. Reinicie el estado de la instancia para obligar a la instancia de nuevo a un estado activo en lugar de a un estado de error, una vez hecho, reinicie la instancia.

source /home/stack/destackovsrc-Pcrf

nova reset-state –active SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634

nova reboot –-hard  SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634

Paso 5. Espere cinco minutos para que la instancia se inicie y llegue al estado activo.

source /home/stack/destackovsrc-Pcrf

nova list –fields name,status | grep cm_0

| c5e4ebd4-803d-45c1-bd96-fd6e459b7ed6 | SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634 | ACTIVE |

Paso 6. Si, Cluster Manager cambia el estado a ACTIVE después del reinicio, Enable VM Monitor in ESC después de que la instancia del Cluster Manager esté en estado activo.

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action ENABLE_MONITOR SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634

Post recovery to running/active state, consulte el procedimiento específico del tipo de instancia para recuperar config/data de backup.

Reconstruir CPS Cluster Manager a través de Snapshot

Si Cisco Policy Suite (CPS) se bloquea en el estado de ERROR y no se puede activar mediante los procedimientos ya descritos y la instancia está disponible en openstack. Se sugiere reconstruir la instancia a través de la imagen de instantánea.

Paso 1. Asegúrese de que la instantánea de la configuración correcta más reciente esté presente como un archivo QCOW, utilice este archivo generado previamente durante la copia de seguridad, scp/sftp de vuelta a la computadora OpenStack Platform- Director (OSPD). Utilice este procedimiento para convertirlo en una imagen rápida:

source /home/stack/destackovsrc-Pcrf

glance image-create --name CPS_Cluman_13.1.1 --disk-format "qcow2" --container "bare" --file /var/Pcrf/cluman_snapshot.raw

Alternatively,

glance image-create --name rebuild_cluman --file /home/stack/cluman_snapshot.raw --disk-format qcow2 --container-format bare

Paso 2. Utilice un comando nova build en OSPD para reconstruir la instancia de Cluman VM con la instantánea cargada como se muestra.

nova rebuild

Paso 3. Espere cinco minutos para que la instancia se inicie y llegue al estado activo.

source /home/stack/destackovsrc-Pcrf

nova list –fields name,status | grep cm

| c5e4ebd4-803d-45c1-bd96-fd6e459b7ed6 |cm_0_170d9c14-0221-4609-87e3-d752e636f57f| ACTIVE |

Paso 4. Si, Cluster Manager cambia el estado a ACTIVE después de la reconstrucción, verifique el estado de la instancia en ESC y Enable VM Monitor en ESC si es necesario.

echo "show esc_datamodel opdata tenants tenant Pcrf deployments * state_machine | tab" | /opt/cisco/esc/confd/bin/confd_cli -u admin –C | grep cm

cm_0_170d9c14-0221-4609-87e3-d752e636f57f VM_ERROR_STATE

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action ENABLE_MONITOR cm_0_170d9c14-0221-4609-87e3-d752e636f57f

Paso 5. Verifique que el volumen de Cine asociado con la imagen ISO original de Cluster Manager se actualice con la hora actual después de la reimplementación:

cinder list | grep tmobile-pcrf-13.1.1-1.iso

| 2f6d7deb-60d6-40fa-926f-a88536cf98a3 | in-use    | tmobile-pcrf-13.1.1-1.iso | 3    | -           | true     | a3f3bc62-0195-483a-bbc0-692bccd37307 |

cinder show 2f6d7deb-60d6-40fa-926f-a88536cf98a3 | grep updated_at

| updated_at                     | 2018-06-18T08:54:59.000000

updated_at                     | 2018-06-18T08:54:59.000000

Paso 6. Adjunte discos de copia de seguridad o cualquier otro volumen de Cinder previamente conectado a la instancia del Administrador de Cluster si no se ha adjuntado automáticamente en los pasos anteriores.

source /home/stack/destackovsrc-Pcrf

cinder list

+--------------------------------------+-----------+---------------------------+------+-------------+----------+--------------------------------------+

| ID                                   | Status    | Name                      | Size | Volume Type | Bootable | Attached to                          |

+--------------------------------------+-----------+---------------------------+------+-------------+----------+--------------------------------------+

| 0e7ec662-b59e-4e3a-91a9-35c4ed3f51d7 | available | pcrf-atp1-mongo02         | 3    | -           | false    |                                      |

| 2f6d7deb-60d6-40fa-926f-a88536cf98a3 | in-use    | tmobile-pcrf-13.1.1-1.iso | 3    | -           | true     | a3f3bc62-0195-483a-bbc0-692bccd37307 |

| 4c553948-df75-4f0b-bf7b-0e64127dfda3 | available | pcrf-atp1-svn01           | 3    | -           | false    |                                      |

| 594c052e-aaa3-4c82-867d-3b36162244b3 | available | tmobile-pcrf-13.1.1-2.iso | 3    | -           | true     |                                      |

| 64953713-de86-40d5-a0e5-07db22d692f2 | in-use    | tmobile-pcrf-13.1.1.iso   | 3    | -           | true     | 80a93e90-59e2-43bd-b67e-5d766d0a2f11 |

openstack server add volume

--device

Paso 7. Si la instantánea del clúster es antigua y está disponible la copia de seguridad config_br.py de una instantánea de publicación de fecha tomada. Importe la configuración de la copia de seguridad y, si no, omita este paso.

ssh

config_br.py –a import --svn --etc --grafanadb --auth-htpasswd --haproxy /mnt/backup/

Paso 8. Reconstruir todas las imágenes de VM desde la copia de seguridad a través de config_br.py en el administrador del clúster:

/var/qps/install/current/scripts/build/build_all.sh

Reimplementar el Administrador de clústeres de CPS mediante Snapshot

Si la VM CPS Cluster Manager se pierde (no se puede recuperar) y el proceso de reconstrucción (como se describe en 2.3) también ha fallado, debe volver a implementar la instancia a través de ESC. Este procedimiento describe el proceso para el mismo:

Paso 1. Asegúrese de que la instantánea de la configuración correcta más reciente esté presente como un archivo QCOW, utilice este archivo generado previamente durante la copia de seguridad, scp/sftp de vuelta al cálculo OSPD.

ls –ltr /var/Pcrf/cluman_snapshot.qcow

-rw-r--r--. 1 root root 328514100 May 18 16:59 cluman_snapshot.qcow

Paso 2. Utilice este procedimiento para convertirlo en una imagen rápida.

source /home/stack/destackovsrc-Pcrf

glance image-create --name CPS_Cluman_13.1.1 --disk-format "qcow2" --container "bare" --file /var/Pcrf/cluman_snapshot.qcow

Paso 3. Una vez que la imagen esté disponible, inicie sesión en ESC y verifique el estado de la instancia de Cluster Manager en ESC opdata.

echo "show esc_datamodel opdata tenants tenant Pcrf deployments * state_machine | tab" | /opt/cisco/esc/confd/bin/confd_cli -u admin –C | grep cm

cm_0_170d9c14-0221-4609-87e3-d752e636f57f VM_ERROR_STATE

Paso 4. Asegúrese de que el archivo /home/admin/PCRF_config.xml esté presente como copia de seguridad en 2.1.1

Paso 5. Obtenga el nombre de la implementación, el arrendatario y el grupo vm para el administrador de clúster que se recuperará.

Fragmento de ejemplo:

Paso 6. Activa una eliminación de la vm del administrador de clúster desde ESC:

Advertencia: El comando para quitar la instancia de opdata debe estar completo; el comando incompleto puede eliminar toda la implementación. Por favor, ten cuidado. El comando siempre debe contener todos los parámetros, es decir, el nombre del arrendatario, el nombre de implementación y el nombre vm_group.

/opt/cisco/esc/confd/bin/confd_cli -u admin –C

esc-ha-01# config

esc-ha-01(config)# no esc_datamodel tenants tenant Pcrf deployments deployment DEP1 vm_group cm

esc-ha-01(config)# commit

esc-ha-01(config)# exit

El paso anterior debe quitar la instancia de openstack así como de los opdata ESC. En otras palabras, el Administrador de clústeres ahora no forma parte de la implementación.

Paso 7. Verifique que la Instancia del Administrador de Cluster se elimine de la implementación de yangesc.log, escmanager.log en ESC y lista nova en el nodo OSPD.

Paso 8.  Modifique el archivo PCRF_config.xml de la copia de seguridad en el paso 2.1.1 y modifique el nombre de la imagen del administrador del clúster a la imagen recién creada de la instantánea en los pasos anteriores:

Antes de cambiar

Después del cambio

<vm_group>

<name>cm</name>

<image>pcrf-13.1.1.qcow2</image>

<vm_group>

<name>cm</name>

<image>CPS_Cluman_13.1.1</image>

Paso 9. Modifique PCRF_config.xml y elimine el archivo de datos de usuario de la nube para el grupo vm de Cluster Manager. Aquí se muestra el fragmento xml de ejemplo que se va a quitar:

--user-data

file:///opt/cisco/esc/cisco-cps/config/pcrf-cm_cloud.cfg

CLUSTER_ID

P1

CM_IP_ADDR_PVT

192.168.1.107

PREFIX

vpc

SEQ

01

SITE_ID

DE

Paso 10. Copie el archivo PCRF_config.xml a /opt/cisco/esc/cisco-cps/config/ donde están presentes todos los demás archivos de configuración.

Paso 11. Cargar Fusionar el nuevo archivo de configuración a los opdata ESC.

/opt/cisco/esc/confd/bin/confd_cli -u admin –C

esc-ha-01# config

esc-ha-01(config)# load merge /opt/cisco/esc/cisco-cps/config/PCRF_config.xml

esc-ha-01(config)# commit

esc-ha-01(config)# exit

Paso 12. Monitoree los yangesc.log, escmanager.log en ESC y la lista nova en OSPD para verificar la implementación de Cluster Manager.

source /home/stack/destackovsrc-Pcrf

nova list --fields name,status| grep cm

| 96a5647e-9970-4e61-ab5c-5e7285543a09 | cm_0_a11a9068-df37-4974-9bd8-566f825d5e39    | ACTIVE

Paso 13. Si, Cluster Manager cambia el estado a ACTIVE después de la reconstrucción, verifique el estado de la instancia en ESC y Enable VM Monitor en ESC si es necesario.

echo "show esc_datamodel opdata tenants tenant Pcrf deployments * state_machine | tab" | /opt/cisco/esc/confd/bin/confd_cli -u admin –C | grep cm

cm_0_170d9c14-0221-4609-87e3-d752e636f57f VM_ERROR_STATE

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action ENABLE_MONITOR cm_0_170d9c14-0221-4609-87e3-d752e636f57f

Paso 14. Adjunte discos de copia de seguridad o cualquier otro volumen de Cinder previamente conectado a la instancia de Cluster Manager y no conectado automáticamente por esc en el paso anterior.

source /home/stack/destackovsrc-Pcrf

cinder list

+--------------------------------------+--------+------------------------+------+------------+---------+----------------------------------------+

| ID                                   | Status | Name                   | Size | Volume Type| Bootable| Attached to                            |

+--------------------------------------+--------+------------------------+------+------------+---------+----------------------------------------+

| 4c478cce-c746-455a-93f1-3f360acb87ce | in-use | CPS_14.0.0.release.iso | 3    | -           | true   | 96a5647e-9970-4e61-ab5c-5e7285543a09   |

| 7e5573d9-29bc-4ea0-b046-c666bb1f7e06 | in-use | PCRF_backup            | 1024 | -           | false  |                                        |

| d5ab1991-3e09-41f2-89f5-dd1cf8a9e172 | in-use | svn01                  | 2    | -           | false  | 09f4bafa-dfb6-457f-9af5-69196eb31b13   |

| d74988a7-1f59-4241-9777-fc4f2d4f3e78 | in-use | svn02                  | 2    | -           | false  | 86ea448d-09bc-4d2f-81a3-de05884f1e05   |

+--------------------------------------+--------+------------------------+------+------------+---------+----------------------------------------+

openstack server add volume

--device

Paso 15. Si la instantánea del clúster es antigua y está disponible la copia de seguridad config_br.py de una instantánea de publicación de fecha tomada. Importe la configuración de la copia de seguridad, si no lo hace, omita este paso.

ssh

config_br.py –a import --svn --etc --grafanadb --users --auth-htpasswd --haproxy /mnt/backup/

Paso 16. Reconstruir todas las imágenes de VM desde la copia de seguridad a través de config_br.py en el administrador del clúster:

/var/qps/install/current/scripts/build/build_all.sh

Verificación

- Haga ping en la IP del administrador de clúster para asegurarse de que la conectividad está activa.

- SSH el administrador del clúster para verificar la accesibilidad.

- Verifique los diagnósticos de Cluster Manager para asegurarse de que el estado de otras VM de CPS no se vea afectado.