Sustitución de componentes defectuosos en el servidor UCS C240 M4 - CPAR

Introducción

Este documento describe los pasos necesarios para sustituir los componentes defectuosos mencionados aquí en un servidor de Unified Computing System (UCS) en una configuración Ultra-M.

Este procedimiento se aplica a un entorno Openstack con el uso de la versión NEWTON donde ESC no administra CPAR y CPAR se instala directamente en la VM implementada en Openstack.

• MOP de sustitución del módulo de memoria en línea dual (DIMM)
• Falla del controlador FlexFlash
• Falla de unidad de estado sólido (SSD)
• Falla del módulo de plataforma de confianza (TPM)
• Error de caché Raid
• Falla del controlador Raid/adaptador de bus caliente (HBA)
• Falla de la tarjeta vertical PCI
• Falla del adaptador PCIe Intel X520 10G
• Falla en la placa base LAN-on modular (MLOM)
• RMA de bandeja de ventilador
• Falla de CPU 

Antecedentes

Ultra-M es una solución de núcleo de paquetes móviles virtualizada validada y empaquetada previamente diseñada para simplificar la implementación de VNF. OpenStack es el Virtualized Infrastructure Manager (VIM) para Ultra-M y consta de estos tipos de nodos:

• Informática
• Disco de almacenamiento de objetos - Compute (OSD - Compute)
• Controlador
• Plataforma OpenStack: Director (OSPD)

La arquitectura de alto nivel de Ultra-M y los componentes involucrados se ilustran en esta imagen:

Este documento está dirigido al personal de Cisco que está familiarizado con la plataforma Cisco Ultra-M y detalla los pasos necesarios para llevarse a cabo en OpenStack y Redhat OS.

Nota: Se considera la versión Ultra M 5.1.x para definir los procedimientos en este documento.

Abreviaturas

MoP	Método de procedimiento
OSD	Discos de almacenamiento de objetos
OSPD	Director de plataforma OpenStack
HDD	Unidad de disco duro
SSD	Unidad de estado sólido
VIM	Administrador de infraestructura virtual
VM	Máquina virtual
EM	Administrador de elementos
UAS	Servicios de ultra automatización
UUID	Identificador Universalmente Único

Flujo de trabajo de MoP

Prerequisites

Copia de seguridad

Antes de reemplazar un componente defectuoso, es importante comprobar el estado actual de su entorno de Red Hat OpenStack Platform. Se recomienda que verifique el estado actual para evitar complicaciones cuando el proceso de reemplazo está activado. Se puede lograr con este flujo de reemplazo.

En caso de recuperación, Cisco recomienda realizar una copia de seguridad de la base de datos OSPD con estos pasos:

[root@director ~]# mysqldump --opt --all-databases > /root/undercloud-all-databases.sql
[root@director ~]# tar --xattrs -czf undercloud-backup-`date +%F`.tar.gz /root/undercloud-all-databases.sql 
/etc/my.cnf.d/server.cnf /var/lib/glance/images /srv/node /home/stack
tar: Removing leading `/' from member names

Este proceso asegura que un nodo se pueda reemplazar sin afectar la disponibilidad de ninguna instancia. Además, se recomienda realizar una copia de seguridad de la configuración de StarOS, especialmente si el nodo informático/OSD-compute que se va a sustituir aloja la máquina virtual (VM) Control Function (CF).

Nota: Si el servidor es el nodo Controlador, vaya a la sección ""; de lo contrario, continúe con la siguiente sección. Asegúrese de tener la instantánea de la instancia para poder restaurar la VM cuando sea necesario. Siga el procedimiento para tomar una instantánea de la VM.

RMA de componentes - Nodo de cálculo

Identificación de VM alojadas en el nodo informático

Identifique las VM alojadas en el servidor.

[stack@al03-pod2-ospd ~]$ nova list --field name,host

+--------------------------------------+---------------------------+----------------------------------+

| ID                                   | Name                      | Host                             |

+--------------------------------------+---------------------------+----------------------------------+

| 46b4b9eb-a1a6-425d-b886-a0ba760e6114 | AAA-CPAR-testing-instance | pod2-stack-compute-4.localdomain |

| 3bc14173-876b-4d56-88e7-b890d67a4122 | aaa2-21                   | pod2-stack-compute-3.localdomain |

| f404f6ad-34c8-4a5f-a757-14c8ed7fa30e | aaa21june                 | pod2-stack-compute-3.localdomain |

+--------------------------------------+---------------------------+----------------------------------+

Nota: En el resultado que se muestra aquí, la primera columna corresponde al UUID, la segunda columna es el nombre de VM y la tercera columna es el nombre de host donde está presente la VM. Los parámetros de este resultado se utilizarán en secciones posteriores.

Copia de seguridad: PROCESO DE INSTANTÁNEA

1. Cierre de la aplicación CPAR

Paso 1. Abra cualquier cliente SSH conectado a la red TMO Production y conéctese a la instancia CPAR.

Es importante no cerrar las 4 instancias AAA dentro de un sitio al mismo tiempo, hacerlo de una manera a una.

Paso 2. Para apagar la aplicación CPAR, ejecute el comando:

/opt/CSCOar/bin/arserver stop

Mensaje "Cisco Prime Access Registrar Server Agent shutdown complete". debe aparecer.

Nota: Si un usuario dejó abierta una sesión CLI, el comando arserver stop no funcionará y se muestra este mensaje:

ERROR:    You cannot shut down Cisco Prime Access Registrar while the
          CLI is being used.   Current list of running
          CLI with process id is:
2903 /opt/CSCOar/bin/aregcmd –s

En este ejemplo, la ID de proceso resaltada 2903 debe terminar antes de que el CPAR pueda ser detenido. Si este es el caso, complete este proceso ejecutando el comando:

kill -9 *process_id*

 A continuación, repita el paso 1.

Paso 3. Para verificar que la aplicación CPAR fue efectivamente cerrada, ejecute el comando:

/opt/CSCOar/bin/arstatus

Estos mensajes deben aparecer:

Cisco Prime Access Registrar Server Agent not running
Cisco Prime Access Registrar GUI not running

2. Tarea de instantánea de VM

Paso 1. Introduzca el sitio web de la interfaz gráfica de usuario de Horizonte correspondiente al sitio (ciudad) en el que se está trabajando.

Al acceder a Horizon, se observa esta pantalla.

Paso 2. Vaya a Project > Instancias como se muestra en esta imagen.

Si el usuario utilizado era cpar, entonces sólo aparecen las 4 instancias AAA en este menú.

Paso 3. Cierre sólo una instancia a la vez, repita todo el proceso en este documento. Para apagar la máquina virtual, navegue hasta Acciones > Cerrar instancia como se muestra en esta imagen y confirme su selección.

Paso 4. Valide que la instancia se cerró de hecho comprobando el estado = Apagar y el estado de energía = Apagar como se muestra en esta imagen.

Este paso finaliza el proceso de cierre del CPAR.

Instantánea de VM

Una vez que las máquinas virtuales CPAR están inactivas, las instantáneas pueden tomarse en paralelo, ya que pertenecen a equipos independientes.

Los cuatro archivos QCOW2 se crean en paralelo.

Tome una instantánea de cada instancia de AAA (25 minutos -1 hora) (25 minutos para las instancias que usaron una imagen de cola como origen y 1 hora para las instancias que usaron una imagen sin procesar como origen)

1. Inicie sesión en la GUI de OpenStack de POD Horizon.
2. Una vez que haya iniciado sesión, navegue hasta la sección PROYECTO > COMPUTACIÓN > INSTANCIAS del menú superior y busque las instancias AAA como se muestra en esta imagen.

3. Haga clic en Crear instantánea para continuar con la creación de la instantánea (esto debe ejecutarse en la instancia AAA correspondiente) como se muestra en esta imagen.

4. Una vez que se ejecuta la instantánea, navegue hasta el menú Images y verifique que todos terminen y no informen de problemas, como se muestra en esta imagen.

5. El siguiente paso es descargar la instantánea en un formato QCOW2 y transferirla a una entidad remota, en caso de que la OSPD se pierda durante este proceso. Para lograr esto, identifique la instantánea ejecutando el comando glance image-list en el nivel OSPD.

[root@elospd01 stack]# glance image-list

+--------------------------------------+---------------------------+

| ID                                   | Name                      |             +--------------------------------------+---------------------------+

| 80f083cb-66f9-4fcf-8b8a-7d8965e47b1d | AAA-Temporary             |             | 22f8536b-3f3c-4bcc-ae1a-8f2ab0d8b950 | ELP1 cluman 10_09_2017    |

| 70ef5911-208e-4cac-93e2-6fe9033db560 | ELP2 cluman 10_09_2017    |

| e0b57fc9-e5c3-4b51-8b94-56cbccdf5401 | ESC-image                 |

| 92dfe18c-df35-4aa9-8c52-9c663d3f839b | lgnaaa01-sept102017       |

| 1461226b-4362-428b-bc90-0a98cbf33500 | tmobile-pcrf-13.1.1.iso   |

| 98275e15-37cf-4681-9bcc-d6ba18947d7b | tmobile-pcrf-13.1.1.qcow2 |

+--------------------------------------+---------------------------+

6. Una vez que identifique la instantánea que desea descargar (la marcada en verde), puede descargarla en un formato QCOW2 con el comando glance image-download como se muestra aquí.

[root@elospd01 stack]# glance image-download 92dfe18c-df35-4aa9-8c52-9c663d3f839b --file /tmp/AAA-CPAR-LGNoct192017.qcow2 &

• El comando & envía el proceso al fondo. Puede tomar algún tiempo completar esta acción, una vez realizada, la imagen se puede encontrar en el directorio /tmp.
• Al enviar el proceso a segundo plano , si se pierde la conectividad, también se detiene el proceso. 
• Ejecute el comando disown -h para que en caso de que se pierda la conexión SSH, el proceso se ejecute y termine en el OSPD.

7. Una vez finalizado el proceso de descarga, es necesario ejecutar un proceso de compresión, ya que esa instantánea se puede rellenar con ZEROES debido a los procesos, tareas y archivos temporales manejados por el sistema operativo (OS). El comando que se utilizará para la compresión de archivos es virt-sparsify.

[root@elospd01 stack]# virt-sparsify AAA-CPAR-LGNoct192017.qcow2 AAA-CPAR-LGNoct192017_compressed.qcow2

Este proceso puede tardar algún tiempo (entre 10 y 15 minutos). Una vez terminado, el archivo resultante es el que debe transferirse a una entidad externa como se especifica en el paso siguiente.

Para lograr esto, se requiere la verificación de la integridad del archivo, ejecute el siguiente comando y busque el atributo "corrupto" al final de su salida.

[root@wsospd01 tmp]# qemu-img info AAA-CPAR-LGNoct192017_compressed.qcow2
image: AAA-CPAR-LGNoct192017_compressed.qcow2
file format: qcow2
virtual size: 150G (161061273600 bytes)
disk size: 18G
cluster_size: 65536
Format specific information:
    compat: 1.1
    lazy refcounts: false
    refcount bits: 16
    corrupt: false

• Para evitar un problema donde se pierde la OSPD, la instantánea creada recientemente en formato QCOW2 debe transferirse a una entidad externa. Antes de iniciar la transferencia de archivos, debe verificar si el destino tiene suficiente espacio disponible en disco, utilice el comando df -kh para verificar el espacio de memoria. Un consejo es transferirla temporalmente al OSPD de otro sitio con el uso de SFTP sftproot@x.x.x.x donde x.x.x.x es la IP de un OSPD remoto. Para acelerar la transferencia, el destino se puede enviar a varios OSPD. De la misma manera, puede ejecutar el comando scp *name_of_the_file*.qcow2 root@ x.x.x.x:/tmp (donde x.x.x.x es la IP de un OSPD remoto) para transferir el archivo a otro OSPD.

Apagado Graceful

• Apagar el nodo

1. Para apagar la instancia : nova stop <INSTANCE_NAME>
2. Puede ver el nombre de la instancia con el estado apagado.

[stack@director ~]$ nova stop  aaa2-21

Request to stop server aaa2-21 has been accepted.

[stack@director ~]$ nova list

+--------------------------------------+---------------------------+---------+------------+-------------+------------------------------------------------------------------------------------------------------------+

| ID                                   | Name                      | Status  | Task State | Power State | Networks                                                                                                   |

+--------------------------------------+---------------------------+---------+------------+-------------+------------------------------------------------------------------------------------------------------------+

| 46b4b9eb-a1a6-425d-b886-a0ba760e6114 | AAA-CPAR-testing-instance | ACTIVE  | -          | Running     | tb1-mgmt=172.16.181.14, 10.225.247.233; radius-routable1=10.160.132.245; diameter-routable1=10.160.132.231 |

| 3bc14173-876b-4d56-88e7-b890d67a4122 | aaa2-21                   | SHUTOFF | -          | Shutdown    | diameter-routable1=10.160.132.230; radius-routable1=10.160.132.248; tb1-mgmt=172.16.181.7, 10.225.247.234  |

| f404f6ad-34c8-4a5f-a757-14c8ed7fa30e | aaa21june                 | ACTIVE  | -          | Running     | diameter-routable1=10.160.132.233; radius-routable1=10.160.132.244; tb1-mgmt=172.16.181.10                 |

+--------------------------------------+---------------------------+---------+------------+-------------+------------------------------------------------------------------------------------------------------------+

Reemplazar componente defectuoso del nodo de cálculo

Apague el servidor especificado. Los pasos para reemplazar un componente defectuoso en el servidor UCS C240 M4 se pueden derivar de:

Sustitución de los componentes del servidor

Restaurar VM

Recuperación de instancias con Snapshot

Proceso de recuperación

Es posible volver a implementar la instancia anterior con la instantánea tomada en pasos anteriores.

Paso 1. [opcional] Si no hay disponible ninguna VMSnapshots anterior, conéctese al nodo OSPD donde se envió la copia de seguridad y SFTP la copia de seguridad de nuevo a su nodo OSPD original. Con sftproot@x.x.x.x donde x.x.x.x es la IP de un OSPD original. Guarde el archivo de instantánea en el directorio /tmp.

Paso 2. Conéctese al nodo OSPD donde se puede volver a implementar la instancia, como se muestra en la imagen.

Utilice las variables de entorno con este comando:

             

 # source /home/stack/pod1-stackrc-Core-CPAR

Paso 3. Para utilizar la instantánea como una imagen, es necesario cargarla en el horizonte como tal. Ejecute el siguiente comando para hacerlo.

#glance image-create -- AAA-CPAR-Date-snapshot.qcow2 --container-format bare --disk-format qcow2 --name AAA-CPAR-Date-snapshot

El proceso se puede ver en el horizonte y como se muestra en esta imagen.

Paso 4. En Horizon, navegue hasta Project > Instancias y haga clic en Iniciar instancia como se muestra en esta imagen.

Paso 5. Ingrese el nombre de la instancia y elija la zona de disponibilidad como se muestra en esta imagen.

Paso 6. En la ficha Origen, elija la imagen para crear la instancia. En el menú Select Boot Source (Seleccionar origen de arranque) seleccione imagen, se muestra una lista de imágenes, elija la que se cargó previamente haciendo clic en su símbolo + y como se muestra en esta imagen.

Paso 7. En la pestaña Sabor, elija el sabor AAA haciendo clic en el + como se muestra en esta imagen.

  

Paso 8. Por último, navegue hasta la ficha Red y elija las redes que necesitará la instancia haciendo clic en el + signo+. Para este caso, seleccione diámetro-soutable1, radius-routable1 y tb1-mgmt como se muestra en esta imagen.

  

Finalmente, haga clic en Iniciar instancia para crearla. El progreso se puede supervisar en Horizonte:

Después de unos minutos, la instancia se implementa completamente y está lista para su uso, como se muestra en esta imagen.

Creación y asignación de direcciones IP flotantes

Una dirección IP flotante es una dirección enrutable, lo que significa que se puede alcanzar desde el exterior de la arquitectura Ultra M/Openstack, y es capaz de comunicarse con otros nodos desde la red.

Paso 1. En el menú superior Horizonte, navegue hasta Admin > Floating IPs.

Paso 2. Haga clic en Asignar IP al proyecto.

Paso 3. En la ventana Asignar IP Flotante , seleccione el Pool del que pertenece la nueva IP flotante, el Proyecto donde se va a asignar y la nueva Dirección IP Flotante misma.

Por ejemplo:

                                                                 

Paso 4. Haga clic en el botón Asignar IP flotante.

Paso 5. En el menú superior Horizonte, vaya a Proyecto > Instancias.

Paso 6. En la columna Acción, haga clic en la flecha que apunta hacia abajo en el botón Crear instantánea, se muestra un menú. Seleccione la opción Asociar IP flotante.

Paso 7. Seleccione la dirección IP flotante correspondiente que se utilizará en el campo IP Address, y elija la interfaz de administración correspondiente (eth0) de la nueva instancia donde se va a asignar esta IP flotante en el puerto que se va a asociar. Consulte la siguiente imagen como ejemplo de este procedimiento.

                                        

Paso 8. Por último, haga clic en Asociar.

Habilitar SSH

Paso 1. En el menú superior Horizonte, vaya a Proyecto > Instancias.

Paso 2. Haga clic en el nombre de la instancia/VM que se creó en la sección Iniciar una nueva instancia.

Paso 3. Haga clic en la pestaña Consola. Esto mostrará la CLI de la máquina virtual.

Paso 4. Una vez que se muestre la CLI, introduzca las credenciales de inicio de sesión adecuadas, como se muestra en la imagen:

           Nombre de usuario:root

           Contraseña:cisco123

                                          

Paso 5. En la CLI, ejecute el comando vi /etc/ssh/sshd_config para editar la configuración de SSH.

Paso 6. Una vez abierto el archivo de configuración de SSH, presione I para editar el archivo. A continuación, busque la sección y cambie la primera línea de PasswordAuthentication no a PasswordAuthentication yes como se muestra en esta imagen.

Paso 7. Presione ESC y ejecute :wq! para guardar los cambios del archivo sshd_config.

Paso 8. Ejecute el comando service sshd restart como se muestra en la imagen.

Paso 9. Para probar que los cambios de configuración de SSH se han aplicado correctamente, abra cualquier cliente SSH e intente establecer una conexión segura remota usando la IP flotante asignada a la instancia (es decir, 10.145.0.249) y la raíz del usuario como se muestra en la imagen.

Establecer sesión SSH

Paso 1. Abra una sesión SSH con la dirección IP de la VM/servidor correspondiente donde se instala la aplicación, como se muestra en la imagen.

inicio de instancia CPAR

Siga estos pasos, una vez que la actividad se haya completado y los servicios CPAR puedan restablecerse en el Sitio que se cerró.

Paso 1. Vuelva a iniciar sesión en Horizonte, navegue hasta Proyecto > Instancia > Iniciar instancia

Paso 2. Verifique que el estado de la instancia sea Activo y que el estado de energía esté En ejecución como se ve en esta imagen.

9. Comprobación de estado posterior a la actividad

Paso 1. Ejecute el comando /opt/CSCOar/bin/arstatus a nivel del sistema operativo:

  

[root@wscaaa04 ~]# /opt/CSCOar/bin/arstatus
Cisco Prime AR RADIUS server running       (pid: 24834)
Cisco Prime AR Server Agent running        (pid: 24821)
Cisco Prime AR MCD lock manager running    (pid: 24824)
Cisco Prime AR MCD server running          (pid: 24833)
Cisco Prime AR GUI running                 (pid: 24836)
SNMP Master Agent running                (pid: 24835)
[root@wscaaa04 ~]#

Paso 2. Ejecute el comando /opt/CSCOar/bin/aregcmd a nivel del sistema operativo e ingrese las credenciales de administración. Verifique que CPAR Health sea 10 de 10 y que salga de CPAR CLI.

[root@aaa02 logs]# /opt/CSCOar/bin/aregcmd
Cisco Prime Access Registrar 7.3.0.1 Configuration Utility
Copyright (C) 1995-2017 by Cisco Systems, Inc.  All rights reserved.
Cluster:
User: admin
Passphrase:
Logging in to localhost
[ //localhost ]
   LicenseInfo = PAR-NG-TPS 7.2(100TPS:)

                  PAR-ADD-TPS 7.2(2000TPS:)

                  PAR-RDDR-TRX 7.2()

                  PAR-HSS 7.2()

    Radius/

    Administrators/
Server 'Radius' is Running, its health is 10 out of 10
--> exit

Paso 3. Ejecute el comando netstat | diámetro grep y verifique que se hayan establecido todas las conexiones DRA.

El resultado mencionado aquí es para un entorno en el que se esperan links Diámetro. Si se muestran menos enlaces, esto representa una desconexión del DRA que se debe analizar.

[root@aa02 logs]# netstat | grep diameter
tcp         0            0 aaa02.aaa.epc.:77 mp1.dra01.d:diameter ESTABLISHED
tcp         0            0 aaa02.aaa.epc.:36 tsa6.dra01:diameter ESTABLISHED
tcp         0            0 aaa02.aaa.epc.:47 mp2.dra01.d:diameter ESTABLISHED
tcp         0            0 aaa02.aaa.epc.:07 tsa5.dra01:diameter ESTABLISHED
tcp         0            0 aaa02.aaa.epc.:08 np2.dra01.d:diameter ESTABLISHED

 

Paso 4. Compruebe que el registro de TPS muestra las solicitudes que está procesando el CPAR. Los valores resaltados representan el TPS y son a los que debe prestar atención.

El valor de TPS no debe ser superior a 1500.

[root@wscaaa04 ~]# tail -f /opt/CSCOar/logs/tps-11-21-2017.csv
11-21-2017,23:57:35,263,0
11-21-2017,23:57:50,237,0
11-21-2017,23:58:05,237,0
11-21-2017,23:58:20,257,0
11-21-2017,23:58:35,254,0
11-21-2017,23:58:50,248,0
11-21-2017,23:59:05,272,0
11-21-2017,23:59:20,243,0
11-21-2017,23:59:35,244,0
11-21-2017,23:59:50,233,0

Paso 5. Busque cualquier mensaje de "error" o "alarma" en name_radius_1_log

[root@aaa02 logs]# grep -E "error|alarm" name_radius_1_log

Paso 6. Verifique la cantidad de memoria que el proceso CPAR utiliza ejecutando el comando:

top | grep radius

[root@sfraaa02 ~]# top | grep radius
27008 root      20   0 20.228g 2.413g  11408 S 128.3  7.7   1165:41 radius

Este valor resaltado debe ser inferior a 7 Gb, que es el máximo permitido en el nivel de aplicación.

RMA de componentes - Nodo de cómputo OSD

Identificación de VM alojadas en nodo de informática OSD

Identifique las VM alojadas en el servidor OSD-Compute.

[stack@director ~]$ nova list --field name,host | grep osd-compute-0
| 46b4b9eb-a1a6-425d-b886-a0ba760e6114 | AAA-CPAR-testing-instance | pod2-stack-compute-4.localdomain |

Nota: En el resultado que se muestra aquí, la primera columna corresponde al UUID, la segunda columna es el nombre de VM y la tercera columna es el nombre de host donde está presente la VM. Los parámetros de este resultado se utilizarán en secciones posteriores.

Copia de seguridad: PROCESO DE INSTANTÁNEA 

1. Cierre de la aplicación CPAR

Paso 1. Abra cualquier cliente SSH conectado a la red TMO Production y conéctese a la instancia CPAR.

Es importante no cerrar las 4 instancias AAA dentro de un sitio al mismo tiempo, hacerlo de una manera a una.

Paso 2. Para apagar la aplicación CPAR, ejecute el comando:

/opt/CSCOar/bin/arserver stop

Mensaje "Cisco Prime Access Registrar Server Agent shutdown complete". debe aparecer.

Nota: Si un usuario dejó abierta una sesión CLI, el comando arserver stop no funcionará y se muestra este mensaje:

ERROR:    You cannot shut down Cisco Prime Access Registrar while the
          CLI is being used.   Current list of running
          CLI with process id is:
2903 /opt/CSCOar/bin/aregcmd –s

En este ejemplo, la ID de proceso resaltada 2903 debe terminar antes de que el CPAR pueda ser detenido. Si este es el caso, finalice el proceso ejecutando el comando:

kill -9 *process_id*

A continuación, repita el paso 1.

Paso 3. Verifique que la aplicación CPAR se haya apagado de hecho ejecutando el comando:

/opt/CSCOar/bin/arstatus

Estos mensajes deben aparecer:

Cisco Prime Access Registrar Server Agent not running
Cisco Prime Access Registrar GUI not running

2. Tarea de instantánea de VM

Paso 1. Introduzca el sitio web de la interfaz gráfica de usuario de Horizonte correspondiente al sitio (ciudad) en el que se está trabajando.

Al acceder a Horizon, se puede observar esta pantalla.

Paso 2. Navegue hasta Project > Instancias como se muestra en esta imagen.

Si el usuario utilizado fue CPAR, sólo pueden aparecer las 4 instancias AAA en este menú.

Paso 3. Cierre sólo una instancia a la vez, repita todo el proceso en este documento. Para apagar la máquina virtual, navegue hasta Acciones > Cerrar instancia como se muestra en la imagen y confirme su selección. 

Paso 4. Valide que la instancia se cerró de hecho comprobando el estado = Apagar y el estado de energía = Apagar como se muestra en la imagen.

Este paso finaliza el proceso de cierre del CPAR.

Instantánea de VM

Una vez que las máquinas virtuales CPAR están inactivas, las instantáneas pueden tomarse en paralelo, ya que pertenecen a equipos independientes.

Los cuatro archivos QCOW2 se crean en paralelo.

Tome una instantánea de cada instancia de AAA. (25 minutos -1 hora) (25 minutos para las instancias que utilizaron una imagen de cola como fuente y 1 hora para las instancias que utilizan una imagen sin procesar como origen)

1. Inicio de sesión en la GUI de OpenStack de POD
2. Una vez iniciada la sesión, navegue hasta la sección Project > Compute > Instancias del menú superior y busque las instancias AAA como se muestra en esta imagen.

3. Haga clic en Crear instantánea para continuar con la creación de la instantánea (esto debe ejecutarse en la instancia AAA correspondiente) como se muestra en la imagen.

4. Una vez que se ejecuta la instantánea, navegue hasta el menú Images y verifique que todos terminen y no informen de problemas como se ve en esta imagen.

5. El siguiente paso es descargar la instantánea en un formato QCOW2 y transferirla a una entidad remota, en caso de que la OSPD se pierda durante este proceso. Para lograr esto, identifique la instantánea ejecutando el comando glance image-list en el nivel OSPD.

[root@elospd01 stack]# glance image-list

+--------------------------------------+---------------------------+

| ID                                   | Name                      |             +--------------------------------------+---------------------------+

| 80f083cb-66f9-4fcf-8b8a-7d8965e47b1d | AAA-Temporary             |             | 22f8536b-3f3c-4bcc-ae1a-8f2ab0d8b950 | ELP1 cluman 10_09_2017    |

| 70ef5911-208e-4cac-93e2-6fe9033db560 | ELP2 cluman 10_09_2017    |

| e0b57fc9-e5c3-4b51-8b94-56cbccdf5401 | ESC-image                 |

| 92dfe18c-df35-4aa9-8c52-9c663d3f839b | lgnaaa01-sept102017       |

| 1461226b-4362-428b-bc90-0a98cbf33500 | tmobile-pcrf-13.1.1.iso   |

| 98275e15-37cf-4681-9bcc-d6ba18947d7b | tmobile-pcrf-13.1.1.qcow2 |

+--------------------------------------+---------------------------+

6. Una vez que identifique la instantánea que se descargará (la marcada en verde), puede descargarla en un formato QCOW2 con el comando glance image-download como se muestra aquí.

[root@elospd01 stack]# glance image-download 92dfe18c-df35-4aa9-8c52-9c663d3f839b --file /tmp/AAA-CPAR-LGNoct192017.qcow2 &

• El comando & envía el proceso al fondo. Puede tomar algún tiempo completar esta acción, una vez realizada, la imagen se puede encontrar en el directorio /tmp.
• Al enviar el proceso a segundo plano , si se pierde la conectividad, también se detiene el proceso. 
• Ejecute el comando disown -h para que en caso de que se pierda la conexión SSH, el proceso se ejecute y termine en el OSPD.

7. Una vez finalizado el proceso de descarga, es necesario ejecutar un proceso de compresión, ya que esa instantánea se puede rellenar con ZEROES debido a procesos, tareas y archivos temporales manejados por el sistema operativo. El comando que se utilizará para la compresión de archivos es virt-sparsify.

[root@elospd01 stack]# virt-sparsify AAA-CPAR-LGNoct192017.qcow2 AAA-CPAR-LGNoct192017_compressed.qcow2

Este proceso puede tardar algún tiempo (entre 10 y 15 minutos). Una vez terminado, el archivo resultante es el que debe transferirse a una entidad externa como se especifica en el paso siguiente.

Para lograr esto, se requiere la verificación de la integridad del archivo, ejecute el siguiente comando y busque el atributo "corrupto" al final de su salida.

[root@wsospd01 tmp]# qemu-img info AAA-CPAR-LGNoct192017_compressed.qcow2
image: AAA-CPAR-LGNoct192017_compressed.qcow2
file format: qcow2
virtual size: 150G (161061273600 bytes)
disk size: 18G
cluster_size: 65536
Format specific information:
    compat: 1.1
    lazy refcounts: false
    refcount bits: 16
    corrupt: false

• Para evitar un problema donde se pierde la OSPD, la instantánea creada recientemente en formato QCOW2 debe transferirse a una entidad externa. Antes de iniciar la transferencia de archivos, debe verificar si el destino tiene suficiente espacio disponible en disco, ejecute el comando df -khin para verificar el espacio de memoria. Un consejo es transferirla temporalmente al OSPD de otro sitio mediante SFTP sftproot@x.x.x.x donde x.x.x.x es la IP de un OSPD remoto. Para acelerar la transferencia, el destino se puede enviar a varios OSPD. De la misma manera, puede ejecutar el comando scp *name_of_the_file*.qcow2 root@ x.x.x.x:/tmp (donde x.x.x.x es la IP de un OSPD remoto) para transferir el archivo a otro OSPD.

Poner CEPH en modo de mantenimiento

---

Nota: Si se va a reemplazar el componente defectuoso en el nodo OSD-Compute, coloque el Ceph en Mantenimiento en el servidor antes de continuar con el reemplazo del componente.

• Verifique que el estado del árbol de cefas esté activo en el servidor.

[heat-admin@pod2-stack-osd-compute-0 ~]$ sudo ceph osd tree
ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY 
-1 13.07996 root default 
-2 4.35999 host pod2-stack-osd-compute-0 
 0 1.09000 osd.0 up 1.00000 1.00000 
 3 1.09000 osd.3 up 1.00000 1.00000 
 6 1.09000 osd.6 up 1.00000 1.00000 
 9 1.09000 osd.9 up 1.00000 1.00000 
-3 4.35999 host pod2-stack-osd-compute-1 
 1 1.09000 osd.1 up 1.00000 1.00000 
 4 1.09000 osd.4 up 1.00000 1.00000 
 7 1.09000 osd.7 up 1.00000 1.00000 
10 1.09000 osd.10 up 1.00000 1.00000 
-4 4.35999 host pod2-stack-osd-compute-2 
 2 1.09000 osd.2 up 1.00000 1.00000 
 5 1.09000 osd.5 up 1.00000 1.00000 
 8 1.09000 osd.8 up 1.00000 1.00000 
11 1.09000 osd.11 up 1.00000 1.00000 

• Inicie sesión en el nodo OSD Compute y coloque CEPH en el modo de mantenimiento.

[root@pod2-stack-osd-compute-0 ~]# sudo ceph osd set norebalance
[root@pod2-stack-osd-compute-0 ~]# sudo ceph osd set noout

[root@pod2-stack-osd-compute-0 ~]# sudo ceph status

 cluster eb2bb192-b1c9-11e6-9205-525400330666
 health HEALTH_WARN
 noout,norebalance,sortbitwise,require_jewel_osds flag(s) set
 monmap e1: 3 mons at {pod2-stack-controller-0=11.118.0.10:6789/0,pod2-stack-controller-1=11.118.0.11:6789/0,pod2-stack-controller-2=11.118.0.12:6789/0}
 election epoch 10, quorum 0,1,2 pod2-stack-controller-0,pod2-stack-controller-1,pod2-stack-controller-2
 osdmap e79: 12 osds: 12 up, 12 in
 flags noout,norebalance,sortbitwise,require_jewel_osds
 pgmap v22844323: 704 pgs, 6 pools, 804 GB data, 423 kobjects
 2404 GB used, 10989 GB / 13393 GB avail
 704 active+clean
 client io 3858 kB/s wr, 0 op/s rd, 546 op/s wr

Nota: Cuando se elimina CEPH, el RAID HD VNF entra en estado Degradado pero el disco duro debe seguir estando accesible.

Apagado Graceful

• Apagar el nodo

1. Para apagar la instancia : nova stop <INSTANCE_NAME>
2. Puede ver el nombre de la instancia con el estado apagado.

[stack@director ~]$ nova stop  aaa2-21

Request to stop server aaa2-21 has been accepted.

[stack@director ~]$ nova list

+--------------------------------------+---------------------------+---------+------------+-------------+------------------------------------------------------------------------------------------------------------+

| ID                                   | Name                      | Status  | Task State | Power State | Networks                                                                                                   |

+--------------------------------------+---------------------------+---------+------------+-------------+------------------------------------------------------------------------------------------------------------+

| 46b4b9eb-a1a6-425d-b886-a0ba760e6114 | AAA-CPAR-testing-instance | ACTIVE  | -          | Running     | tb1-mgmt=172.16.181.14, 10.225.247.233; radius-routable1=10.160.132.245; diameter-routable1=10.160.132.231 |

| 3bc14173-876b-4d56-88e7-b890d67a4122 | aaa2-21                   | SHUTOFF | -          | Shutdown    | diameter-routable1=10.160.132.230; radius-routable1=10.160.132.248; tb1-mgmt=172.16.181.7, 10.225.247.234  |

| f404f6ad-34c8-4a5f-a757-14c8ed7fa30e | aaa21june                 | ACTIVE  | -          | Running     | diameter-routable1=10.160.132.233; radius-routable1=10.160.132.244; tb1-mgmt=172.16.181.10                 |

+--------------------------------------+---------------------------+---------+------------+-------------+------------------------------------------------------------------------------------------------------------+

Reemplazar componente defectuoso del nodo de cómputo de OSD

Apague el servidor especificado. Los pasos para reemplazar un componente defectuoso en el servidor UCS C240 M4 se pueden derivar de: 

Sustitución de los componentes del servidor

Mover CEPH fuera del modo de mantenimiento

• Inicie sesión en el nodo de cómputo OSD y mueva CEPH fuera del modo de mantenimiento.

[root@pod2-stack-osd-compute-0 ~]# sudo ceph osd unset norebalance
[root@pod2-stack-osd-compute-0 ~]# sudo ceph osd unset noout

[root@pod2-stack-osd-compute-0 ~]# sudo ceph status

 cluster eb2bb192-b1c9-11e6-9205-525400330666
 health HEALTH_OK
 monmap e1: 3 mons at {pod2-stack-controller-0=11.118.0.10:6789/0,pod2-stack-controller-1=11.118.0.11:6789/0,pod2-stack-controller-2=11.118.0.12:6789/0}
 election epoch 10, quorum 0,1,2 pod2-stack-controller-0,pod2-stack-controller-1,pod2-stack-controller-2
 osdmap e81: 12 osds: 12 up, 12 in
 flags sortbitwise,require_jewel_osds
 pgmap v22844355: 704 pgs, 6 pools, 804 GB data, 423 kobjects
 2404 GB used, 10989 GB / 13393 GB avail
 704 active+clean
 client io 3658 kB/s wr, 0 op/s rd, 502 op/s wr

Restaurar VM

Recuperación de instancias con Snapshot

Proceso de recuperación

Es posible volver a implementar la instancia anterior con la instantánea tomada en pasos anteriores.

Paso 1. [OPCIONAL] Si no hay disponible ninguna VMSnapshots anterior, conéctese al nodo OSPD donde se envió la copia de seguridad y devuelva la copia de seguridad a su nodo OSPD original. Usar sftproot@x.x.x.x donde x.x.x.x es la IP de un OSPD original. Guarde el archivo de instantánea en el directorio /tmp.

Paso 2. Conéctese al nodo OSPD donde se volverá a implementar la instancia.

Utilice las variables de entorno con este comando:

 # source /home/stack/pod1-stackrc-Core-CPAR

Paso 3. Para utilizar la instantánea como una imagen, es necesario cargarla en el horizonte como tal. Ejecute el siguiente comando para hacerlo.

#glance image-create -- AAA-CPAR-Date-snapshot.qcow2 --container-format bare --disk-format qcow2 --name AAA-CPAR-Date-snapshot

El proceso puede verse en el horizonte.

Paso 4. En Horizon, navegue hasta Project > Instancias y haga clic en Lauch Instance como se muestra en esta imagen.

Paso 5. Ingrese Instance Name y elija la Availability Zone como se muestra en la imagen.

Paso 6. En la ficha Source elija la imagen para crear la instancia. En el menú Seleccionar origen de arranque seleccione Imagen, se muestra una lista de imágenes, elija la que se cargó previamente haciendo clic en su signo +.

Paso 7. En la pestaña Sabor, elija el sabor AAA haciendo clic en el + signo.

  

Paso 8. Finalmente, navegue hasta la pestaña Redes y elija las redes que la instancia necesitará haciendo clic en el + signo+. Para este caso, seleccione diámetro-soutable1, radius-routable1 y tb1-mgmt como se muestra en esta imagen.

  

Por último, haga clic en Iniciar instancia para crearla. El progreso se puede supervisar en Horizonte:

Después de unos minutos, la instancia se implementará completamente y estará lista para su uso.

Crear y asignar una dirección IP flotante

Una dirección IP flotante es una dirección enrutable, lo que significa que se puede alcanzar desde el exterior de la arquitectura Ultra M/Openstack, y es capaz de comunicarse con otros nodos desde la red.

Paso 1. En el menú superior Horizonte, navegue hasta Admin > Floating IPs.

Paso 2. Haga clic en Asignar IP al proyecto.

Paso 3. En la ventana Asignar IP Flotante seleccione el Pool del que pertenece la nueva IP flotante, el Proyecto donde se va a asignar y la nueva Dirección IP Flotante misma.

Por ejemplo:

                                                                 

Paso 4. Haga clic en Asignar IP flotante.

Paso 5. En el menú superior Horizonte, vaya a Proyecto > Instancias.

Paso 6. En la columna Acción, haga clic en la flecha que apunta hacia abajo en el botón Crear instantánea, se debe mostrar un menú. Seleccione la opción Asociar IP flotante.

Paso 7. Seleccione la dirección IP flotante correspondiente que se utilizará en el campo IP Address, y elija la interfaz de administración correspondiente (eth0) de la nueva instancia donde se va a asignar esta IP flotante en el puerto que se va a asociar. Consulte la siguiente imagen como ejemplo de este procedimiento.

                                        

Paso 8. Por último, haga clic en Asociar.

Habilitar SSH

Paso 1. En el menú superior Horizonte, vaya a Proyecto > Instancias.

Paso 2. Haga clic en el nombre de la instancia/VM que se creó en la sección Iniciar una nueva instancia.

Paso 3. Haga clic en la pestaña Consola. Esto mostrará la interfaz de línea de comandos de la máquina virtual.

Paso 4. Una vez que se muestre la CLI, introduzca las credenciales de inicio de sesión adecuadas, como se muestra en la imagen:

Nombre de usuario:root

Contraseña:cisco123

Paso 5. En la CLI, ejecute el comando vi /etc/ssh/sshd_config para editar la configuración ssh.

Paso 6. Una vez abierto el archivo de configuración ssh, presione I para editar el archivo. A continuación, busque esta sección y cambie la primera línea de PasswordAuthentication no a PasswordAuthentication yes.

Paso 7. Presione ESC e ingrese :wq!t para guardar los cambios del archivo sshd_config.

Paso 8. Ejecute el comando service sshd restart.

Paso 9. Para probar que los cambios de configuración de SSH se han aplicado correctamente, abra cualquier cliente SSH e intente establecer una conexión segura remota usando la IP flotante asignada a la instancia (es decir, 10.145.0.249) y la raíz del usuario.

Establecer sesión SSH

Paso 1. Abra una sesión SSH utilizando la dirección IP de la VM/servidor correspondiente donde está instalada la aplicación.

inicio de instancia CPAR

Siga estos pasos, una vez que la actividad se haya completado y los servicios CPAR puedan restablecerse en el Sitio que se cerró.

Paso 1. Vuelva a iniciar sesión en Horizon, navegue hasta Project > Instance > Start Instance.

Paso 2. Verifique que el estado de la instancia sea Activo y que el estado de energía esté En ejecución como se muestra en la imagen.

9. Comprobación de estado posterior a la actividad

Paso 1. Ejecute el comando /opt/CSCOar/bin/arstatus a nivel del SO

  

[root@wscaaa04 ~]# /opt/CSCOar/bin/arstatus
Cisco Prime AR RADIUS server running       (pid: 24834)
Cisco Prime AR Server Agent running        (pid: 24821)
Cisco Prime AR MCD lock manager running    (pid: 24824)
Cisco Prime AR MCD server running          (pid: 24833)
Cisco Prime AR GUI running                 (pid: 24836)
SNMP Master Agent running                (pid: 24835)
[root@wscaaa04 ~]#

Paso 2. Ejecute el comando /opt/CSCOar/bin/aregcmd a nivel del sistema operativo e ingrese las credenciales de administración. Verifique que CPAr Health sea 10 de 10 y que salga de CPAR CLI.

[root@aaa02 logs]# /opt/CSCOar/bin/aregcmd
Cisco Prime Access Registrar 7.3.0.1 Configuration Utility
Copyright (C) 1995-2017 by Cisco Systems, Inc.  All rights reserved.
Cluster:
User: admin
Passphrase:
Logging in to localhost
[ //localhost ]
   LicenseInfo = PAR-NG-TPS 7.2(100TPS:)

                  PAR-ADD-TPS 7.2(2000TPS:)

                  PAR-RDDR-TRX 7.2()

                  PAR-HSS 7.2()

    Radius/

    Administrators/
Server 'Radius' is Running, its health is 10 out of 10
--> exit

Paso 3. Ejecute el comando netstat | diámetro grep y verifique que se hayan establecido todas las conexiones DRA.

El resultado mencionado aquí es para un entorno en el que se esperan links Diámetro. Si se muestran menos enlaces, esto representa una desconexión del DRA que se debe analizar.

[root@aa02 logs]# netstat | grep diameter
tcp         0            0 aaa02.aaa.epc.:77 mp1.dra01.d:diameter ESTABLISHED
tcp         0            0 aaa02.aaa.epc.:36 tsa6.dra01:diameter ESTABLISHED
tcp         0            0 aaa02.aaa.epc.:47 mp2.dra01.d:diameter ESTABLISHED
tcp         0            0 aaa02.aaa.epc.:07 tsa5.dra01:diameter ESTABLISHED
tcp         0            0 aaa02.aaa.epc.:08 np2.dra01.d:diameter ESTABLISHED

 

Paso 4. Compruebe que el registro de TPS muestra las solicitudes que está procesando el CPAR. Los valores resaltados representan el TPS y son a los que debe prestar atención.

El valor de TPS no debe ser superior a 1500.

[root@wscaaa04 ~]# tail -f /opt/CSCOar/logs/tps-11-21-2017.csv
11-21-2017,23:57:35,263,0
11-21-2017,23:57:50,237,0
11-21-2017,23:58:05,237,0
11-21-2017,23:58:20,257,0
11-21-2017,23:58:35,254,0
11-21-2017,23:58:50,248,0
11-21-2017,23:59:05,272,0
11-21-2017,23:59:20,243,0
11-21-2017,23:59:35,244,0
11-21-2017,23:59:50,233,0

Paso 5. Busque cualquier mensaje de "error" o "alarma" en name_radius_1_log

[root@aaa02 logs]# grep -E "error|alarm" name_radius_1_log

Paso 6. Verifique la cantidad de memoria que utiliza el proceso CPAR ejecutando el comando:

top | grep radius

[root@sfraaa02 ~]# top | grep radius
27008 root      20   0 20.228g 2.413g  11408 S 128.3  7.7   1165:41 radius

Este valor resaltado debe ser inferior a 7 Gb, que es el máximo permitido en el nivel de aplicación.

Componente RMA - Nodo controlador

Comprobación previa

• Desde OSPD, inicie sesión en el controlador y verifique que los pc estén en buen estado - los tres controladores Online y Galera muestran los tres controladores como Master. 

Nota: Un clúster saludable requiere 2 controladores activos, así que verifique que los dos controladores que quedan estén en línea y activos.

[heat-admin@pod2-stack-controller-0 ~]$ sudo pcs status
Cluster name: tripleo_cluster
Stack: corosync
Current DC: pod2-stack-controller-2 (version 1.1.15-11.el7_3.4-e174ec8) - partition with quorum
Last updated: Fri Jul 6 09:03:37 2018Last change: Fri Jul 6 09:03:35 2018 by root via crm_attribute on pod2-stack-controller-0

3 nodes and 19 resources configured

Online: [ pod2-stack-controller-0 pod2-stack-controller-1 pod2-stack-controller-2 ]

Full list of resources:

 ip-11.120.0.49(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-1
 Clone Set: haproxy-clone [haproxy]
 Started: [ pod2-stack-controller-0 pod2-stack-controller-1 pod2-stack-controller-2 ]
 Master/Slave Set: galera-master [galera]
 Masters: [ pod2-stack-controller-1 pod2-stack-controller-2 ]
 Slaves: [ pod2-stack-controller-0 ]
 ip-192.200.0.110(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-1
 ip-11.120.0.44(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-2
 ip-11.118.0.49(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-2
 Clone Set: rabbitmq-clone [rabbitmq]
 Started: [ pod2-stack-controller-1 pod2-stack-controller-2 ]
 Stopped: [ pod2-stack-controller-0 ]
 ip-10.225.247.214(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-1
 Master/Slave Set: redis-master [redis]
 Masters: [ pod2-stack-controller-2 ]
 Slaves: [ pod2-stack-controller-0 pod2-stack-controller-1 ]
 ip-11.119.0.49(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-2
 openstack-cinder-volume(systemd:openstack-cinder-volume):Started pod2-stack-controller-1

Daemon Status:
 corosync: active/enabled
 pacemaker: active/enabled
 pcsd: active/enabled

Mover el clúster del controlador al modo de mantenimiento

• Ejecute el clúster de pcs en el controlador que se actualiza en espera:

[heat-admin@pod2-stack-controller-0 ~]$ sudo pcs cluster standby

• Verifique el estado de pcs nuevamente y asegúrese de que el clúster de pcs se detuvo en este nodo:

[heat-admin@pod2-stack-controller-0 ~]$ sudo pcs status
Cluster name: tripleo_cluster
Stack: corosync
Current DC: pod2-stack-controller-2 (version 1.1.15-11.el7_3.4-e174ec8) - partition with quorum
Last updated: Fri Jul 6 09:03:10 2018Last change: Fri Jul 6 09:03:06 2018 by root via crm_attribute on pod2-stack-controller-0

3 nodes and 19 resources configured

Node pod2-stack-controller-0: standby
Online: [ pod2-stack-controller-1 pod2-stack-controller-2 ]

Full list of resources:

 ip-11.120.0.49(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-1
 Clone Set: haproxy-clone [haproxy]
 Started: [ pod2-stack-controller-1 pod2-stack-controller-2 ]
 Stopped: [ pod2-stack-controller-0 ]
 Master/Slave Set: galera-master [galera]
 Masters: [ pod2-stack-controller-0 pod2-stack-controller-1 pod2-stack-controller-2 ]
 ip-192.200.0.110(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-1
 ip-11.120.0.44(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-2
 ip-11.118.0.49(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-2
 Clone Set: rabbitmq-clone [rabbitmq]
 Started: [ pod2-stack-controller-0 pod2-stack-controller-1 pod2-stack-controller-2 ]
 ip-10.225.247.214(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-1
 Master/Slave Set: redis-master [redis]
 Masters: [ pod2-stack-controller-2 ]
 Slaves: [ pod2-stack-controller-1 ]
 Stopped: [ pod2-stack-controller-0 ]
 ip-11.119.0.49(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-2
 openstack-cinder-volume(systemd:openstack-cinder-volume):Started pod2-stack-controller-1

Daemon Status:
 corosync: active/enabled
 pacemaker: active/enabled
 pcsd: active/enabled           

Además, el estado de pcs en los otros 2 controladores debe mostrar el nodo como en espera.

Reemplazar componente defectuoso del nodo del controlador

Apague el servidor especificado. Los pasos para reemplazar un componente defectuoso en el servidor UCS C240 M4 se pueden derivar de:

Sustitución de los componentes del servidor

Servidor de encendido

• Encienda el servidor y verifique que el servidor aparezca:

[stack@director ~]$ source stackrc
[stack@director ~]$ nova list 
+--------------------------------------+--------------------------+--------+------------+-------------+------------------------+
| ID | Name | Status | Task State | Power State | Networks |
+--------------------------------------+--------------------------+--------+------------+-------------+------------------------+
| 03f15071-21aa-4bcf-8fdd-acdbde305168 | pod2-stack-compute-0 | ACTIVE | - | Running | ctlplane=192.200.0.106 |
| 1f725ce3-948d-49e9-aed9-b99e73d82644 | pod2-stack-compute-1 | ACTIVE | - | Running | ctlplane=192.200.0.107 |
| fbc13c78-dc06-4ac9-a3c5-595ccc147adc | pod2-stack-compute-2 | ACTIVE | - | Running | ctlplane=192.200.0.119 |
| 3b94e0b1-47dc-4960-b3eb-d02ffe9ae693 | pod2-stack-compute-3 | ACTIVE | - | Running | ctlplane=192.200.0.112 |
| 5dbac94d-19b9-493e-a366-1e2e2e5e34c5 | pod2-stack-compute-4 | ACTIVE | - | Running | ctlplane=192.200.0.116 |
| b896c73f-d2c8-439c-bc02-7b0a2526dd70 | pod2-stack-controller-0 | ACTIVE | - | Running | ctlplane=192.200.0.113 |
| 2519ce67-d836-4e5f-a672-1a915df75c7c | pod2-stack-controller-1 | ACTIVE | - | Running | ctlplane=192.200.0.105 |
| e19b9625-5635-4a52-a369-44310f3e6a21 | pod2-stack-controller-2 | ACTIVE | - | Running | ctlplane=192.200.0.120 |
| 6810c884-1cb9-4321-9a07-192443920f1f | pod2-stack-osd-compute-0 | ACTIVE | - | Running | ctlplane=192.200.0.109 |
| 26d3f7b1-ba97-431f-aa6e-ba91661db45d | pod2-stack-osd-compute-1 | ACTIVE | - | Running | ctlplane=192.200.0.117 |
| 6e4a8aa9-4870-465a-a7e2-0932ff55e34b | pod2-stack-osd-compute-2 | ACTIVE | - | Running | ctlplane=192.200.0.103 |
+--------------------------------------+--------------------------+--------+------------+-------------+------------------------+

• Inicie sesión en el controlador afectado, quite el modo en espera con el uso de unstandby. Verifique que el controlador se conecta con el clúster y que Galera muestra los tres controladores como maestro. Esto puede tardar unos minutos:

[heat-admin@pod2-stack-controller-0 ~]$ sudo pcs cluster unstandby

[heat-admin@pod2-stack-controller-0 ~]$ sudo pcs status
Cluster name: tripleo_cluster
Stack: corosync
Current DC: pod2-stack-controller-2 (version 1.1.15-11.el7_3.4-e174ec8) - partition with quorum
Last updated: Fri Jul 6 09:03:37 2018Last change: Fri Jul 6 09:03:35 2018 by root via crm_attribute on pod2-stack-controller-0

3 nodes and 19 resources configured

Online: [ pod2-stack-controller-0 pod2-stack-controller-1 pod2-stack-controller-2 ]

Full list of resources:

 ip-11.120.0.49(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-1
 Clone Set: haproxy-clone [haproxy]
 Started: [ pod2-stack-controller-0 pod2-stack-controller-1 pod2-stack-controller-2 ]
 Master/Slave Set: galera-master [galera]
 Masters: [ pod2-stack-controller-1 pod2-stack-controller-2 ]
 Slaves: [ pod2-stack-controller-0 ]
 ip-192.200.0.110(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-1
 ip-11.120.0.44(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-2
 ip-11.118.0.49(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-2
 Clone Set: rabbitmq-clone [rabbitmq]
 Started: [ pod2-stack-controller-1 pod2-stack-controller-2 ]
 Stopped: [ pod2-stack-controller-0 ]
 ip-10.225.247.214(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-1
 Master/Slave Set: redis-master [redis]
 Masters: [ pod2-stack-controller-2 ]
 Slaves: [ pod2-stack-controller-0 pod2-stack-controller-1 ]
 ip-11.119.0.49(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-2
 openstack-cinder-volume(systemd:openstack-cinder-volume):Started pod2-stack-controller-1

Daemon Status:
 corosync: active/enabled
 pacemaker: active/enabled
 pcsd: active/enabled

• Puede verificar algunos de los servicios de supervisión como ceph que se encuentran en estado saludable:

[heat-admin@pod2-stack-controller-0 ~]$ sudo ceph -s
   cluster eb2bb192-b1c9-11e6-9205-525400330666
 health HEALTH_OK
 monmap e1: 3 mons at {pod2-stack-controller-0=11.118.0.10:6789/0,pod2-stack-controller-1=11.118.0.11:6789/0,pod2-stack-controller-2=11.118.0.12:6789/0}
 election epoch 10, quorum 0,1,2 pod2-stack-controller-0,pod2-stack-controller-1,pod2-stack-controller-2
 osdmap e81: 12 osds: 12 up, 12 in
 flags sortbitwise,require_jewel_osds
 pgmap v22844355: 704 pgs, 6 pools, 804 GB data, 423 kobjects
 2404 GB used, 10989 GB / 13393 GB avail
 704 active+clean
 client io 3658 kB/s wr, 0 op/s rd, 502 op/s wr