Contenu

Introduction

Informations générales

Abréviations

Flux de travail de MoP

Conditions préalables

Sauvegarde

RMA de composant - Noeud de calcul

Identifier les machines virtuelles hébergées dans le noeud de calcul

1. Arrêt de l'application CPAR

2. Tâche de capture instantanée de VM

Instantané VM

Mise hors tension gracieuse

Remplacer le composant défectueux du noeud de calcul

Restaurer les machines virtuelles

Récupérer une instance avec un snapshot

Créer et attribuer une adresse IP flottante

Activer SSH

Établir une session SSH

RMA de composant - Noeud de calcul OSD

Identifier les machines virtuelles hébergées dans le noeud OSD-Compute

1. Arrêt de l'application CPAR

2. Tâche de capture instantanée de VM

Instantané VM

Mettre CEPH en mode maintenance

Mise hors tension gracieuse

Remplacer le composant défectueux du noeud de calcul OSD

Déplacer le CEPH hors du mode de maintenance

Restaurer les machines virtuelles

Récupérer une instance avec un snapshot

RMA de composant - Noeud de contrôleur

Vérification préalable

Déplacer le cluster du contrôleur en mode maintenance

Remplacer le composant défectueux du noeud contrôleur

Serveur d'alimentation

Introduction

Ce document décrit les étapes requises pour remplacer les composants défectueux mentionnés ici dans un serveur Unified Computing System (UCS) dans une configuration Ultra-M.

Cette procédure s'applique à un environnement Openstack avec l'utilisation de la version NEWTON où ESC ne gère pas CPAR et CPAR est installé directement sur la machine virtuelle déployée sur Openstack.

- Module de mémoire DIMM (Dual In-line Memory Module) de remplacement

- Défaillance du contrôleur FlexFlash

- Défaillance du disque dur SSD (Solid State Drive)

- Défaillance du module de plateforme sécurisée (TPM)

- Échec du cache RAID

- Panne du contrôleur RAID/adaptateur HBA (Hot Bus Adapter)

- Panne de montage PCI

- Carte PCIe Intel X520 10G en panne

- Défaillance de la carte mère LAN-on modulaire (MLOM)

- Unité de ventilation RMA

- Défaillance du processeur

Informations générales

Ultra-M est une solution de coeur de réseau de paquets mobiles virtualisés prépackagée et validée conçue pour simplifier le déploiement des VNF. OpenStack est le gestionnaire d'infrastructure virtualisée (VIM) pour Ultra-M et comprend les types de noeuds suivants :

- Calcul

- Disque de stockage d'objets - Calcul (OSD - Calcul)

- Contrôleur

- Plate-forme OpenStack - Director (OSPD)

L'architecture de haut niveau d'Ultra-M et les composants impliqués sont représentés dans cette image :

Ce document est destiné au personnel de Cisco qui connaît la plate-forme Cisco Ultra-M et décrit en détail les étapes à suivre dans les systèmes d'exploitation OpenStack et Redhat.

Note: La version Ultra M 5.1.x est prise en compte afin de définir les procédures de ce document.

Abréviations

MoP

Méthode de procédure

OSD

Disques de stockage d'objets

OSPD

OpenStack Platform Director

HDD

Disque dur

SSD

Disque dur SSD

VIM

Gestionnaire d'infrastructure virtuelle

VM

Machine virtuelle

EM

Gestionnaire d'éléments

UAS

Services d’automatisation ultra

UUID

Identificateur unique

Flux de travail de MoP

Conditions préalables

Sauvegarde

Avant de remplacer un composant défectueux, il est important de vérifier l'état actuel de votre environnement Red Hat OpenStack Platform. Il est recommandé de vérifier l'état actuel afin d'éviter les complications lorsque le processus de remplacement est activé. Il peut être atteint par ce flux de remplacement.

En cas de récupération, Cisco recommande d'effectuer une sauvegarde de la base de données OSPD en procédant comme suit :

[root@director ~]# mysqldump --opt --all-databases > /root/undercloud-all-databases.sql

[root@director ~]# tar --xattrs -czf undercloud-backup-`date +%F`.tar.gz /root/undercloud-all-databases.sql

/etc/my.cnf.d/server.cnf /var/lib/glance/images /srv/node /home/stack

tar: Removing leading `/' from member names

Ce processus garantit qu'un noeud peut être remplacé sans affecter la disponibilité d'instances. Il est également recommandé de sauvegarder la configuration StarOS, en particulier si le noeud de calcul de calcul/OSD à remplacer héberge la machine virtuelle de fonction de contrôle (CF).

Note: Si le serveur est le noeud Contrôleur, passez à la section "« , sinon passez à la section suivante. Assurez-vous que vous disposez de l'instantané de l'instance afin de pouvoir restaurer la machine virtuelle si nécessaire. Suivez la procédure pour prendre un instantané de la machine virtuelle.

RMA de composant - Noeud de calcul

Identifier les machines virtuelles hébergées dans le noeud de calcul

Identifiez les machines virtuelles hébergées sur le serveur.

[stack@al03-pod2-ospd ~]$ nova list --field name,host

+--------------------------------------+---------------------------+----------------------------------+

| ID                                   | Name                      | Host                             |

+--------------------------------------+---------------------------+----------------------------------+

| 46b4b9eb-a1a6-425d-b886-a0ba760e6114 | AAA-CPAR-testing-instance | pod2-stack-compute-4.localdomain |

| 3bc14173-876b-4d56-88e7-b890d67a4122 | aaa2-21                   | pod2-stack-compute-3.localdomain |

| f404f6ad-34c8-4a5f-a757-14c8ed7fa30e | aaa21june                 | pod2-stack-compute-3.localdomain |

+--------------------------------------+---------------------------+----------------------------------+

Note: Dans le résultat présenté ici, la première colonne correspond à l'UUID, la deuxième colonne correspond au nom de la machine virtuelle et la troisième colonne correspond au nom d'hôte où la machine virtuelle est présente. Les paramètres de cette sortie seront utilisés dans les sections suivantes.

Sauvegarde : PROCESSUS DE SNAPSHOT

1. Arrêt de l'application CPAR

Étape 1. Ouvrez tout client SSH connecté au réseau de production TMO et connectez-vous à l'instance CPAR.

Il est important de ne pas arrêter les 4 instances AAA d'un site en même temps, le faire une par une.

Étape 2. Pour arrêter l'application CPAR, exécutez la commande suivante :

/opt/CSCOar/bin/arserver stop

Un message “ l'Agent Cisco Prime Access Registrar Server s'est arrêté. ” doit venir.

Note: Si un utilisateur a laissé une session CLI ouverte, la commande arserver stop ne fonctionnera pas et ce message s'affiche :

ERROR:    You cannot shut down Cisco Prime Access Registrar while the

CLI is being used.   Current list of running

CLI with process id is:

2903 /opt/CSCOar/bin/aregcmd –s

Dans cet exemple, l'ID de processus mis en surbrillance 2903 doit être terminé avant que CPAR puisse être arrêté. Si c'est le cas, terminez ce processus en exécutant la commande :

kill -9 *process_id*

Répétez ensuite l'étape 1.

Étape 3. Afin de vérifier que l'application CPAR a bien été arrêtée, exécutez la commande :

/opt/CSCOar/bin/arstatus

Ces messages doivent apparaître :

Cisco Prime Access Registrar Server Agent not running

Cisco Prime Access Registrar GUI not running

2. Tâche de capture instantanée de VM

Étape 1. Saisissez le site Web de l'interface graphique d'Horizon correspondant au site (ville) sur lequel vous travaillez actuellement.

Lorsque vous accédez à Horizon, cet écran est observé.

Étape 2. Accédez à Project > Instances comme indiqué dans cette image.

Si l'utilisateur utilisé était cpar, seules les 4 instances AAA apparaissent dans ce menu.

Étape 3. Arrêtez une seule instance à la fois, répétez l'ensemble du processus de ce document. Afin d'arrêter la machine virtuelle, accédez à Actions > Arrêter l'instance comme indiqué dans cette image et confirmez votre sélection.

Étape 4. Vérifiez que l'instance a bien été arrêtée en vérifiant l'état = Arrêt et l'état d'alimentation = Arrêt comme illustré dans cette image.

Cette étape met fin au processus d'arrêt CPAR.

Instantané VM

Une fois les machines virtuelles CPAR hors service, les snapshots peuvent être pris en parallèle, car ils appartiennent à des ordinateurs indépendants.

Les quatre fichiers QCOW2 sont créés en parallèle.

Prenez un instantané de chaque instance AAA (25 minutes -1 heure) (25 minutes pour les instances qui utilisent une image qcow comme source et 1 heure pour les instances qui utilisent une image brute comme source)

1. Connectez-vous à l'interface utilisateur graphique Horizon d'Openstack du POD.

2. Une fois connecté, accédez à la section PROJECT > COMPUTE > INSTANCES du menu supérieur et recherchez les instances AAA comme indiqué dans cette image.

3. Cliquez sur Créer un snapshot afin de poursuivre la création du snapshot (il doit être exécuté sur l'instance AAA correspondante) comme indiqué dans cette image.

4. Une fois l'instantané exécuté, accédez au menu Images et vérifiez que tout se termine et ne signale aucun problème comme indiqué dans cette image.

5. L'étape suivante consiste à télécharger l'instantané au format QCOW2 et à le transférer à une entité distante, au cas où l'OSPD serait perdu au cours de ce processus. Pour ce faire, identifiez le snapshot en exécutant la commande glance image-list au niveau OSPD.

[root@elospd01 stack]# glance image-list

+--------------------------------------+---------------------------+

| ID                                   | Name                      |             +--------------------------------------+---------------------------+

| 80f083cb-66f9-4fcf-8b8a-7d8965e47b1d | AAA-Temporary             |             | 22f8536b-3f3c-4bcc-ae1a-8f2ab0d8b950 | ELP1 cluman 10_09_2017    |

| 70ef5911-208e-4cac-93e2-6fe9033db560 | ELP2 cluman 10_09_2017    |

| e0b57fc9-e5c3-4b51-8b94-56cbccdf5401 | ESC-image                 |

| 92dfe18c-df35-4aa9-8c52-9c663d3f839b | lgnaaa01-sept102017       |

| 1461226b-4362-428b-bc90-0a98cbf33500 | tmobile-pcrf-13.1.1.iso   |

| 98275e15-37cf-4681-9bcc-d6ba18947d7b | tmobile-pcrf-13.1.1.qcow2 |

+--------------------------------------+---------------------------+

6. Une fois l'instantané à télécharger (celui marqué en vert) identifié, vous pouvez le télécharger au format QCOW2 avec la commande glance image-download comme illustré ici.

[root@elospd01 stack]# glance image-download 92dfe18c-df35-4aa9-8c52-9c663d3f839b --file /tmp/AAA-CPAR-LGNoct192017.qcow2 &

- Le & envoie le processus en arrière-plan. Cette action peut prendre un certain temps, une fois terminée, l'image peut se trouver dans le répertoire /tmp.

- Lors de l'envoi du processus en arrière-plan , si la connectivité est perdue, le processus est également arrêté.

- Exécutez la commande disown -h afin que, en cas de perte de connexion SSH, le processus continue à s'exécuter et se termine sur l'OSPD.

7. Une fois le processus de téléchargement terminé, un processus de compression doit être exécuté car ce snapshot peut être rempli de ZEROES en raison de processus, de tâches et de fichiers temporaires gérés par le système d'exploitation (OS). La commande à utiliser pour la compression de fichiers est virt-sparsify.

[root@elospd01 stack]# virt-sparsify AAA-CPAR-LGNoct192017.qcow2 AAA-CPAR-LGNoct192017_compressed.qcow2

Ce processus peut prendre un certain temps (environ 10 à 15 minutes). Une fois terminé, le fichier résultant est celui qui doit être transféré à une entité externe comme spécifié à l'étape suivante.

Pour ce faire, vous devez vérifier l'intégrité du fichier. Exécutez la commande suivante et recherchez l'attribut ” corrompu “ à la fin de sa sortie.

[root@wsospd01 tmp]# qemu-img info AAA-CPAR-LGNoct192017_compressed.qcow2

image: AAA-CPAR-LGNoct192017_compressed.qcow2

file format: qcow2

virtual size: 150G (161061273600 bytes)

disk size: 18G

cluster_size: 65536

Format specific information:

compat: 1.1

lazy refcounts: false

refcount bits: 16

corrupt: false

- Afin d'éviter un problème de perte de l'OSPD, l'instantané récemment créé au format QCOW2 doit être transféré à une entité externe. Avant de commencer le transfert de fichiers, vous devez vérifier si la destination a suffisamment d'espace disque disponible, utilisez la commande df -kh afin de vérifier l'espace mémoire. Un conseil est de le transférer temporairement à l'OSPD d'un autre site avec l'utilisation de SFTP sftproot@x.x.x.x où x.x.x.x est l'IP d'un OSPD distant. Afin d'accélérer le transfert, la destination peut être envoyée à plusieurs OSPD. De la même manière, vous pouvez exécuter la commande scp *name_of_the_file*.qcow2 root@ x.x.x.x:/tmp (où x.x.x.x est l'adresse IP d'un OSPD distant) afin de transférer le fichier vers un autre OSPD.

Mise hors tension gracieuse

- Noeud de mise hors tension

1. Afin de mettre l'instance hors tension : nova stop <NOM_INSTANCE>

2. Vous pouvez voir le nom de l'instance avec l'arrêt de l'état.

[stack@director ~]$ nova stop  aaa2-21

Request to stop server aaa2-21 has been accepted.

[stack@director ~]$ nova list

+--------------------------------------+---------------------------+---------+------------+-------------+------------------------------------------------------------------------------------------------------------+

| ID                                   | Name                      | Status  | Task State | Power State | Networks                                                                                                   |

+--------------------------------------+---------------------------+---------+------------+-------------+------------------------------------------------------------------------------------------------------------+

| 46b4b9eb-a1a6-425d-b886-a0ba760e6114 | AAA-CPAR-testing-instance | ACTIVE  | -          | Running     | tb1-mgmt=172.16.181.14, 10.225.247.233; radius-routable1=10.160.132.245; diameter-routable1=10.160.132.231 |

| 3bc14173-876b-4d56-88e7-b890d67a4122 | aaa2-21                   | SHUTOFF | -          | Shutdown    | diameter-routable1=10.160.132.230; radius-routable1=10.160.132.248; tb1-mgmt=172.16.181.7, 10.225.247.234  |

| f404f6ad-34c8-4a5f-a757-14c8ed7fa30e | aaa21june                 | ACTIVE  | -          | Running     | diameter-routable1=10.160.132.233; radius-routable1=10.160.132.244; tb1-mgmt=172.16.181.10                 |

+--------------------------------------+---------------------------+---------+------------+-------------+------------------------------------------------------------------------------------------------------------+

Remplacer le composant défectueux du noeud de calcul

Mettez le serveur spécifié hors tension. Pour remplacer un composant défectueux sur le serveur UCS C240 M4, procédez comme suit :

Remplacement des composants du serveur

Restaurer les machines virtuelles

Récupérer une instance avec un snapshot

Processus de récupération

Il est possible de redéployer l'instance précédente avec l'instantané effectué lors des étapes précédentes.

Étape 1. [Facultatif] S'il n'y a pas d'instantané de machine virtuelle précédent disponible, connectez-vous au noeud OSPD où la sauvegarde a été envoyée et redirigez la sauvegarde vers son noeud OSPD d'origine. Avec sftproot@x.x.x.x où x.x.x.x est l'adresse IP d'un OSPD d'origine. Enregistrez le fichier d'instantané dans le répertoire /tmp.

Étape 2. Connectez-vous au noeud OSPD où l'instance peut être redéployée, comme illustré dans l'image.

Source des variables d'environnement avec cette commande :

# source /home/stack/pod1-stackrc-Core-CPAR

Étape 3. Pour utiliser l'instantané comme image, il est nécessaire de le télécharger sur l'horizon en tant que tel. Exécutez la commande suivante pour cela.

#glance image-create -- AAA-CPAR-Date-snapshot.qcow2 --container-format bare --disk-format qcow2 --name AAA-CPAR-Date-snapshot

Le processus est visible dans l'horizon et comme le montre cette image.

Étape 4. Dans Horizon, accédez à Project > Instances et cliquez sur Lancer l'instance comme indiqué dans cette image.

Étape 5. Entrez le nom de l'instance et choisissez la zone de disponibilité comme indiqué dans cette image.

Étape 6. Dans l'onglet Source, sélectionnez l'image afin de créer l'instance. Dans le menu Sélectionner la source de démarrage sélectionnez image, une liste d'images s'affiche, choisissez celle qui a été précédemment téléchargée en cliquant sur son +signe et comme indiqué dans cette image.

Étape 7. Dans l'onglet Saveur, choisissez la saveur AAA en cliquant sur le + signe tel qu'indiqué dans cette image.

Étape 8. Enfin, accédez à l'onglet Réseau et choisissez les réseaux dont l'instance aura besoin en cliquant sur le signe +. Dans ce cas, sélectionnez diamètre-soutable1, radius-routable1 et tb1-mgmt comme indiqué dans cette image.

Enfin, cliquez sur Lancer l'instance afin de la créer. Les progrès peuvent être suivis dans Horizon :

Au bout de quelques minutes, l'instance est entièrement déployée et prête à être utilisée, comme l'illustre cette image.

Créer et attribuer une adresse IP flottante

Une adresse IP flottante est une adresse routable, ce qui signifie qu'elle est accessible depuis l'extérieur de l'architecture Ultra M/Openstack et qu'elle peut communiquer avec d'autres noeuds du réseau.

Étape 1. Dans le menu supérieur Horizon, accédez à Admin > Floating IPs.

Étape 2. Cliquez sur Allouer IP au projet.

Étape 3. Dans la fenêtre Allouer une adresse IP flottante, sélectionnez le pool auquel appartient la nouvelle adresse IP flottante, le projet où elle sera affectée et la nouvelle adresse IP flottante elle-même.

Exemple :

Étape 4. Cliquez sur le bouton Allouer une adresse IP flottante.

Étape 5. Dans le menu supérieur Horizon, accédez à Project > Instances.

Étape 6. Dans la colonne Action, cliquez sur la flèche pointant vers le bas dans le bouton Créer un instantané, un menu s'affiche. Sélectionnez l'option Associer une adresse IP flottante.

Étape 7. Sélectionnez l'adresse IP flottante correspondante à utiliser dans le champ Adresse IP, puis choisissez l'interface de gestion correspondante (eth0) dans la nouvelle instance où cette adresse IP flottante sera attribuée dans le port à associer. Reportez-vous à l'image suivante comme exemple de cette procédure.

Étape 8. Enfin, cliquez sur Associer.

Activer SSH

Étape 1. Dans le menu supérieur Horizon, accédez à Project > Instances.

Étape 2. Cliquez sur le nom de l'instance/de la machine virtuelle créée dans la section Lancer une nouvelle instance.

Étape 3. Cliquez sur l'onglet Console. L'interface de ligne de commande de la machine virtuelle s'affiche.

Étape 4. Une fois l'interface de ligne de commande affichée, saisissez les informations d'identification de connexion appropriées, comme indiqué dans l'image :

Nom d'utilisateur : racine

Mot de passe : cisco123

Étape 5. Dans l'interface de ligne de commande, exécutez la commande vi /etc/ssh/sshd_config afin de modifier la configuration SSH.

Étape 6. Une fois le fichier de configuration SSH ouvert, appuyez sur I pour modifier le fichier. Recherchez ensuite la section et modifiez la première ligne de PasswordAuthentication no à PasswordAuthentication yes comme indiqué dans cette image.

Étape 7. Appuyez sur Échap et exécutez :wq! afin d'enregistrer les modifications de fichier sshd_config.

Étape 8. Exécutez la commande service sshd restart comme indiqué dans l'image.

Étape 9. Afin de tester les modifications de configuration SSH ont été correctement appliquées, ouvrez n'importe quel client SSH et essayez d'établir une connexion sécurisée à distance à l'aide de l'adresse IP flottante attribuée à l'instance (c'est-à-dire 10.145.0.249) et de la racine utilisateur comme indiqué dans l'image.

Établir une session SSH

Étape 1. Ouvrez une session SSH avec l'adresse IP de la machine virtuelle/serveur correspondante sur laquelle l'application est installée, comme illustré dans l'image.

Début de l'instance CPAR

Suivez ces étapes, une fois l'activité terminée et que les services CPAR peuvent être rétablis sur le site qui a été arrêté.

Étape 1. Revenez à Horizon, accédez à Project > Instance > Start Instance

Étape 2. Vérifiez que l'état de l'instance est Actif et que l'état d'alimentation est En cours d'exécution comme indiqué dans cette image.

9. Vérification de l'intégrité après activité

Étape 1. Exécutez la commande /opt/CSCOar/bin/arstatus au niveau du système d'exploitation :

[root@wscaaa04 ~]# /opt/CSCOar/bin/arstatus

Cisco Prime AR RADIUS server running       (pid: 24834)

Cisco Prime AR Server Agent running        (pid: 24821)

Cisco Prime AR MCD lock manager running    (pid: 24824)

Cisco Prime AR MCD server running          (pid: 24833)

Cisco Prime AR GUI running                 (pid: 24836)

SNMP Master Agent running                (pid: 24835)

[root@wscaaa04 ~]#

Étape 2. Exécutez la commande /opt/CSCOar/bin/aregcmd au niveau du système d'exploitation et saisissez les informations d'identification de l'administrateur. Vérifiez que l'intégrité CPAR est 10 sur 10 et quittez l'interface CLI CPAR.

[root@aaa02 logs]# /opt/CSCOar/bin/aregcmd

Cisco Prime Access Registrar 7.3.0.1 Configuration Utility

Copyright (C) 1995-2017 by Cisco Systems, Inc.  All rights reserved.

Cluster:

User: admin

Passphrase:

Logging in to localhost

[ //localhost ]

LicenseInfo = PAR-NG-TPS 7.2(100TPS:)

PAR-ADD-TPS 7.2(2000TPS:)

PAR-RDDR-TRX 7.2()

PAR-HSS 7.2()

Radius/

Administrators/

Server 'Radius' is Running, its health is 10 out of 10

--> exit

Étape 3. Exécutez la commande netstat | grand diamètre et vérifiez que toutes les connexions DRA sont établies.

Le résultat mentionné ici est pour un environnement où des liaisons de diamètre sont attendues. Si moins de liens sont affichés, cela représente une déconnexion du DRA qui doit être analysée.

[root@aa02 logs]# netstat | grep diameter

tcp         0            0 aaa02.aaa.epc.:77 mp1.dra01.d:diameter ESTABLISHED

tcp         0            0 aaa02.aaa.epc.:36 tsa6.dra01:diameter ESTABLISHED

tcp         0            0 aaa02.aaa.epc.:47 mp2.dra01.d:diameter ESTABLISHED

tcp         0            0 aaa02.aaa.epc.:07 tsa5.dra01:diameter ESTABLISHED

tcp         0            0 aaa02.aaa.epc.:08 np2.dra01.d:diameter ESTABLISHED

Étape 4. Vérifiez que le journal TPS affiche les demandes traitées par CPAR. Les valeurs mises en évidence représentent le TPS et celles-ci sont celles auxquelles vous devez prêter attention.

La valeur de TPS ne doit pas dépasser 1 500.

[root@wscaaa04 ~]# tail -f /opt/CSCOar/logs/tps-11-21-2017.csv

11-21-2017,23:57:35,263,0

11-21-2017,23:57:50,237,0

11-21-2017,23:58:05,237,0

11-21-2017,23:58:20,257,0

11-21-2017,23:58:35,254,0

11-21-2017,23:58:50,248,0

11-21-2017,23:59:05,272,0

11-21-2017,23:59:20,243,0

11-21-2017,23:59:35,244,0

11-21-2017,23:59:50,233,0

Étape 5. Recherchez tous les messages de ” d'erreur “ ou de ” d'alarme “ dans name_radius_1_log

[root@aaa02 logs]# grep -E "error|alarm" name_radius_1_log

Étape 6. Vérifiez la quantité de mémoire utilisée par le processus CPAR en exécutant la commande :

top | grep radius

[root@sfraaa02 ~]# top | grep radius

27008 root      20   0 20.228g 2.413g  11408 S 128.3  7.7   1165:41 radius

Cette valeur mise en surbrillance doit être inférieure à 7 Go, ce qui correspond au maximum autorisé au niveau de l'application.

RMA de composant - Noeud de calcul OSD

Identifier les machines virtuelles hébergées dans le noeud OSD-Compute

Identifiez les machines virtuelles hébergées sur le serveur OSD-Compute.

[stack@director ~]$ nova list --field name,host | grep osd-compute-0

| 46b4b9eb-a1a6-425d-b886-a0ba760e6114 | AAA-CPAR-testing-instance | pod2-stack-compute-4.localdomain |

Note: Dans le résultat présenté ici, la première colonne correspond à l'UUID, la deuxième colonne correspond au nom de la machine virtuelle et la troisième colonne correspond au nom d'hôte où la machine virtuelle est présente. Les paramètres de cette sortie seront utilisés dans les sections suivantes.

Sauvegarde : PROCESSUS DE SNAPSHOT

1. Arrêt de l'application CPAR

Étape 1. Ouvrez tout client SSH connecté au réseau de production TMO et connectez-vous à l'instance CPAR.

Il est important de ne pas arrêter les 4 instances AAA d'un site en même temps, le faire une par une.

Étape 2. Pour arrêter l'application CPAR, exécutez la commande suivante :

/opt/CSCOar/bin/arserver stop

Un message “ l'Agent Cisco Prime Access Registrar Server s'est arrêté. ” doit venir.

Note: Si un utilisateur a laissé une session CLI ouverte, la commande arserver stop ne fonctionnera pas et ce message s'affiche :

ERROR:    You cannot shut down Cisco Prime Access Registrar while the

CLI is being used.   Current list of running

CLI with process id is:

2903 /opt/CSCOar/bin/aregcmd –s

Dans cet exemple, l'ID de processus mis en surbrillance 2903 doit être terminé avant que CPAR puisse être arrêté. Si c'est le cas, terminez le processus en exécutant la commande :

kill -9 *process_id*

Répétez ensuite l'étape 1.

Étape 3. Vérifiez que l'application CPAR a bien été arrêtée en exécutant la commande :

/opt/CSCOar/bin/arstatus

Ces messages doivent apparaître :

Cisco Prime Access Registrar Server Agent not running

Cisco Prime Access Registrar GUI not running

2. Tâche de capture instantanée de VM

Étape 1. Saisissez le site Web de l'interface graphique d'Horizon correspondant au site (ville) sur lequel vous travaillez actuellement.

Lorsque vous accédez à Horizon, cet écran peut être observé.

Étape 2. Accédez à Project > Instances comme indiqué dans cette image.

Si l'utilisateur utilisé était CPAR, seules les 4 instances AAA peuvent apparaître dans ce menu.

Étape 3. Arrêtez une seule instance à la fois, répétez l'ensemble du processus de ce document. Afin d'arrêter la machine virtuelle, accédez à Actions > Arrêter l'instance comme indiqué dans l'image et confirmez votre sélection.

Étape 4. Vérifiez que l'instance a bien été arrêtée en vérifiant l'état = Arrêt et l'état d'alimentation = Arrêt comme indiqué dans l'image.

Cette étape met fin au processus d'arrêt CPAR.

Instantané VM

Une fois les machines virtuelles CPAR hors service, les snapshots peuvent être pris en parallèle, car ils appartiennent à des ordinateurs indépendants.

Les quatre fichiers QCOW2 sont créés en parallèle.

Prenez un instantané de chaque instance AAA. (25 minutes -1 heure) (25 minutes pour les instances qui utilisent une image qcow comme source et 1 heure pour les instances qui utilisent une image brute comme source)

1. Connectez-vous à l'interface utilisateur graphique Horizon de POD

2. Une fois connecté, accédez à la section Project > Compute > Instances du menu supérieur et recherchez les instances AAA comme indiqué dans cette image.

3. Cliquez sur Create Snapshot afin de poursuivre la création de clichés (qui doit être exécutée sur l'instance AAA correspondante) comme indiqué dans l'image.

4. Une fois l'instantané exécuté, accédez au menu Images et vérifiez que tout se termine et ne signalez aucun problème tel qu'il apparaît dans cette image.

5.L'étape suivante consiste à télécharger l'instantané au format QCOW2 et à le transférer à une entité distante, en cas de perte de l'OSPD au cours de ce processus. Pour ce faire, identifiez le snapshot en exécutant la commande glance image-list au niveau OSPD.

[root@elospd01 stack]# glance image-list

+--------------------------------------+---------------------------+

| ID                                   | Name                      |             +--------------------------------------+---------------------------+

| 80f083cb-66f9-4fcf-8b8a-7d8965e47b1d | AAA-Temporary             |             | 22f8536b-3f3c-4bcc-ae1a-8f2ab0d8b950 | ELP1 cluman 10_09_2017    |

| 70ef5911-208e-4cac-93e2-6fe9033db560 | ELP2 cluman 10_09_2017    |

| e0b57fc9-e5c3-4b51-8b94-56cbccdf5401 | ESC-image                 |

| 92dfe18c-df35-4aa9-8c52-9c663d3f839b | lgnaaa01-sept102017       |

| 1461226b-4362-428b-bc90-0a98cbf33500 | tmobile-pcrf-13.1.1.iso   |

| 98275e15-37cf-4681-9bcc-d6ba18947d7b | tmobile-pcrf-13.1.1.qcow2 |

+--------------------------------------+---------------------------+

6. Une fois l'instantané à télécharger (celui marqué en vert) identifié, vous pouvez le télécharger au format QCOW2 avec la commande glance image-download comme illustré ici.

[root@elospd01 stack]# glance image-download 92dfe18c-df35-4aa9-8c52-9c663d3f839b --file /tmp/AAA-CPAR-LGNoct192017.qcow2 &

- Le & envoie le processus en arrière-plan. Cette action peut prendre un certain temps, une fois terminée, l'image peut se trouver dans le répertoire /tmp.

- Lors de l'envoi du processus en arrière-plan , si la connectivité est perdue, le processus est également arrêté.

- Exécutez la commande disown -h afin que, en cas de perte de connexion SSH, le processus continue à s'exécuter et se termine sur l'OSPD.

7. Une fois le processus de téléchargement terminé, un processus de compression doit être exécuté car ce snapshot peut être rempli de ZEROES en raison de processus, de tâches et de fichiers temporaires gérés par le système d'exploitation. La commande à utiliser pour la compression de fichiers est virt-sparsify.

[root@elospd01 stack]# virt-sparsify AAA-CPAR-LGNoct192017.qcow2 AAA-CPAR-LGNoct192017_compressed.qcow2

Ce processus peut prendre un certain temps (environ 10 à 15 minutes). Une fois terminé, le fichier résultant est celui qui doit être transféré à une entité externe comme spécifié à l'étape suivante.

Pour ce faire, vous devez vérifier l'intégrité du fichier. Exécutez la commande suivante et recherchez l'attribut ” corrompu “ à la fin de sa sortie.

[root@wsospd01 tmp]# qemu-img info AAA-CPAR-LGNoct192017_compressed.qcow2

image: AAA-CPAR-LGNoct192017_compressed.qcow2

file format: qcow2

virtual size: 150G (161061273600 bytes)

disk size: 18G

cluster_size: 65536

Format specific information:

compat: 1.1

lazy refcounts: false

refcount bits: 16

corrupt: false

- Afin d'éviter un problème de perte de l'OSPD, l'instantané récemment créé au format QCOW2 doit être transféré à une entité externe. Avant de commencer le transfert de fichiers, vous devez vérifier si la destination a suffisamment d'espace disque disponible, exécutez la commande df -khin afin de vérifier l'espace mémoire. Il est conseillé de le transférer temporairement à l'OSPD d'un autre site en utilisant SFTP sftproot@x.x.x.x où x.x.x.x est l'adresse IP d'un OSPD distant. Afin d'accélérer le transfert, la destination peut être envoyée à plusieurs OSPD. De la même manière, vous pouvez exécuter la commande scp *name_of_the_file*.qcow2 root@ x.x.x.x:/tmp (où x.x.x.x est l'adresse IP d'un OSPD distant) afin de transférer le fichier vers un autre OSPD.

Mettre CEPH en mode maintenance

Note: Si le composant défectueux doit être remplacé sur le noeud OSD-Compute, mettez la Ceph dans Maintenance sur le serveur avant de procéder au remplacement du composant.

- Vérifiez que l'état de l'arborescence des identificateurs de protocole de réception est actif sur le serveur.

[heat-admin@pod2-stack-osd-compute-0 ~]$ sudo ceph osd tree

ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY

-1 13.07996 root default

-2 4.35999 host pod2-stack-osd-compute-0

0 1.09000 osd.0 up 1.00000 1.00000

3 1.09000 osd.3 up 1.00000 1.00000

6 1.09000 osd.6 up 1.00000 1.00000

9 1.09000 osd.9 up 1.00000 1.00000

-3 4.35999 host pod2-stack-osd-compute-1

1 1.09000 osd.1 up 1.00000 1.00000

4 1.09000 osd.4 up 1.00000 1.00000

7 1.09000 osd.7 up 1.00000 1.00000

10 1.09000 osd.10 up 1.00000 1.00000

-4 4.35999 host pod2-stack-osd-compute-2

2 1.09000 osd.2 up 1.00000 1.00000

5 1.09000 osd.5 up 1.00000 1.00000

8 1.09000 osd.8 up 1.00000 1.00000

11 1.09000 osd.11 up 1.00000 1.00000

- Connectez-vous au noeud de calcul OSD et mettez CEPH en mode maintenance.

[root@pod2-stack-osd-compute-0 ~]# sudo ceph osd set norebalance

[root@pod2-stack-osd-compute-0 ~]# sudo ceph osd set noout

[root@pod2-stack-osd-compute-0 ~]# sudo ceph status

cluster eb2bb192-b1c9-11e6-9205-525400330666

health HEALTH_WARN

noout,norebalance,sortbitwise,require_jewel_osds flag(s) set

monmap e1: 3 mons at {pod2-stack-controller-0=11.118.0.10:6789/0,pod2-stack-controller-1=11.118.0.11:6789/0,pod2-stack-controller-2=11.118.0.12:6789/0}

election epoch 10, quorum 0,1,2 pod2-stack-controller-0,pod2-stack-controller-1,pod2-stack-controller-2

osdmap e79: 12 osds: 12 up, 12 in

flags noout,norebalance,sortbitwise,require_jewel_osds

pgmap v22844323: 704 pgs, 6 pools, 804 GB data, 423 kobjects

2404 GB used, 10989 GB / 13393 GB avail

704 active+clean

client io 3858 kB/s wr, 0 op/s rd, 546 op/s wr

Note: Lorsque CEPH est supprimé, le RAID HD VNF passe à l'état Dégradé, mais le disque dur doit toujours être accessible.

Mise hors tension gracieuse

- Noeud de mise hors tension

1. Afin de mettre l'instance hors tension : nova stop <NOM_INSTANCE>

2. Vous pouvez voir le nom de l'instance avec l'arrêt de l'état.

[stack@director ~]$ nova stop  aaa2-21

Request to stop server aaa2-21 has been accepted.

[stack@director ~]$ nova list

+--------------------------------------+---------------------------+---------+------------+-------------+------------------------------------------------------------------------------------------------------------+

| ID                                   | Name                      | Status  | Task State | Power State | Networks                                                                                                   |

+--------------------------------------+---------------------------+---------+------------+-------------+------------------------------------------------------------------------------------------------------------+

| 46b4b9eb-a1a6-425d-b886-a0ba760e6114 | AAA-CPAR-testing-instance | ACTIVE  | -          | Running     | tb1-mgmt=172.16.181.14, 10.225.247.233; radius-routable1=10.160.132.245; diameter-routable1=10.160.132.231 |

| 3bc14173-876b-4d56-88e7-b890d67a4122 | aaa2-21                   | SHUTOFF | -          | Shutdown    | diameter-routable1=10.160.132.230; radius-routable1=10.160.132.248; tb1-mgmt=172.16.181.7, 10.225.247.234  |

| f404f6ad-34c8-4a5f-a757-14c8ed7fa30e | aaa21june                 | ACTIVE  | -          | Running     | diameter-routable1=10.160.132.233; radius-routable1=10.160.132.244; tb1-mgmt=172.16.181.10                 |

+--------------------------------------+---------------------------+---------+------------+-------------+------------------------------------------------------------------------------------------------------------+

Remplacer le composant défectueux du noeud de calcul OSD

Mettez le serveur spécifié hors tension. Pour remplacer un composant défectueux sur le serveur UCS C240 M4, procédez comme suit :

Remplacement des composants du serveur

Déplacer le CEPH hors du mode de maintenance

- Connectez-vous au noeud de calcul OSD et déplacez CEPH hors du mode de maintenance.

[root@pod2-stack-osd-compute-0 ~]# sudo ceph osd unset norebalance

[root@pod2-stack-osd-compute-0 ~]# sudo ceph osd unset noout

[root@pod2-stack-osd-compute-0 ~]# sudo ceph status

cluster eb2bb192-b1c9-11e6-9205-525400330666

health HEALTH_OK

monmap e1: 3 mons at {pod2-stack-controller-0=11.118.0.10:6789/0,pod2-stack-controller-1=11.118.0.11:6789/0,pod2-stack-controller-2=11.118.0.12:6789/0}

election epoch 10, quorum 0,1,2 pod2-stack-controller-0,pod2-stack-controller-1,pod2-stack-controller-2

osdmap e81: 12 osds: 12 up, 12 in

flags sortbitwise,require_jewel_osds

pgmap v22844355: 704 pgs, 6 pools, 804 GB data, 423 kobjects

2404 GB used, 10989 GB / 13393 GB avail

704 active+clean

client io 3658 kB/s wr, 0 op/s rd, 502 op/s wr

Restaurer les machines virtuelles

Récupérer une instance avec un snapshot

Processus de récupération

Il est possible de redéployer l'instance précédente avec l'instantané effectué lors des étapes précédentes.

Étape 1. [FACULTATIF] S'il n'y a pas d'instantané de machine virtuelle précédent disponible, connectez-vous au noeud OSPD où la sauvegarde a été envoyée et redirigez la sauvegarde vers son noeud OSPD d'origine. En utilisant sftproot@x.x.x.x où x.x.x.x est l'adresse IP d'un OSPD d'origine. Enregistrez le fichier d'instantané dans le répertoire /tmp.

Étape 2. Connectez-vous au noeud OSPD où l'instance sera redéployée.

Source des variables d'environnement avec cette commande :

# source /home/stack/pod1-stackrc-Core-CPAR

Étape 3. Pour utiliser l'instantané comme image, il est nécessaire de le télécharger sur horizon en tant que tel. Exécutez la commande suivante pour cela.

#glance image-create -- AAA-CPAR-Date-snapshot.qcow2 --container-format bare --disk-format qcow2 --name AAA-CPAR-Date-snapshot

Le processus peut être vu à l'horizon.

Étape 4. Dans Horizon, accédez à Project > Instances et cliquez sur Lauch Instance comme illustré dans cette image.

Étape 5. Entrez le nom de l'instance et choisissez la zone de disponibilité comme indiqué dans l'image.

Étape 6. Dans l'onglet Source, choisissez l'image pour créer l'instance. Dans le menu Sélectionner la source de démarrage, sélectionnez Image, une liste d'images s'affiche, choisissez celle qui a été précédemment téléchargée par cliquer sur son signe +.

Étape 7. Dans l'onglet Flavor, choisissez la saveur AAA en cliquant sur le + signe.

Étape 8. Enfin, accédez à l'onglet Réseaux et choisissez les réseaux dont l'instance aura besoin en cliquant sur le signe +. Dans ce cas, sélectionnez diamètre-soutable1, radius-routable1 et tb1-mgmt comme indiqué dans cette image.

Enfin, cliquez sur Lancer l'instance pour la créer. Les progrès peuvent être suivis dans Horizon :

Après quelques minutes, l'instance sera complètement déployée et prête à être utilisée.

Créer et attribuer une adresse IP flottante

Une adresse IP flottante est une adresse routable, ce qui signifie qu'elle est accessible depuis l'extérieur de l'architecture Ultra M/Openstack et qu'elle peut communiquer avec d'autres noeuds du réseau.

Étape 1. Dans le menu supérieur Horizon, accédez à Admin > Floating IPs.

Étape 2. Cliquez sur Allouer IP au projet.

Étape 3. Dans la fenêtre Allouer une adresse IP flottante, sélectionnez le pool auquel appartient la nouvelle adresse IP flottante, le projet où elle sera attribuée et la nouvelle adresse IP flottante elle-même.

Exemple :

Étape 4. Cliquez sur Allouer IP flottante.

Étape 5. Dans le menu supérieur Horizon, accédez à Project > Instances.

Étape 6. Dans la colonne Action, cliquez sur la flèche pointant vers le bas dans le bouton Créer un instantané, un menu doit être affiché. Sélectionnez l'option Associer une adresse IP flottante.

Étape 7. Sélectionnez l'adresse IP flottante correspondante à utiliser dans le champ Adresse IP, puis choisissez l'interface de gestion correspondante (eth0) dans la nouvelle instance où cette adresse IP flottante sera attribuée dans le port à associer. Reportez-vous à l'image suivante comme exemple de cette procédure.

Étape 8. Enfin, cliquez sur Associer.

Activer SSH

Étape 1. Dans le menu supérieur Horizon, accédez à Project > Instances.

Étape 2. Cliquez sur le nom de l'instance/de la machine virtuelle créée dans la section Lancer une nouvelle instance.

Étape 3. Cliquez sur l'onglet Console. L'interface de ligne de commande de la machine virtuelle s'affiche.

Étape 4. Une fois l'interface de ligne de commande affichée, saisissez les informations d'identification de connexion appropriées, comme indiqué dans l'image :

Nom d'utilisateur : racine

Mot de passe : cisco123

Étape 5. Dans l'interface de ligne de commande, exécutez la commande vi /etc/ssh/sshd_config afin de modifier la configuration ssh.

Étape 6. Une fois le fichier de configuration ssh ouvert, appuyez sur I pour modifier le fichier. Recherchez ensuite cette section et modifiez la première ligne de PasswordAuthentication no à PasswordAuthentication yes.

Étape 7. Appuyez sur Échap et saisissez :wq!t pour enregistrer les modifications apportées au fichier sshd_config.

Étape 8. Exécutez la commande service sshd restart.

Étape 9. Afin de tester les modifications de configuration SSH ont été correctement appliquées, ouvrez n'importe quel client SSH et essayez d'établir une connexion sécurisée à distance en utilisant l'adresse IP flottante attribuée à l'instance (c'est-à-dire 10.145.0.249) et la racine utilisateur.

Établir une session SSH

Étape 1. Ouvrez une session SSH à l'aide de l'adresse IP de la machine virtuelle/serveur correspondante sur laquelle l'application est installée.

Début de l'instance CPAR

Suivez ces étapes, une fois l'activité terminée et que les services CPAR peuvent être rétablis sur le site qui a été arrêté.

Étape 1. Reconnectez-vous à Horizon, accédez à Project > Instance > Start Instance.

Étape 2. Vérifiez que l'état de l'instance est Actif et que l'état d'alimentation est En cours d'exécution comme indiqué dans l'image.

9. Vérification de l'intégrité après activité

Étape 1. Exécutez la commande /opt/CSCOar/bin/arstatus au niveau du système d'exploitation

[root@wscaaa04 ~]# /opt/CSCOar/bin/arstatus

Cisco Prime AR RADIUS server running       (pid: 24834)

Cisco Prime AR Server Agent running        (pid: 24821)

Cisco Prime AR MCD lock manager running    (pid: 24824)

Cisco Prime AR MCD server running          (pid: 24833)

Cisco Prime AR GUI running                 (pid: 24836)

SNMP Master Agent running                (pid: 24835)

[root@wscaaa04 ~]#

Étape 2. Exécutez la commande /opt/CSCOar/bin/aregcmd au niveau du système d'exploitation et saisissez les informations d'identification de l'administrateur. Vérifiez que l'état CPAr est 10 sur 10 et quittez l'interface CLI CPAR.

[root@aaa02 logs]# /opt/CSCOar/bin/aregcmd

Cisco Prime Access Registrar 7.3.0.1 Configuration Utility

Copyright (C) 1995-2017 by Cisco Systems, Inc.  All rights reserved.

Cluster:

User: admin

Passphrase:

Logging in to localhost

[ //localhost ]

LicenseInfo = PAR-NG-TPS 7.2(100TPS:)

PAR-ADD-TPS 7.2(2000TPS:)

PAR-RDDR-TRX 7.2()

PAR-HSS 7.2()

Radius/

Administrators/

Server 'Radius' is Running, its health is 10 out of 10

--> exit

Étape 3. Exécutez la commande netstat | grand diamètre et vérifiez que toutes les connexions DRA sont établies.

Le résultat mentionné ici est pour un environnement où des liaisons de diamètre sont attendues. Si moins de liens sont affichés, cela représente une déconnexion du DRA qui doit être analysée.

[root@aa02 logs]# netstat | grep diameter

tcp         0            0 aaa02.aaa.epc.:77 mp1.dra01.d:diameter ESTABLISHED

tcp         0            0 aaa02.aaa.epc.:36 tsa6.dra01:diameter ESTABLISHED

tcp         0            0 aaa02.aaa.epc.:47 mp2.dra01.d:diameter ESTABLISHED

tcp         0            0 aaa02.aaa.epc.:07 tsa5.dra01:diameter ESTABLISHED

tcp         0            0 aaa02.aaa.epc.:08 np2.dra01.d:diameter ESTABLISHED

Étape 4. Vérifiez que le journal TPS affiche les demandes traitées par CPAR. Les valeurs mises en évidence représentent le TPS et celles-ci sont celles auxquelles vous devez prêter attention.

La valeur de TPS ne doit pas dépasser 1 500.

[root@wscaaa04 ~]# tail -f /opt/CSCOar/logs/tps-11-21-2017.csv

11-21-2017,23:57:35,263,0

11-21-2017,23:57:50,237,0

11-21-2017,23:58:05,237,0

11-21-2017,23:58:20,257,0

11-21-2017,23:58:35,254,0

11-21-2017,23:58:50,248,0

11-21-2017,23:59:05,272,0

11-21-2017,23:59:20,243,0

11-21-2017,23:59:35,244,0

11-21-2017,23:59:50,233,0

Étape 5. Recherchez tous les messages de ” d'erreur “ ou de ” d'alarme “ dans name_radius_1_log

[root@aaa02 logs]# grep -E "error|alarm" name_radius_1_log

Étape 6. Vérifiez la quantité de mémoire utilisée par le processus CPAR en exécutant la commande :

top | grep radius

[root@sfraaa02 ~]# top | grep radius

27008 root      20   0 20.228g 2.413g  11408 S 128.3  7.7   1165:41 radius

Cette valeur mise en surbrillance doit être inférieure à 7 Go, ce qui correspond au maximum autorisé au niveau de l'application.

RMA de composant - Noeud de contrôleur

Vérification préalable

- À partir d'OSPD, connectez-vous au contrôleur et vérifiez que les ordinateurs sont dans un bon état. Les trois contrôleurs Online et Galera affichent les trois contrôleurs comme Master.

Note: Un cluster sain nécessite 2 contrôleurs actifs, donc vérifiez que les deux contrôleurs qui restent sont en ligne et actifs.

[heat-admin@pod2-stack-controller-0 ~]$ sudo pcs status

Cluster name: tripleo_cluster

Stack: corosync

Current DC: pod2-stack-controller-2 (version 1.1.15-11.el7_3.4-e174ec8) - partition with quorum

Last updated: Fri Jul 6 09:03:37 2018Last change: Fri Jul 6 09:03:35 2018 by root via crm_attribute on pod2-stack-controller-0

3 nodes and 19 resources configured

Online: [ pod2-stack-controller-0 pod2-stack-controller-1 pod2-stack-controller-2 ]

Full list of resources:

ip-11.120.0.49(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-1

Clone Set: haproxy-clone [haproxy]

Started: [ pod2-stack-controller-0 pod2-stack-controller-1 pod2-stack-controller-2 ]

Master/Slave Set: galera-master [galera]

Masters: [ pod2-stack-controller-1 pod2-stack-controller-2 ]

Slaves: [ pod2-stack-controller-0 ]

ip-192.200.0.110(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-1

ip-11.120.0.44(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-2

ip-11.118.0.49(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-2

Clone Set: rabbitmq-clone [rabbitmq]

Started: [ pod2-stack-controller-1 pod2-stack-controller-2 ]

Stopped: [ pod2-stack-controller-0 ]

ip-10.225.247.214(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-1

Master/Slave Set: redis-master [redis]

Masters: [ pod2-stack-controller-2 ]

Slaves: [ pod2-stack-controller-0 pod2-stack-controller-1 ]

ip-11.119.0.49(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-2

openstack-cinder-volume(systemd:openstack-cinder-volume):Started pod2-stack-controller-1

Daemon Status:

corosync: active/enabled

pacemaker: active/enabled

pcsd: active/enabled

Déplacer le cluster du contrôleur en mode maintenance

- Exécutez le cluster pcs sur le contrôleur mis à jour en veille :

[heat-admin@pod2-stack-controller-0 ~]$ sudo pcs cluster standby

- Vérifiez de nouveau l'état des ordinateurs et assurez-vous que le cluster des ordinateurs s'est arrêté sur ce noeud :

[heat-admin@pod2-stack-controller-0 ~]$ sudo pcs status

Cluster name: tripleo_cluster

Stack: corosync

Current DC: pod2-stack-controller-2 (version 1.1.15-11.el7_3.4-e174ec8) - partition with quorum

Last updated: Fri Jul 6 09:03:10 2018Last change: Fri Jul 6 09:03:06 2018 by root via crm_attribute on pod2-stack-controller-0

3 nodes and 19 resources configured

Node pod2-stack-controller-0: standby

Online: [ pod2-stack-controller-1 pod2-stack-controller-2 ]

Full list of resources:

ip-11.120.0.49(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-1

Clone Set: haproxy-clone [haproxy]

Started: [ pod2-stack-controller-1 pod2-stack-controller-2 ]

Stopped: [ pod2-stack-controller-0 ]

Master/Slave Set: galera-master [galera]

Masters: [ pod2-stack-controller-0 pod2-stack-controller-1 pod2-stack-controller-2 ]

ip-192.200.0.110(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-1

ip-11.120.0.44(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-2

ip-11.118.0.49(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-2

Clone Set: rabbitmq-clone [rabbitmq]

Started: [ pod2-stack-controller-0 pod2-stack-controller-1 pod2-stack-controller-2 ]

ip-10.225.247.214(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-1

Master/Slave Set: redis-master [redis]

Masters: [ pod2-stack-controller-2 ]

Slaves: [ pod2-stack-controller-1 ]

Stopped: [ pod2-stack-controller-0 ]

ip-11.119.0.49(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-2

openstack-cinder-volume(systemd:openstack-cinder-volume):Started pod2-stack-controller-1

Daemon Status:

corosync: active/enabled

pacemaker: active/enabled

pcsd: active/enabled

En outre, l'état des ordinateurs sur les deux autres contrôleurs doit afficher le noeud en veille.

Remplacer le composant défectueux du noeud contrôleur

Mettez le serveur spécifié hors tension. Pour remplacer un composant défectueux sur le serveur UCS C240 M4, procédez comme suit :

Remplacement des composants du serveur

Serveur d'alimentation

- Mettez le serveur sous tension et vérifiez que le serveur s'allume :

[stack@director ~]$ source stackrc

[stack@director ~]$ nova list

+--------------------------------------+--------------------------+--------+------------+-------------+------------------------+

| ID | Name | Status | Task State | Power State | Networks |

+--------------------------------------+--------------------------+--------+------------+-------------+------------------------+

| 03f15071-21aa-4bcf-8fdd-acdbde305168 | pod2-stack-compute-0 | ACTIVE | - | Running | ctlplane=192.200.0.106 |

| 1f725ce3-948d-49e9-aed9-b99e73d82644 | pod2-stack-compute-1 | ACTIVE | - | Running | ctlplane=192.200.0.107 |

| fbc13c78-dc06-4ac9-a3c5-595ccc147adc | pod2-stack-compute-2 | ACTIVE | - | Running | ctlplane=192.200.0.119 |

| 3b94e0b1-47dc-4960-b3eb-d02ffe9ae693 | pod2-stack-compute-3 | ACTIVE | - | Running | ctlplane=192.200.0.112 |

| 5dbac94d-19b9-493e-a366-1e2e2e5e34c5 | pod2-stack-compute-4 | ACTIVE | - | Running | ctlplane=192.200.0.116 |

| b896c73f-d2c8-439c-bc02-7b0a2526dd70 | pod2-stack-controller-0 | ACTIVE | - | Running | ctlplane=192.200.0.113 |

| 2519ce67-d836-4e5f-a672-1a915df75c7c | pod2-stack-controller-1 | ACTIVE | - | Running | ctlplane=192.200.0.105 |

| e19b9625-5635-4a52-a369-44310f3e6a21 | pod2-stack-controller-2 | ACTIVE | - | Running | ctlplane=192.200.0.120 |

| 6810c884-1cb9-4321-9a07-192443920f1f | pod2-stack-osd-compute-0 | ACTIVE | - | Running | ctlplane=192.200.0.109 |

| 26d3f7b1-ba97-431f-aa6e-ba91661db45d | pod2-stack-osd-compute-1 | ACTIVE | - | Running | ctlplane=192.200.0.117 |

| 6e4a8aa9-4870-465a-a7e2-0932ff55e34b | pod2-stack-osd-compute-2 | ACTIVE | - | Running | ctlplane=192.200.0.103 |

+--------------------------------------+--------------------------+--------+------------+-------------+------------------------+

- Connectez-vous au contrôleur affecté, retirez le mode veille avec l'utilisation de mode veille. Vérifiez que le contrôleur est en ligne avec le cluster et que Galera affiche les trois contrôleurs comme Master. Cela peut prendre quelques minutes :

[heat-admin@pod2-stack-controller-0 ~]$ sudo pcs cluster unstandby

[heat-admin@pod2-stack-controller-0 ~]$ sudo pcs status

Cluster name: tripleo_cluster

Stack: corosync

Current DC: pod2-stack-controller-2 (version 1.1.15-11.el7_3.4-e174ec8) - partition with quorum

Last updated: Fri Jul 6 09:03:37 2018Last change: Fri Jul 6 09:03:35 2018 by root via crm_attribute on pod2-stack-controller-0

3 nodes and 19 resources configured

Online: [ pod2-stack-controller-0 pod2-stack-controller-1 pod2-stack-controller-2 ]

Full list of resources:

ip-11.120.0.49(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-1

Clone Set: haproxy-clone [haproxy]

Started: [ pod2-stack-controller-0 pod2-stack-controller-1 pod2-stack-controller-2 ]

Master/Slave Set: galera-master [galera]

Masters: [ pod2-stack-controller-1 pod2-stack-controller-2 ]

Slaves: [ pod2-stack-controller-0 ]

ip-192.200.0.110(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-1

ip-11.120.0.44(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-2

ip-11.118.0.49(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-2

Clone Set: rabbitmq-clone [rabbitmq]

Started: [ pod2-stack-controller-1 pod2-stack-controller-2 ]

Stopped: [ pod2-stack-controller-0 ]

ip-10.225.247.214(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-1

Master/Slave Set: redis-master [redis]

Masters: [ pod2-stack-controller-2 ]

Slaves: [ pod2-stack-controller-0 pod2-stack-controller-1 ]

ip-11.119.0.49(ocf::heartbeat:IPaddr2):Started pod2-stack-controller-2

openstack-cinder-volume(systemd:openstack-cinder-volume):Started pod2-stack-controller-1

Daemon Status:

corosync: active/enabled

pacemaker: active/enabled

pcsd: active/enabled

- Vous pouvez vérifier certains services de surveillance tels que ceph qu'ils sont en bonne santé :

[heat-admin@pod2-stack-controller-0 ~]$ sudo ceph -s

cluster eb2bb192-b1c9-11e6-9205-525400330666

health HEALTH_OK

monmap e1: 3 mons at {pod2-stack-controller-0=11.118.0.10:6789/0,pod2-stack-controller-1=11.118.0.11:6789/0,pod2-stack-controller-2=11.118.0.12:6789/0}

election epoch 10, quorum 0,1,2 pod2-stack-controller-0,pod2-stack-controller-1,pod2-stack-controller-2

osdmap e81: 12 osds: 12 up, 12 in

flags sortbitwise,require_jewel_osds

pgmap v22844355: 704 pgs, 6 pools, 804 GB data, 423 kobjects

2404 GB used, 10989 GB / 13393 GB avail

704 active+clean

client io 3658 kB/s wr, 0 op/s rd, 502 op/s wr