Inhoud

Inleiding

Achtergrondinformatie

Afkortingen

Probleemoplossing voor component RMA - computing/OSD-computing knooppunt

Stap 1: Graceful shutdown

Identificeer de VM's die worden Hosted in het computingsysteem/OSD-computing knooppunt

Voor Cluster Manager VM Graceful afsluiten

Voor de actieve PD/loadstabilisator VM Graceful afsluiten

Voor de standby-PD/loadstabilisator VM Graceful afsluiten

Voor de PS/QNS VM Graceful afsluiten

Voor de OAM/CPMP-client, VM Graceful afsluiten

Voor de biterste VM

Stap 2. ESC-back-up van databases.

Stap 3. Verplaats ESC naar de Standby func.

Stap 4. Vervang de component schuld van het computing/OSD-computing knooppunt.

Stap 5. Herstel de VM's.

VM-herstel bij ESC

Herstel van ESC-VM

ESC-herstelfout verwerken

Probleemoplossing component RMA - controllerknooppunt

Stap 1. Controller - voorcontroles

Stap 2. Verplaats de controllercluster naar de onderhoudsmodus.

Stap 3. Vervang de component defect door het controllerknooppunt.

Stap 4. Schakel de server uit.

Inleiding

Dit document beschrijft de stappen die vereist zijn om de defecte onderdelen te vervangen die hier in een Cisco Unified Computing System (UCS)-server in een Ultra-M installatie zijn genoemd die Cisco Policy Suite (CPS) Virtual Network Services (VPN’s) ondersteunt.

- DIM-vervangende MOP (Dual In-line Memory Module)

- FlexFlash controller-falen

- Solid State Drive (SSD) defect

- Trusted Platform Module-falen (CTP)

- Raid cache-storing

- Routercontroller/Hot-Bus Adapter (HBA)-falen

- PCI-risperfalen

- PCIe-adapter Intel X520 10G-falen

- MLOM-falen (Modular LAN-on Motherboard)

- Ventilatoreenheid RMA

- CPU-fouten

Bijgedragen door Nitesh Bansal, Cisco Advanced Services.

Achtergrondinformatie

Ultra-M is een voorverpakte en gevalideerde gevirtualiseerde oplossing die is ontworpen om de plaatsing van VPN’s te vereenvoudigen. OpenStack is de Gevirtualiseerde Infrastructuur Manager (VIM) voor Ultra-M en bestaat uit deze knooppunten:

- berekenen

- Object Storage Disk - computing (OSD)

- Controller

- OpenStack Platform - Director (OSPF)

- De Ultra M 5.1.x release wordt gebruikt voor het definiëren van de procedures in dit document.

- Dit document is bedoeld voor het Cisco-personeel dat bekend is met het Cisco Ultra-M-platform en bevat informatie over de stappen die moeten worden uitgevoerd op niveau van OpenStack en CPS VPN op het moment van de componentvervanging in de server.

Voordat u een defecte component vervangt, is het belangrijk om de huidige status van het Rode Hat Open Stack-platform te controleren. Aanbevolen wordt om de huidige status te controleren om complicaties te voorkomen wanneer het vervangingsproces is ingeschakeld.

In geval van herstel, adviseert Cisco de back-up van de OSPD-database te nemen met de hulp van deze stappen:

[root@director ~]# mysqldump --opt --all-databases > /root/undercloud-all-databases.sql

[root@director ~]# tar --xattrs -czf undercloud-backup-`date +%F`.tar.gz /root/undercloud-all-databases.sql

/etc/my.cnf.d/server.cnf /var/lib/glance/images /srv/node /home/stack

tar: Removing leading `/' from member names

Dit proces zorgt ervoor dat een knooppunt kan worden vervangen zonder dat de beschikbaarheid van de instellingen wordt beïnvloed.

Opmerking: Als een server controllerknooppunt is, gaat u naar de sectie, anders gaat u door met de volgende sectie.

Afkortingen

VNF

Virtuele netwerkfunctie

PD

Beleidsdirecteur (taakverdeling)

PS

Policy Server ( CPMP )

ESC

Elastic Service Controller

MOP

Procedure

OSD

Objectopslaglocaties

HDD

Station vaste schijf

SSD

Solid State Drive

VIM

Virtual-infrastructuurbeheer

VM

Virtuele machine

SM

Sessiebeheer

QNS

Quantum Name Server

UUID

Universele unieke ID-versterker

Probleemoplossing voor component RMA - computing/OSD-computing knooppunt

Stap 1: Graceful shutdown

Identificeer de VM's die worden Hosted in het computingsysteem/OSD-computing knooppunt

In de Compute/OSD-Compute kunnen meerdere typen VM worden ondergebracht. Identificeer alle stappen en ga verder met de individuele stappen samen met het specifieke rompknooppunt en voor de specifieke VM-namen die op deze computer worden gehost:

[stack@director ~]$ nova list --field name,host | grep compute-10

| 49ac5f22-469e-4b84-badc-031083db0533 |  SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634     |

pod1-compute-10.localdomain    |

| 49ac5f22-469e-4b84-badc-031083db0533 |  SVS1-tmo_sm-s3_0_05966301-bd95-4071-817a-0af43757fc88     |

pod1-compute-10.localdomain    |

Voor Cluster Manager VM Graceful afsluiten

Stap 1. Maak een Snapshot en FTP het bestand naar een andere locatie buiten de server of indien mogelijk buiten het rek zelf.

openstack image create --poll

Stap 2. Stop de VM van ESC.

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action STOP < CM vm-name>

Stap 3. Controleer of de VM is gestopt.

[admin@esc ~]$ cd /opt/cisco/esc/esc-confd/esc-cli

[admin@esc ~]$ ./esc_nc_cli get esc_datamodel | egrep --color "<state>|<vm_name>|<vm_id>|<deployment_name>"

<snip>

<state>SERVICE_ACTIVE_STATE</state>

SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634

VM_SHUTOFF_STATE

Voor de actieve PD/loadstabilisator VM Graceful afsluiten

Stap 1. Meld u aan bij Actief register en stop de services zoals hieronder

- Lb van actief naar standby overschakelen

service corosync restart

- stop diensten op standby lb

service monit stop

service qns stop

Stap 2. Van de ESC Master.

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action STOP < Standby PD vm-name>

Stap 3.  Controleer of de VM is gestopt.

admin@esc ~]$ cd /opt/cisco/esc/esc-confd/esc-cli

[admin@esc ~]$ ./esc_nc_cli get esc_datamodel | egrep --color "

|

|

|

"

SERVICE_ACTIVE_STATE

SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634                     VM_SHUTOFF_STATE

Voor de standby-PD/loadstabilisator VM Graceful afsluiten

Stap 1. Meld u aan bij de reserve en stop de services.

service monit stop

service qns stop

Stap 2. Van de ESC-Master.

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action STOP < Standby PD vm-name>

Stap 3. Controleer of de VM is gestopt.

[admin@esc ~]$ cd /opt/cisco/esc/esc-confd/esc-cli

[admin@esc ~]$ ./esc_nc_cli get esc_datamodel | egrep --color "

|

|

|

"

SERVICE_ACTIVE_STATE

SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634                     VM_SHUTOFF_STATE

Voor de PS/QNS VM Graceful afsluiten

Stap 1. Stop de dienst:

service monit stop

service qns stop

Stap 2. Van de ESC - Master.

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action STOP < PS vm-name>

Stap 3.  Controleer of de VM is gestopt.

[dmin@esc ~]$ cd /opt/cisco/esc/esc-confd/esc-cli

[dmin@esc ~]$ ./esc_nc_cli get esc_datamodel | egrep --color "

|

|

|

"

SERVICE_ACTIVE_STATE

SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634                     VM_SHUTOFF_STATE

Voor de SM-VM Graceful afsluiten

Stap 1. Stop alle mongodiensten in de sessionhouder.

[root@sessionmg01 ~]# cd /etc/init.d

[root@sessionmg01 init.d]# ls -l sessionmgr*

[root@sessionmg01 ~]# /etc/init.d/sessionmgr-27717 stop Stopping mongod: [  OK  ]

[root@ sessionmg01 ~]# /etc/init.d/sessionmgr-27718 stop Stopping mongod: [  OK  ]

[root@ sessionmg01 ~]# /etc/init.d/sessionmgr-27719 stop Stopping mongod: [  OK  ]

Stap 2. Van de ESC-Master.

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action STOP < PS vm-name>

Stap 3. Controleer of de VM is gestopt.

[admin@esc ~]$ cd /opt/cisco/esc/esc-confd/esc-cli

[admin@esc ~]$ ./esc_nc_cli get esc_datamodel | egrep --color "

|

|

|

"

SERVICE_ACTIVE_STATE

SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634                     VM_SHUTOFF_STATE

Voor de OAM/CPMP-client, VM Graceful afsluiten

Stap 1. Controleer of het beleid dat u uitvoert, op SVN is afgestemd door deze opdrachten, Als een waarde wordt teruggegeven, dan is SVN al sync en u hoeft het niet te synchroniseren via PCRFCLIENT02. U moet de optie Terugzetten vanaf de laatste back-up overslaan, kan indien nodig nog gebruikt worden.

/usr/bin/svn propget svn:sync-from-url --revprop -r0 http://pcrfclient01/repos

Stap 2. Het opnieuw opzetten van SVN-master/slave-synchronisatie tussen de PC-client01 en PPCPFclient02 met PPRF-client01 als kapitein door het uitvoeren van de reeks opdrachten op PCRFCLIENT01.

/bin/rm -fr /var/www/svn/repos

/usr/bin/svnadmin create /var/www/svn/repos

/usr/bin/svn propset --revprop -r0 svn:sync-last-merged-rev 0

http://pcrfclient02/repos-proxy-sync

/usr/bin/svnadmin setuuid /var/www/svn/repos/ "Enter the UUID captured in step 2"

/etc/init.d/vm-init-client

/var/qps/bin/support/recover_svn_sync.sh

Stap 3.  Neem een back-up van de SVN in clustermanager.

config_br.py -a export --svn /mnt/backup/svn_backup_pcrfclient.tgz

Stap 4.  Sluiting van de diensten in de cliënt.

service monit stop

service qns stop

Stap 5.  Van de ESC-Master:

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action STOP < pcrfclient vm-name>

Stap 6.  Controleer of de VM is gestopt.

[admin@esc ~]$ cd /opt/cisco/esc/esc-confd/esc-cli

[admin@esc ~]$ ./esc_nc_cli get esc_datamodel | egrep --color "

|

|

|

"

SERVICE_ACTIVE_STATE

SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634                     VM_SHUTOFF_STATE

Voor de biterste VM

Stap 1. Meld u aan bij het scheidsgerecht en sluit de diensten af.

[root@SVS1OAM02 init.d]# ls -lrt sessionmgr*

-rwxr-xr-x 1 root root 4382 Jun 21 07:34 sessionmgr-27721

-rwxr-xr-x 1 root root 4406 Jun 21 07:34 sessionmgr-27718

-rwxr-xr-x 1 root root 4407 Jun 21 07:34 sessionmgr-27719

-rwxr-xr-x 1 root root 4429 Jun 21 07:34 sessionmgr-27717

-rwxr-xr-x 1 root root 4248 Jun 21 07:34 sessionmgr-27720

service monit stop

service qns stop

/etc/init.d/sessionmgr-[portno.] stop , where port no is the db port in the arbiter.

Stap 2. Van de ESC - Master.

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action STOP < pcrfclient vm-name>

Stap 3. Controleer of de VM is gestopt.

[admin@esc ~]$ cd /opt/cisco/esc/esc-confd/esc-cli

[admin@esc ~]$ ./esc_nc_cli get esc_datamodel | egrep --color "

|

|

|

"

SERVICE_ACTIVE_STATE

SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634                     VM_SHUTOFF_STATE

Voor de Elastic Services Controller (ESC)

Stap 1. Van configuraties in ESC-HA moet maandelijks een back-up worden gemaakt, vóór/na een schaaloperatie of schaaloperatie met de VNF en voor/na wijzigingen in de ESC-configuratie. Dit moet worden ondersteund om een effectief herstel van het ESC bij rampen te bewerkstelligen

1. Aanmelden bij ESC met behulp van admin Credentials en Exporteren naar XML.

/opt/cisco/esc/confd/bin/netconf-console --host 127.0.0.1 --port 830 -u

-p

--get-config > /home/admin/ESC_config.xml

2. Download dit bestand naar uw lokale computer van ftp/sftp naar een server buiten de cloud.

Stap 2. Maak een back-up van de PCRF-cloudconfiguratie Alle scripts en gebruikersgegevensbestanden waarnaar in Deployment XMLs wordt verwezen.

1. Zoek alle gebruikers-data bestanden die in plaatsing XMLs van alle VPN's van de in vorige stap geëxporteerde gegevens worden genoemd..

file://opt/cisco/esc/cisco-cps/config/gr/cfg/std/pcrf-cm_cloud.cfg

file://opt/cisco/esc/cisco-cps/config/gr/cfg/std/pcrf-oam_cloud.cfg

file://opt/cisco/esc/cisco-cps/config/gr/cfg/std/pcrf-pd_cloud.cfg

file://opt/cisco/esc/cisco-cps/config/gr/cfg/std/pcrf-qns_cloud.cfg

file://opt/cisco/esc/cisco-cps/config/gr/cfg/std/pcrf-sm_cloud.cfg

2. Zoek al het postimplementatiefilm dat gebruikt wordt om CPS orchestratie API te verzenden.

3. In esc opdata kunnen voorbeelden van postfragmenten als script worden gebruikt.

Steekproef 1:

PCRF_POST_DEPLOYMENT

LCS::POST_DEPLOY_ALIVE

FINISH_PCRF_INSTALLATION

SCRIPT

----------

script_filename

/opt/cisco/esc/cisco-cps/config/gr/tmo/cfg/../cps_init.py

script_timeout

3600

Steekproef 2:

PCRF_POST_DEPLOYMENT

LCS::POST_DEPLOY_ALIVE

FINISH_PCRF_INSTALLATION

SCRIPT

CLUMAN_MGMT_ADDRESS

10.174.132.46

CLUMAN_YAML_FILE

/opt/cisco/esc/cisco-cps/config/vpcrf01/ cluman_orch_config.yaml

script_filename

/opt/cisco/esc/cisco-cps/config/vpcrf01/vpcrf_cluman_post_deployment.py

wait_max_timeout

3600

Als de implementatie ESC opdata (afgeleid in de vorige stap) een van de gemarkeerde bestanden bevat, neem de back-up.

Monster back-upopdracht:

tar –zcf esc_files_backup.tgz /opt/cisco/esc/cisco-cps/config/

Download dit bestand naar uw lokale computer van ftp/sftp naar een server buiten de cloud.

Note:- Although opdata is synced between ESC master and slave, directories containing user-data, xml and post deploy scripts are not synced across both instances. It is suggested that customers can push the contents of directory containing these files using scp or sftp, these files should be constant across ESC-Master and ESC-Standby in order to recover a deployment when ESC VM which was master during deployment is not available do to any unforeseen circumstances.

Stap 2. ESC-back-up van databases.

Stap 1. Verzamel de logbestanden van de beide ESC-VM's en maak er een back-up van.

$ collect_esc_log.sh

$ scp /tmp/

@

:

Stap 2. Maak een back-up van de database van Master ECS-knooppunt.

Stap 3. Schakelt over naar de basisgebruiker en controleer de status van het primaire ESC en bevestig de uitvoerwaarde als Master.

$ sudo bash

$ escadm status

Set ESC to maintenance mode & verify

$ sudo escadm op_mode set --mode=maintenance

$ escadm op_mode show

Stap 4. Gebruik een variabele om de bestandsnaam in te stellen en datuminformatie op te nemen en kies het reservegereedschap en specificeer de bestandsnaam van de vorige stap.

fname=esc_db_backup_$(date -u +"%y-%m-%d-%H-%M-%S")

$ sudo /opt/cisco/esc/esc-scripts/esc_dbtool.py backup -- file /tmp/atlpod-esc-master-$fname.tar

Stap 5. Controleer het reservekopiebestand in uw back-upopslag en controleer of het bestand er is.

Stap 6. Zet Master ESC terug in de normale bedrijfsmodus.

$ sudo escadm op_mode set --mode=operation

Als de back-up van het gereedschap mislukt, moet u de volgende werkronden één keer toepassen in ESC-knooppunt. Herhaal stap 6.

$ sudo sed -i "s,'pg_dump,'/usr/pgsql-9.4/bin/pg_dump,"

/opt/cisco/esc/esc-scripts/esc_dbtool.py

Stap 3. Verplaats ESC naar de Standby func.

Stap 1. Meld u aan bij het ESC dat in het knooppunt is opgeslagen en controleer of dit in de status van de kapitein is. Zo ja, schakel ESC in op de stand-by modus.

[admin@VNF2-esc-esc-0 esc-cli]$ escadm status

0 ESC status=0 ESC Master Healthy

[admin@VNF2-esc-esc-0 ~]$ sudo service keepalived stop Stopping keepalived:

[  OK  ]

[admin@VNF2-esc-esc-0 ~]$ escadm status

1 ESC status=0 In SWITCHING_TO_STOP state. Please check status after a while.

[admin@VNF2-esc-esc-0 ~]$ sudo reboot

Broadcast message from admin@vnf1-esc-esc-0.novalocal

(/dev/pts/0) at 13:32 ...

The system is going down for reboot NOW!

Stap 2. Wanneer VM eenmaal ESC Standby is, sluit u de VM af met de opdracht: afsluiten -of nu

Opmerking: Als de defecte component moet worden vervangen op OSD-Computknooppunt, dient u de CEPH in Onderhoud op de server te plaatsen voordat u doorgaat met de vervanging van de component.

[admin@osd-compute-0 ~]$ sudo ceph osd set norebalance

set norebalance

[admin@osd-compute-0 ~]$ sudo ceph osd set noout

set noout

[admin@osd-compute-0 ~]$ sudo ceph status

cluster eb2bb192-b1c9-11e6-9205-525400330666

health HEALTH_WARN

noout,norebalance,sortbitwise,require_jewel_osds flag(s) set

monmap e1: 3 mons at {tb3-ultram-pod1-controller-0=11.118.0.40:6789/0,tb3-ultram-pod1-controller-1=11.118.0.41:6789/0,tb3-ultram-pod1-controller-2=11.118.0.42:6789/0}

election epoch 58, quorum 0,1,2 tb3-ultram-pod1-controller-0,tb3-ultram-pod1-controller-1,tb3-ultram-pod1-controller-2

osdmap e194: 12 osds: 12 up, 12 in

flags noout,norebalance,sortbitwise,require_jewel_osds

pgmap v584865: 704 pgs, 6 pools, 531 GB data, 344 kobjects

1585 GB used, 11808 GB / 13393 GB avail

704 active+clean

client io 463 kB/s rd, 14903 kB/s wr, 263 op/s rd, 542 op/s wr

Stap 4. Vervang de component schuld van het computing/OSD-computing knooppunt.

Schakel de opgegeven server uit. De stappen om een defecte component op UCS C240 M4 server te vervangen kunnen worden doorverwezen van:

De servercomponenten vervangen

Raadpleeg de procedure voor aanhoudende vastlegging in de onderstaande procedure en voer deze uit indien nodig

Stap 5. Herstel de VM's.

VM-herstel bij ESC

1. De VM zou in de nova-lijst een foutstatus hebben.

[stack@director  ~]$ nova list |grep VNF2-DEPLOYM_s9_0_8bc6cc60-15d6-4ead-8b6a-10e75d0e134d

| 49ac5f22-469e-4b84-badc-031083db0533 | VNF2-DEPLOYM_s9_0_8bc6cc60-15d6-4ead-8b6a-10e75d0e134d     | ERROR  | -          | NOSTATE     |

2. De VM's van het ESC herstellen.

[admin@VNF2-esc-esc-0 ~]$ sudo /opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli recovery-vm-action DO VNF2-DEPLOYM_s9_0_8bc6cc60-15d6-4ead-8b6a-10e75d0e134d

[sudo] password for admin:

Recovery VM Action

/opt/cisco/esc/confd/bin/netconf-console --port=830 --host=127.0.0.1 --user=admin --privKeyFile=/root/.ssh/confd_id_dsa --privKeyType=dsa --rpc=/tmp/esc_nc_cli.ZpRCGiieuW

3. De monitor yangesc.log

admin@VNF2-esc-esc-0 ~]$ tail -f /var/log/esc/yangesc.log

…

14:59:50,112 07-Nov-2017 WARN  Type: VM_RECOVERY_COMPLETE

14:59:50,112 07-Nov-2017 WARN  Status: SUCCESS

14:59:50,112 07-Nov-2017 WARN  Status Code: 200

14:59:50,112 07-Nov-2017 WARN  Status Msg: Recovery: Successfully recovered VM [VNF2-DEPLOYM_s9_0_8bc6cc60-15d6-4ead-8b6a-10e75d0e134d].

4. Controleer of alle services in de VM's worden gestart.

Herstel van ESC-VM

1. Meld u aan bij ESC via console en controleer de status.

2. Start de processen als het proces nog niet is gestart

[admin@esc ~]$ sudo service keepalived start

[admin@esc ~]$ escadm status 0 ESC status=0 ESC Slave Healthy

ESC-herstelfout verwerken

In gevallen waarin ESC er niet in slaagt de VM te starten vanwege een onverwachte toestand, raadt Cisco aan een ESC-omschakeling uit te voeren door de Master ESC te herstarten. De ESC-omschakeling zou ongeveer een minuut duren. Start het script "health.sh" op de nieuwe Master ESC om te controleren of de status omhoog is. Master ESC om de VM te starten en de VM-toestand te repareren. Deze hersteltaak kan tot 5 minuten duren.

U kunt /var/log/esc/yangesc.log en /var/log/esc/escmanager.log controleren. Indien VM na 5-7 minuten niet wordt hersteld, moet de gebruiker de geïmpacte VM(s) handmatig gaan herstellen.

Indien de ESC-VM niet wordt hersteld, volgt u de procedure om een nieuwe ESC-VM te implementeren. Neem contact op met Cisco-ondersteuning voor de procedure.

Probleemoplossing component RMA - controllerknooppunt

Stap 1. Controller - voorcontroles

Vanaf het OSPD-overleg, is de inlognaam op de controller en de check-up in een goede staat - alle drie controllers online en galera tonen alle drie de controllers als meester.

Opmerking: Voor een gezond cluster zijn 2 actieve controllers nodig om te verifiëren dat de resterende twee controllers online en actief zijn.

heat-admin@pod1-controller-0 ~]$ sudo pcs status

Cluster name: tripleo_cluster

Stack: corosync

Current DC: pod1-controller-2 (version 1.1.15-11.el7_3.4-e174ec8) - partition with quorum

Last updated: Mon Dec  4 00:46:10 2017                        Last change: Wed Nov 29 01:20:52 2017 by hacluster via crmd on pod1-controller-0

3 nodes and 22 resources configured

Online: [ pod1-controller-0 pod1-controller-1 pod1-controller-2 ]

Full list of resources:

ip-11.118.0.42  (ocf::heartbeat:IPaddr2):           Started pod1-controller-1

ip-11.119.0.47  (ocf::heartbeat:IPaddr2):           Started pod1-controller-2

ip-11.120.0.49  (ocf::heartbeat:IPaddr2):           Started pod1-controller-1

ip-192.200.0.102          (ocf::heartbeat:IPaddr2):           Started pod1-controller-2

Clone Set: haproxy-clone [haproxy]

Started: [ pod1-controller-0 pod1-controller-1 pod1-controller-2 ]

Master/Slave Set: galera-master [galera]

Masters: [ pod1-controller-0 pod1-controller-1 pod1-controller-2 ]

ip-11.120.0.47  (ocf::heartbeat:IPaddr2):           Started pod1-controller-2

Clone Set: rabbitmq-clone [rabbitmq]

Started: [ pod1-controller-0 pod1-controller-1 pod1-controller-2 ]

Master/Slave Set: redis-master [redis]

Masters: [ pod1-controller-2 ]

Slaves: [ pod1-controller-0 pod1-controller-1 ]

ip-10.84.123.35            (ocf::heartbeat:IPaddr2):           Started pod1-controller-1

openstack-cinder-volume          (systemd:openstack-cinder-volume):            Started pod1-controller-2

my-ipmilan-for-pod1-controller-0        (stonith:fence_ipmilan):  Started pod1-controller-0

my-ipmilan-for-pod1-controller-1        (stonith:fence_ipmilan):  Started pod1-controller-0

my-ipmilan-for-pod1-controller-2        (stonith:fence_ipmilan):  Started pod1-controller-0

Daemon Status:

corosync: active/enabled

pacemaker: active/enabled

pcsd: active/enabled

Stap 2. Verplaats de controllercluster naar de onderhoudsmodus.

1. Zet het pc-cluster op de controller die in de stand-by modus wordt bijgewerkt.

[heat-admin@pod1-controller-0 ~]$ sudo pcs cluster standby

2. Controleer de pc-status opnieuw en zorg ervoor dat het pc-cluster bij dit knooppunt is gestopt.

[heat-admin@pod1-controller-0 ~]$ sudo pcs status

Cluster name: tripleo_cluster

Stack: corosync

Current DC: pod1-controller-2 (version 1.1.15-11.el7_3.4-e174ec8) - partition with quorum

Last updated: Mon Dec  4 00:48:24 2017                        Last change: Mon Dec  4 00:48:18 2017 by root via crm_attribute on pod1-controller-0

3 nodes and 22 resources configured

Node pod1-controller-0: standby

Online: [ pod1-controller-1 pod1-controller-2 ]

Full list of resources:

ip-11.118.0.42  (ocf::heartbeat:IPaddr2):           Started pod1-controller-1

ip-11.119.0.47  (ocf::heartbeat:IPaddr2):           Started pod1-controller-2

ip-11.120.0.49  (ocf::heartbeat:IPaddr2):           Started pod1-controller-1

ip-192.200.0.102          (ocf::heartbeat:IPaddr2):           Started pod1-controller-2

Clone Set: haproxy-clone [haproxy]

Started: [ pod1-controller-1 pod1-controller-2 ]

Stopped: [ pod1-controller-0 ]

Master/Slave Set: galera-master [galera]

Masters: [ pod1-controller-1 pod1-controller-2 ]

Slaves: [ pod1-controller-0 ]

ip-11.120.0.47  (ocf::heartbeat:IPaddr2):           Started pod1-controller-2

Clone Set: rabbitmq-clone [rabbitmq]

Started: [ pod1-controller-0 pod1-controller-1 pod1-controller-2 ]

Master/Slave Set: redis-master [redis]

Masters: [ pod1-controller-2 ]

Slaves: [ pod1-controller-1 ]

Stopped: [ pod1-controller-0 ]

ip-10.84.123.35            (ocf::heartbeat:IPaddr2):           Started pod1-controller-1

openstack-cinder-volume          (systemd:openstack-cinder-volume):            Started pod1-controller-2

my-ipmilan-for-pod1-controller-0        (stonith:fence_ipmilan):  Started pod1-controller-1

my-ipmilan-for-pod1-controller-1        (stonith:fence_ipmilan):  Started pod1-controller-1

my-ipmilan-for-pod1-controller-2        (stonith:fence_ipmilan):  Started pod1-controller-2

Daemon Status:

corosync: active/enabled

pacemaker: active/enabled

pcsd: active/enabled

3. Ook de PC status op de andere 2 controllers moet het knooppunt als stand-by tonen.

Stap 3. Vervang de component defect door het controllerknooppunt.

Schakel de gespecificeerde server uit. De stappen om een defecte component op UCS C240 M4-server te vervangen kunnen worden doorverwezen naar:

De servercomponenten vervangen

Stap 4. Schakel de server uit.

1. Power op de server en verify server verschijnt.

[stack@tb5-ospd ~]$ source stackrc

[stack@tb5-ospd ~]$ nova list |grep pod1-controller-0

| 1ca946b8-52e5-4add-b94c-4d4b8a15a975 | pod1-controller-0  | ACTIVE | -          | Running     | ctlplane=192.200.0.112 |

2. Meld u aan bij de getroffen controller en verwijder de stand-by modus door stand-by in te stellen. Controleer dat controller online komt met cluster en galera alle drie controllers als Master. Dit kan een paar minuten duren.

[heat-admin@pod1-controller-0 ~]$ sudo pcs cluster unstandby

[heat-admin@pod1-controller-0 ~]$ sudo pcs status

Cluster name: tripleo_cluster

Stack: corosync

Current DC: pod1-controller-2 (version 1.1.15-11.el7_3.4-e174ec8) - partition with quorum

Last updated: Mon Dec  4 01:08:10 2017                        Last change: Mon Dec  4 01:04:21 2017 by root via crm_attribute on pod1-controller-0

3 nodes and 22 resources configured

Online: [ pod1-controller-0 pod1-controller-1 pod1-controller-2 ]

Full list of resources:

ip-11.118.0.42  (ocf::heartbeat:IPaddr2):           Started pod1-controller-1

ip-11.119.0.47  (ocf::heartbeat:IPaddr2):           Started pod1-controller-2

ip-11.120.0.49  (ocf::heartbeat:IPaddr2):           Started pod1-controller-1

ip-192.200.0.102          (ocf::heartbeat:IPaddr2):           Started pod1-controller-2

Clone Set: haproxy-clone [haproxy]

Started: [ pod1-controller-0 pod1-controller-1 pod1-controller-2 ]

Master/Slave Set: galera-master [galera]

Masters: [ pod1-controller-0 pod1-controller-1 pod1-controller-2 ]

ip-11.120.0.47  (ocf::heartbeat:IPaddr2):           Started pod1-controller-2

Clone Set: rabbitmq-clone [rabbitmq]

Started: [ pod1-controller-0 pod1-controller-1 pod1-controller-2 ]

Master/Slave Set: redis-master [redis]

Masters: [ pod1-controller-2 ]

Slaves: [ pod1-controller-0 pod1-controller-1 ]

ip-10.84.123.35            (ocf::heartbeat:IPaddr2):           Started pod1-controller-1

openstack-cinder-volume          (systemd:openstack-cinder-volume):            Started pod1-controller-2

my-ipmilan-for-pod1-controller-0        (stonith:fence_ipmilan):  Started pod1-controller-1

my-ipmilan-for-pod1-controller-1        (stonith:fence_ipmilan):  Started pod1-controller-1

my-ipmilan-for-pod1-controller-2        (stonith:fence_ipmilan):  Started pod1-controller-2

Daemon Status:

corosync: active/enabled

pacemaker: active/enabled

pcsd: active/enabled

3. U kunt een aantal van de bewakingsdiensten zoals koppen controleren of ze in een gezonde toestand verkeren.

[heat-admin@pod1-controller-0 ~]$ sudo ceph -s

cluster eb2bb192-b1c9-11e6-9205-525400330666

health HEALTH_OK

monmap e1: 3 mons at {pod1-controller-0=11.118.0.10:6789/0,pod1-controller-1=11.118.0.11:6789/0,pod1-controller-2=11.118.0.12:6789/0}

election epoch 70, quorum 0,1,2 pod1-controller-0,pod1-controller-1,pod1-controller-2

osdmap e218: 12 osds: 12 up, 12 in

flags sortbitwise,require_jewel_osds

pgmap v2080888: 704 pgs, 6 pools, 714 GB data, 237 kobjects

2142 GB used, 11251 GB / 13393 GB avail

704 active+clean

client io 11797 kB/s wr, 0 op/s rd, 57 op/s wr