Sommario

Introduzione

Prerequisiti

Requisiti

Componenti usati

Premesse

Problema

Soluzione

Procedura per impostare lo stato di aggiornamento corretto

Introduzione

In questo documento viene descritto come risolvere il problema del peer del diametro in caso di errore di In-Service Software Migration (ISSM) in Cisco Policy Suite (CPS).

Prerequisiti

Requisiti

Cisco raccomanda la conoscenza dei seguenti argomenti:

- Linux

- CPS

- Diametro

- Framework OSGI (Open Service Gateway Initiative)

Nota: Cisco consiglia di disporre dell'accesso privilegiato alla CLI di CPS root.

Componenti usati

Le informazioni fornite in questo documento si basano sulle seguenti versioni software e hardware:

- CPS 19.4, 21.1

- CentOS Linux release 8.1.1911 (Core)

Le informazioni discusse in questo documento fanno riferimento a dispositivi usati in uno specifico ambiente di emulazione. Su tutti i dispositivi menzionati nel documento la configurazione è stata ripristinata ai valori predefiniti. Se la rete è operativa, valutare attentamente eventuali conseguenze derivanti dall'uso dei comandi.

Premesse

Gli utenti hanno la possibilità di eseguire l'ISSM di un CPS da 19.4.0/CPS 19.5.0 a CPS 21.1.0. Questa migrazione consente al traffico di continuare senza alcun impatto durante il completamento.

ISM su CPS 21.1.0 è supportato solo per le installazioni HA (Mobile High Availability) e GR (Geographic Redundancy). Impossibile eseguire la migrazione di altri tipi di installazione di CPS (mog|pats|arbiter|andsf|escef).

Problema

Si osserva che, quando l'operazione ISSM da CPS19.4 a CPS21.1 non è riuscita a causa di un errore Hosts.csv , la connessione di tutti i peer con diametro sia con il bilanciamento del carico (LB) si interrompe e il riavvio normale non aiuta a ripristinare.

[root@lab-lb02 ~]# ./show_peers.sh --all --summary

###############################################################################

[Wed Sep 21 01:57:47 CDT 2022]

SUMMARY of Peers in OKAY State:

|  Gx  |  Re  |  Rx  |  Sh  |  Sy  |

-------------|------|------|------|------|------|

lb01 peers   |  0   |  0   |  0   |  0   |  0   |

-------------|------|------|------|------|------|

lb02 peers   |  0   |  0   |  0   |  0   |  0   |

-------------|------|------|------|------|------|

Questa è l'esenzione che è possibile visualizzare in consolidate-qns.log quando si abilita il registratore del livello di debug.

2022-09-21 08:25:00,188 [pool-3-thread-1] DEBUG c.b.d.i.server.DelayedStartManager.? - isWorkerConnected: true queueSystem.enabled: false queueSystem.available: true isUpgradeState: false

Dopo l'esecuzione di questo passaggio, il processo viene bloccato a causa di una voce non valida nel Hosts.csv file.

/mnt/iso/migrate.sh disable set 1

2022-09-21 02:52:48,913 INFO [__main__.migrate_disable_set] Waiting for build init.d background task

Replica-set Configuration

-------------------------------------------------------------------------------

The progress of this script can be monitored in the following log:

/var/log/broadhop/scripts//build_set_21092022_024648_1663728408306850218.log

-------------------------------------------------------------------------------

[ Done ] file creation [ In Progress ]

2022-09-21 02:58:16,385 INFO [__main__.migrate_disable_set] build init.d successfully.

2022-09-21 02:58:16,385 INFO [__main__.run_recipe] Performing installation stage: QuiesceClusterSet

[lab-cc02 PSZ06PCRFCC02] Executing task 'DisableArbiterVipNode'

[lab-cc02 PSZ06PCRFCC02] run: /var/qps/bin/support/disable_arbiter_vip_node.sh

Fatal error: Name lookup failed for lab-cc02 PSZ06PCRFCC02 --> Error highlight. Invalid host entry is noticed.

Underlying exception:

Name or service not known

Aborting.

2022-09-21 02:58:16,967 ERROR [__main__.<module>] Error during installation

2022-09-21 02:58:16,970 INFO [__main__.<module>] =====================

2022-09-21 02:58:16,970 INFO [__main__.<module>] FAILURE

2022-09-21 02:58:16,970 INFO [__main__.<module>] ======== END ========

2022-09-21 02:58:16,970 INFO [__main__.<module>] To have the environment variable updated, please logout and login from all opened shell on the current system

[root@lab-cm csv]#

Lo script trigger_silo.sh, come parte di migrate.sh l'esecuzione sospende tutti i processi qns nel bilanciamento del carico selezionato per la migrazione set1.

2022-09-21 03:11:34,885 INFO [migrate_traffic.run] running - ['bash', '-c', 'source /var/qps/install/current/scripts/migrate/trigger_silo.sh && trigger_silo_pre_set1_upgrade /var/tmp/cluster-upgrade-set-1.txt /var/tmp/cluster-upgrade-set-2.txt /var/log/trigger_silo.log']

2022-09-21 03:17:27,594 INFO [command.execute] (stdout): LB qns process count : 7

Running pause on lb02-1

checking JMX port 9045 ....

Done - Paused qns-1

Running pause on lb02-2

checking JMX port 9046 ....

Done - Paused qns-2

Running pause on lb02-3

checking JMX port 9047 ....

Done - Paused qns-3

Running pause on lb02-4

checking JMX port 9048 ....

Done - Paused qns-4

Running pause on lb02-5

checking JMX port 9049 ....

Done - Paused qns-5

Running pause on lb02-6

checking JMX port 9050 ....

Done - Paused qns-6

Running pause on lb02-7

checking JMX port 9051 ....

Done - Paused qns-7

Soluzione

L'aggiornamento non è completo ed è parziale, il processo ISSM mantiene il sistema CPS in isUpgradeState: false.

Per ripristinare questa condizione, è necessario impostare il isUpgradeState: true nel quadro dell’OSGI della CPS.

Procedura per impostare lo stato di aggiornamento corretto

Passaggio 1. Accedere al nodo Gestione cluster.

Passaggio 2. Connettersi alla struttura OSGI del sistema CPS.

[root@installer ~]# telnet qns01 9091

Trying 192.168.10.11...

Connected to qns01.

Escape character is '^]'.

osgi>

Passaggio 3. Eseguire questo comando.

osgi> markNodeUpgraded

Upgraded status set to true

osgi>

Passaggio 4. Disconnettersi dal framework OSGI normalmente con questo comando.

osgi> disconnect

Disconnect from console? (y/n; default=y) y

Connection closed by foreign host.

[root@installer ~]#

Dopo aver applicato la soluzione, controllare lo stato del peer con questo comando e verificare che tutti i peer necessari siano attivi.

[root@lab-lb02 ~]# ./show_peers.sh --all --summary

###############################################################################

[Wed Sep 21 01:57:47 CDT 2022]

SUMMARY of Peers in OKAY State:

|  Gx  |  Re  |  Rx  |  Sh  |  Sy  |

-------------|------|------|------|------|------|

lb01 peers   |  72  |  120 |  36  |  0   |  12  |

-------------|------|------|------|------|------|

lb02 peers   |  72  |  120 |  36  |  0   |  12  |

-------------|------|------|------|------|------|