CPSでのISSM障害後のDiameterピア接続の問題のトラブルシューティング

概要

このドキュメントでは、Cisco Policy Suite(CPS)のIn-Service Software Migration(ISSM)の障害に関するdiameterピアの問題をトラブルシューティングする方法について説明します。

前提条件

要件

次の項目に関する知識があることが推奨されます。

• Linux
• CPS
• 直径
• Open Service Gateway Initiative(OSGI)フレームワーク

注：CPS CLIへのrootアクセス権限が必要であることを推奨します。

使用するコンポーネント

このドキュメントの情報は、次のソフトウェアとハードウェアのバージョンに基づいています。

• CPS 19.4、21.1
• CentOS Linuxリリース8.1.1911（コア）

このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、初期（デフォルト）設定の状態から起動しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。

背景説明

ユーザは、CPS 19.4.0/CPS 19.5.0からCPS 21.1.0へのISSMを実行できます。この移行により、トラフィックが完了するまで影響を与えずに続行できます。
ISSMからCPS 21.1.0への接続は、Mobile High Availability(HA)およびGeographic Redundancy(GR)インストールでのみサポートされます。その他のCPSインストールタイプ(mog|pats|arbiter|and sf|escef)は移行できません。

問題

CPS19.4からCPS21.1へのISSMが無効のために失敗することが確認されています Hosts.csv 両方のLoad Balancing（LB；ロードバランシング）を使用したdiameterピアの接続がすべてダウンし、通常の再起動では復元が行えません。

[root@lab-lb02 ~]# ./show_peers.sh --all --summary
###############################################################################
[Wed Sep 21 01:57:47 CDT 2022]
SUMMARY of Peers in OKAY State:

             |  Gx  |  Re  |  Rx  |  Sh  |  Sy  |
-------------|------|------|------|------|------|
lb01 peers   |  0   |  0   |  0   |  0   |  0   |
-------------|------|------|------|------|------|
lb02 peers   |  0   |  0   |  0   |  0   |  0   |
-------------|------|------|------|------|------|

これは、consolidated-qns.logでdebug level loggerを有効にした場合に表示される例外です。

2022-09-21 08:25:00,188 [pool-3-thread-1] DEBUG c.b.d.i.server.DelayedStartManager.? - isWorkerConnected: true queueSystem.enabled: false queueSystem.available: true isUpgradeState: false

このステップを実行した後、プロセスがハングします。原因は、 Hosts.csv 出力を提供してください。

/mnt/iso/migrate.sh disable set 1

2022-09-21 02:52:48,913 INFO [__main__.migrate_disable_set] Waiting for build init.d background task
Replica-set Configuration
-------------------------------------------------------------------------------

The progress of this script can be monitored in the following log:
/var/log/broadhop/scripts//build_set_21092022_024648_1663728408306850218.log
-------------------------------------------------------------------------------

[ Done ] file creation [ In Progress ]




2022-09-21 02:58:16,385 INFO [__main__.migrate_disable_set] build init.d successfully.
2022-09-21 02:58:16,385 INFO [__main__.run_recipe] Performing installation stage: QuiesceClusterSet
[lab-cc02 PSZ06PCRFCC02] Executing task 'DisableArbiterVipNode'
[lab-cc02 PSZ06PCRFCC02] run: /var/qps/bin/support/disable_arbiter_vip_node.sh

Fatal error: Name lookup failed for lab-cc02 PSZ06PCRFCC02 --> Error highlight. Invalid host entry is noticed.

Underlying exception:
Name or service not known

Aborting.
2022-09-21 02:58:16,967 ERROR [__main__.<module>] Error during installation
2022-09-21 02:58:16,970 INFO [__main__.<module>] =====================
2022-09-21 02:58:16,970 INFO [__main__.<module>] FAILURE
2022-09-21 02:58:16,970 INFO [__main__.<module>] ======== END ========
2022-09-21 02:58:16,970 INFO [__main__.<module>] To have the environment variable updated, please logout and login from all opened shell on the current system
[root@lab-cm csv]#

スクリプト trigger_silo.shの一部として migrate.sh 選択したLB内のすべてのqnsプロセスを停止して、set1移行を実行します。

2022-09-21 03:11:34,885 INFO [migrate_traffic.run] running - ['bash', '-c', 'source /var/qps/install/current/scripts/migrate/trigger_silo.sh && trigger_silo_pre_set1_upgrade /var/tmp/cluster-upgrade-set-1.txt /var/tmp/cluster-upgrade-set-2.txt /var/log/trigger_silo.log']
2022-09-21 03:17:27,594 INFO [command.execute] (stdout): LB qns process count : 7
Running pause on lb02-1
checking JMX port 9045 ....
Done - Paused qns-1
Running pause on lb02-2
checking JMX port 9046 ....
Done - Paused qns-2
Running pause on lb02-3
checking JMX port 9047 ....
Done - Paused qns-3
Running pause on lb02-4
checking JMX port 9048 ....
Done - Paused qns-4
Running pause on lb02-5
checking JMX port 9049 ....
Done - Paused qns-5
Running pause on lb02-6
checking JMX port 9050 ....
Done - Paused qns-6
Running pause on lb02-7
checking JMX port 9051 ....
Done - Paused qns-7

解決方法

アップグレードが完了せず、部分的である場合、ISSMプロセスはCPSシステムを isUpgradeState: false.
この状態から回復するには、 isUpgradeState: true CPSのOSGIフレームワークに含まれています

正しいアップグレード状態を設定する手順

ステップ1:Cluster Managerノードにログインします。

ステップ2:CPSシステムのOSGIフレームワークに接続します。

[root@installer ~]# telnet qns01 9091
Trying 192.168.10.11...
Connected to qns01.
Escape character is '^]'.

osgi>

ステップ3：このコマンドを実行します。

osgi> markNodeUpgraded
Upgraded status set to true

osgi>

ステップ4：このコマンドを使用して、OSGIフレームワークから正常に切断します。

osgi> disconnect
Disconnect from console? (y/n; default=y) y
Connection closed by foreign host.
[root@installer ~]#

ソリューションを適用したら、このコマンドでdiameterピアのステータスをチェックし、必要なすべてのピアがアクティブであることを確認します。

[root@lab-lb02 ~]# ./show_peers.sh --all --summary
###############################################################################
[Wed Sep 21 01:57:47 CDT 2022]
SUMMARY of Peers in OKAY State:

             |  Gx  |  Re  |  Rx  |  Sh  |  Sy  |
-------------|------|------|------|------|------|
lb01 peers   |  72  |  120 |  36  |  0   |  12  |
-------------|------|------|------|------|------|
lb02 peers   |  72  |  120 |  36  |  0   |  12  |
-------------|------|------|------|------|------|