目录

简介

先决条件

要求

使用的组件

背景信息

问题

解决方案

设置正确升级状态的过程

简介

本文档介绍如何对Cisco Policy Suite(CPS)中的服务中软件迁移(ISSM)失败的Diameter对等问题进行故障排除。

先决条件

要求

Cisco 建议您了解以下主题：

- Linux

- CPS

- 直径

- 开放式服务网关计划(OSGI)框架

注意：Cisco建议您必须拥有对CPS CLI的超级用户权限。

使用的组件

本文档中的信息基于以下软件和硬件版本：

- CPS 19.4、21.1

- CentOS Linux版本8.1.1911（核心）

本文档中的信息都是基于特定实验室环境中的设备编写的。本文档中使用的所有设备最初均采用原始（默认）配置。如果您的网络处于活动状态，请确保您了解所有命令的潜在影响。

背景信息

用户可以选择执行CPS 19.4.0/CPS 19.5.0到CPS 21.1.0的ISSM。此迁移允许流量在完成后继续运行，而不会有任何影响。

ISSM至CPS 21.1.0仅支持移动高可用性(HA)和地理位置冗余(GR)安装。无法迁移其他CPS安装类型(mog|pats|arbiter|andsf|escef)。

问题

观察到，当从CPS19.4到CPS21.1的ISSM由于无效而失败时 Hosts.csv 条目，同时使用负载均衡(LB)的所有diameter对等体连接都断开，正常重启无助于恢复。

[root@lab-lb02 ~]# ./show_peers.sh --all --summary

###############################################################################

[Wed Sep 21 01:57:47 CDT 2022]

SUMMARY of Peers in OKAY State:

|  Gx  |  Re  |  Rx  |  Sh  |  Sy  |

-------------|------|------|------|------|------|

lb01 peers   |  0   |  0   |  0   |  0   |  0   |

-------------|------|------|------|------|------|

lb02 peers   |  0   |  0   |  0   |  0   |  0   |

-------------|------|------|------|------|------|

这是您在启用调试级别记录器时在consolidated-qns.log中看到的免除。

2022-09-21 08:25:00,188 [pool-3-thread-1] DEBUG c.b.d.i.server.DelayedStartManager.? - isWorkerConnected: true queueSystem.enabled: false queueSystem.available: true isUpgradeState: false

执行此步骤后，该进程因在 Hosts.csv 文件.

/mnt/iso/migrate.sh disable set 1

2022-09-21 02:52:48,913 INFO [__main__.migrate_disable_set] Waiting for build init.d background task

Replica-set Configuration

-------------------------------------------------------------------------------

The progress of this script can be monitored in the following log:

/var/log/broadhop/scripts//build_set_21092022_024648_1663728408306850218.log

-------------------------------------------------------------------------------

[ Done ] file creation [ In Progress ]

2022-09-21 02:58:16,385 INFO [__main__.migrate_disable_set] build init.d successfully.

2022-09-21 02:58:16,385 INFO [__main__.run_recipe] Performing installation stage: QuiesceClusterSet

[lab-cc02 PSZ06PCRFCC02] Executing task 'DisableArbiterVipNode'

[lab-cc02 PSZ06PCRFCC02] run: /var/qps/bin/support/disable_arbiter_vip_node.sh

Fatal error: Name lookup failed for lab-cc02 PSZ06PCRFCC02 --> Error highlight. Invalid host entry is noticed.

Underlying exception:

Name or service not known

Aborting.

2022-09-21 02:58:16,967 ERROR [__main__.<module>] Error during installation

2022-09-21 02:58:16,970 INFO [__main__.<module>] =====================

2022-09-21 02:58:16,970 INFO [__main__.<module>] FAILURE

2022-09-21 02:58:16,970 INFO [__main__.<module>] ======== END ========

2022-09-21 02:58:16,970 INFO [__main__.<module>] To have the environment variable updated, please logout and login from all opened shell on the current system

[root@lab-cm csv]#

脚本 trigger_silo.sh，作为 migrate.sh 执行会暂停所选LB中的所有qns进程以进行set1迁移。

2022-09-21 03:11:34,885 INFO [migrate_traffic.run] running - ['bash', '-c', 'source /var/qps/install/current/scripts/migrate/trigger_silo.sh && trigger_silo_pre_set1_upgrade /var/tmp/cluster-upgrade-set-1.txt /var/tmp/cluster-upgrade-set-2.txt /var/log/trigger_silo.log']

2022-09-21 03:17:27,594 INFO [command.execute] (stdout): LB qns process count : 7

Running pause on lb02-1

checking JMX port 9045 ....

Done - Paused qns-1

Running pause on lb02-2

checking JMX port 9046 ....

Done - Paused qns-2

Running pause on lb02-3

checking JMX port 9047 ....

Done - Paused qns-3

Running pause on lb02-4

checking JMX port 9048 ....

Done - Paused qns-4

Running pause on lb02-5

checking JMX port 9049 ....

Done - Paused qns-5

Running pause on lb02-6

checking JMX port 9050 ....

Done - Paused qns-6

Running pause on lb02-7

checking JMX port 9051 ....

Done - Paused qns-7

解决方案

升级不完整且为部分升级，ISSM过程使CPS系统处于 isUpgradeState: false.

要从这种情况恢复，必须设置 isUpgradeState: true 在CPS的OSGI框架中。

设置正确升级状态的过程

步骤1.登录到Cluster Manager节点。

步骤2.连接到CPS系统的OSGI框架。

[root@installer ~]# telnet qns01 9091

Trying 192.168.10.11...

Connected to qns01.

Escape character is '^]'.

osgi>

步骤3.执行此命令。

osgi> markNodeUpgraded

Upgraded status set to true

osgi>

步骤4.使用此命令正常断开与OSGI框架的连接。

osgi> disconnect

Disconnect from console? (y/n; default=y) y

Connection closed by foreign host.

[root@installer ~]#

应用解决方案后，请使用此命令检查diameter peer状态并确保所有需要的对等体都处于活动状态。

[root@lab-lb02 ~]# ./show_peers.sh --all --summary

###############################################################################

[Wed Sep 21 01:57:47 CDT 2022]

SUMMARY of Peers in OKAY State:

|  Gx  |  Re  |  Rx  |  Sh  |  Sy  |

-------------|------|------|------|------|------|

lb01 peers   |  72  |  120 |  36  |  0   |  12  |

-------------|------|------|------|------|------|

lb02 peers   |  72  |  120 |  36  |  0   |  12  |

-------------|------|------|------|------|------|