Hardware onderhoud uitvoeren in 5G IMS- en datacenterknooppunten

Inleiding

In dit document wordt de procedure beschreven om onderhoudsactiviteiten uit te voeren in de knooppunten van het IP-multimediasysteem (IMS) en het Data User Plane Functie (UPF).

Voorwaarden

Vereisten

Cisco raadt kennis van de volgende onderwerpen aan:

• 5G-UPF
• Configuratie Manager (RCM) voor redundantie
• Virtual Packet Core (VPC) - Single Instance (SI)
• Kernel-gebaseerde virtuele machine (KVM) hypersupervisor

Gebruikte componenten

De informatie in dit document is gebaseerd op de volgende software- en hardware-versies:

• Subscriber Microservices infrastructuur (SMI) 2020.02.2.35
• Star OS 21.2

De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk live is, moet u zorgen dat u de potentiële impact van elke opdracht begrijpt.

Achtergrondinformatie

Wat is UPF?

De User Plane Interface (UPF) is een van de netwerkfuncties (NF’s) van het 5G kernnetwerk (5GC). Het is verantwoordelijk voor pakketrouting en -transport, pakketinspectie, het verwerken van QoS en externe PDU-sessies om gegevensnetwerken (DN) onderling te verbinden in de 5G-architectuur.

Wat is VPC-SI?

VPC-SI consolideert de werking van fysiek Cisco ASR 5500-chassis, waarin StarOS wordt ondergebracht in één virtuele machine (VM) die kan worden uitgevoerd op commerciële off-the-shelf (COTS) servers. Elke VPC-SI VM opereert als een onafhankelijke StarOS-instantie en neemt de beheers- en sessiemogelijkheden van een fysiek chassis over.

Wat is KVM Hypersupervisor?

Kernel-Based Virtual Machine (KVM) is een open-source virtualisatietechnologie die in Linux is ingebouwd. KVM laat u Linux met name omvormen tot een hypersupervisor waarmee een host-machine meerdere, geïsoleerde virtuele omgevingen, gasten of virtuele machines (VM's), kan uitvoeren.

Wat is ICSR?

Interchassis Session recovery (ICSR) is een gelicentieerde Cisco-functie die een afzonderlijke licentie vereist, deze optie biedt de hoogste mogelijke beschikbaarheid voor doorlopend gespreksproces zonder onderbreking van de abonneeservices. ICSR laat de operator toe om gateways te configureren voor redundantie. In het geval van een gateway defect, staat ICSR de sessies toe om transparant rond de fout te worden gerouteerd, zodat de gebruikerservaring behouden blijft. ICSR behoudt ook sessieinformatie en -status.

Probleem

Het onderhoud van de hardware, zoals hardware-uitval of software/firmware-upgrade, en meer, hebben behoefte aan downtime in de servers. Deze procedure moet worden gevolgd voor onderhoud in de UPF-bladeservers en hoe op een elegante wijze over de diensten kan worden switch om ongewenste downtime in de UPF-toepassing te voorkomen. 

Onderhoudsprocedure

UPF-knooppunten zijn StarOS-VMs die worden gehost door KVM-hypersupervisor. Eén KVM-hypervisser heeft 2 VM-instanties. IMS UPF heeft 1:1 redundantie, heeft elke actieve instantie een standby instantie. het gebruikt ICSR samen met Session Redundancy Protocol (SRP) om redundantie aan te pakken. SRP wordt gebruikt om hallo-berichten uit te wisselen tussen ICSR chassis. Het wisselt ook informatie uit over de sessiestatus tussen actief/standby chassis (checkpoint data). Volledige informatie over de abonnementssessie wordt vanuit het actieve chassis naar het STANDBY-chassis verzonden in de vorm van een Call Restore Record (CRR) via de SRP-link.

Meld u aan bij het KVM-knooppunt en geef de VM-instanties een lijst met de KVM virsh-opdracht.

cloud-user@podname-upf-ims-kvmnode-1:~$ sudo virsh list --all
Id Name State
----------------------------------------------------
1 imsupf01 running
4 imsupf10 running

cloud-user@podname-upf-ims-kvmnode-1:~$

Meld u aan bij de UPF-instantie en controleer de status van het chassis.

[local]imsupf10# show srp info
Friday July 22 15:50:24 UTC 2022
Service Redundancy Protocol:
-------------------------------------------------------------------------------
Context: srp 
Local Address: 10.x.x.74
Chassis State: Standby 
Chassis Mode: Backup 
Chassis Priority: 2 
Local Tiebreaker: 02-7E-35-53-F9-F1
Route-Modifier: 9 

Peer Remote Address: 10.x.x.73
Peer State: Active 
Peer Mode: Primary 
Peer Priority: 1 
Peer Tiebreaker: 02-11-59-73-87-35
Peer Route-Modifier: 8 
Last Hello Message received: Fri Jul 22 15:50:21 2022 (3 seconds ago)
Peer Configuration Validation: Complete 
Last Peer Configuration Error: None 
Last Peer Configuration Event: Fri Jul 22 15:50:22 2022 (2 seconds ago)
Last Validate Switchover Status: None 
Connection State: Connected 

[local]imsupf01# show srp info
Friday July 22 15:31:20 UTC 2022
Service Redundancy Protocol:
-------------------------------------------------------------------------------
Context: srp 
Local Address: 10.x.x.66
Chassis State: Active 
Chassis Mode: Backup 
Chassis Priority: 2 
Local Tiebreaker: 02-7C-1A-62-FA-3C
Route-Modifier: 5 

Peer Remote Address: 10.x.x.65
Peer State: Standby 
Peer Mode: Primary 
Peer Priority: 1 
Peer Tiebreaker: 02-87-33-98-6D-08
Peer Route-Modifier: 6 
Last Hello Message received: Fri Jul 22 15:31:20 2022 (1 seconds ago)
Peer Configuration Validation: Complete 
Last Peer Configuration Error: None 
Last Peer Configuration Event: Fri Jul 22 15:20:13 2022 (668 seconds ago)
Last Validate Switchover Status: None 
Connection State: Connected 

Controleer of het aantal lijnen hetzelfde is op het actieve-stand-by ICSR paar voor IMS UPF.

Active node 
# show configuration | grep -n -E "^end$" 
Thursday July 21 07:30:17 UTC 2022
14960:end

Standby Node
# show configuration | grep -n -E "^end$" 
Thursday July 21 07:31:02 UTC 2022
14959:end

Controleer of de SRP-sessor in de actieve-verbonden toestand is voordat de SRP-overschakeling op actieve UPF wordt gestart en zorg ervoor dat er geen wachtende-actieve status is.

[local]imsupf01# show srp checkpoint statistics active 
Thursday July 21 07:38:04 UTC 2022
Number of Sessmgrs: 20
Sessmgrs in Active-Connected state: 20
Sessmgrs in Standby-Connected state: 0
Sessmgrs in Pending-Active state: 0

Controleer of SRP sessgor in de actieve-verbonden toestand is voordat SRP-omschakeling op standby UPF is en zorg ervoor dat er geen wachtende-actieve toestand is

[local]imsupf02# show srp checkpoint statistics active
Thursday July 21 07:40:03 UTC 2022
Number of Sessmgrs: 20
Sessmgrs in Active-Connected state: 0
Sessmgrs in Standby-Connected state: 20
Sessmgrs in Pending-Active state: 0

Als een van deze twee actief is, moet u deze taken eerst uitvoeren voordat u overschakelt:

[upf-ims]# save config /flash/xxx_production.cfg. --> Replace xxx with the desired name of the config
[upf-ims]# srp validate-configuration
[upf-ims]# srp validate-switchover

Voordat VM wordt uitgeschakeld, moet u ervoor zorgen dat de actieve exemplaren worden overgeschakeld op de stand-by modus zodat de abonnees scherp worden overgeschakeld. Als het geval al stand-by is, is er geen actie nodig. Als de instantie actief is, controleer dan de gemarkeerde waarden en zorg ervoor dat de stand-by klaar is om over te nemen.

Controleer de huidige abonnees in de actieve UPF-instantie.

[local]imsupf01# show subscribers data-rate summary 
Friday July 22 16:01:37 UTC 2022

Total Subscribers : 175024 
Active : 175024 Dormant : 0

Schakelt de actieve instantie over naar stand-by.

[context-name]<hostname># srp initiate-switchover

Controleer de status van de standby, die intussen actief zou zijn geworden, en de abonnementssessies worden ook verplaatst naar de nieuwe actieve instantie. Nu beide VM-instanties zich in de stand-by staat bevinden, zijn ze goed om naar beneden te gaan voor serveronderhoud. Gebruik gegeven virsh opdrachten om de VM-instanties te sluiten en de status te controleren.

cloud-user@podname-upf-ims-kvmnode-1:~$ sudo virsh shutdown imsupf01
Domain imsupf01 is being shutdown
cloud-user@podname-upf-ims-kvmnode-1:~$ sudo virsh shutdown imsupf10
Domain imsupf10 is being shutdown
cloud-user@podname-upf-ims-kvmnode-1:~$ sudo virsh list --all
Id Name State
----------------------------------------------------
1 imsupf01 shut off
4 imsupf10 shut off

cloud-user@podname-upf-ims-kvmnode-1:~$

Wanneer de server na het onderhoud wordt teruggebracht, worden VM's automatisch gestart. UPF-instanties blijven stand-by. met de gegeven opdracht controleren.

[local]imsupf10# show srp info
Friday July 22 15:50:24 UTC 2022
Service Redundancy Protocol:
-------------------------------------------------------------------------------
Context: srp 
Local Address: 10.x.x.74
Chassis State: Standby 
Chassis Mode: Backup 
Chassis Priority: 2 
Local Tiebreaker: 02-7E-35-53-F9-F1
Route-Modifier: 9 

Peer Remote Address: 10.x.x.73
Peer State: Active 
Peer Mode: Primary 
Peer Priority: 1 
Peer Tiebreaker: 02-11-59-73-87-35
Peer Route-Modifier: 8 
Last Hello Message received: Fri Jul 22 15:50:21 2022 (3 seconds ago)
Peer Configuration Validation: Complete 
Last Peer Configuration Error: None 
Last Peer Configuration Event: Fri Jul 22 15:50:22 2022 (2 seconds ago)
Last Validate Switchover Status: None 
Connection State: Connected 

Data UPF gebruikt RCM die N:M redundantie heeft, waarbij N een aantal actieve UPF's is en minder dan 10 is, en M een aantal Standby UP's in de redundantiegroep is. RCM is een Cisco eigen knooppunt of netwerkfunctie (NF) die redundantie biedt voor StarOS-gebaseerde User Plane Functions (UPF). Hiermee slaat of spiegelt u alle benodigde sessieinformatie op van alle actieve UPF-instellingen. Bij een overschakeltrigger wordt één Standby UPF geselecteerd om de juiste sessiegegevens van de gemeenschappelijke locatie te ontvangen. RCM draait op een K3-cluster op een VM. Met het Ops Center wordt de RCM-knooppunt ingesteld. 

De knopen van gegevens UPF zijn ook de zelfde als de knopen van IMS UPF. Het enige verschil is het RCM-redundantiebeheer. 

Controleer de VM status in de KVM-knooppunt.

cloud-user@podname-upf-data-kvmnode-1:~$ sudo virsh list --all
Id Name State
----------------------------------------------------
1 dataupf20 running
2 dataupf11 running

cloud-user@podname-upf-data-kvmnode-1:~$

Controleer na inloggen op de UPF-instantie de RCM-redundantie. Als het geval al stand-by is, is er geen actie nodig. Als het actief is, moet het gracieus overgezet worden naar stand-by.

[local]dataupf11# show rcm info
Friday July 22 17:23:17 UTC 2022
Redundancy Configuration Module:
-------------------------------------------------------------------------------
Context: rcm 
Bind Address: 10.x.x.75
Chassis State: Active 
Session State: SockActive 
Route-Modifier: 26 
RCM Controller Address: 10.x.x.163
RCM Controller Port: 9200 
RCM Controller Connection State: Connected 
Ready To Connect: Yes 
Management IP Address: 10.x.x.149
Host ID: DATAUPF15
SSH IP Address: 10.x.x.158 (Activated)
SSH IP Installation: Enabled

[local]dataupf11#

Controleer of alle sessmgr actief is.

local]dataupf11# show rcm checkpoint statistics active
Thursday July 21 07:47:03 UTC 2022
Number of Sessmgrs: 22
Sessmgrs in Active-Connected state: 22
Sessmgrs in Standby-Connected state: 0
Sessmgrs in Pending-Active state: 0

 Identificeer het corresponderende RCM-knooppunt uit de Customer Information Questionnaire (CIQ) en controleer de RCM-status. Merk op dat RCM-omschakeling alleen vanuit het hoofdknooppunt kan worden uitgevoerd. Zorg ervoor dat u inlogt bij de RCM.

[podname-aio-1/dcrm01] rcm# rcm show-status
message :
{"status":"MASTER"}
[podname-aio-1/dcrm01] rcm# 

Vind de actieve en standby UPF-knooppunten met de gegeven opdracht (ingedrukte uitvoer):

[podname-aio-1/dcrm01] rcm# rcm show-statistics controller 
message :
{
"keepalive_version": "e7386cb81b1fefc3396dfd1d528e0d2a27de80d5de6a78364caf938a0d2149b6",
"keepalive_timeout": "20s",
"num_groups": 2,
"groups": [
{
"groupid": 1,
"endpoints_configured": 7,
"standby_configured": 1,
"pause_switchover": false,
"active": 6,
"standby": 1,
"endpoints": [
{
"endpoint": "10.x.x.75",
"bfd_status": "STATE_UP",
"upf_registered": true,
"upf_connected": true,
"upf_state_received": "UpfMsgState_Active",
"bfd_state": "BFDState_UP",
"upf_state": "UPFState_Active",
"route_modifier": 26,
"pool_received": true,
"echo_received": 142354,
"management_ip": "10.x.x.149",
"host_id": "DATAUPF15",
"ssh_ip": "10.x.x.158",
"force_nso_registration": false

....

....

 {
"endpoint": "10.x.x.77",
"bfd_status": "STATE_UP",
"upf_registered": true,
"upf_connected": true,
"upf_state_received": "UpfMsgState_Standby",
"bfd_state": "BFDState_UP",
"upf_state": "UPFState_Standby",
"route_modifier": 50,
"pool_received": false,
"echo_received": 3673,
"management_ip": "10.x.x.153",
"host_id": "",
"ssh_ip": "10.x.x.186",
"force_nso_registration": false
},

 Aanmelden bij de standby UPF-instantie met de beheerIP en controleer de status

[local]dataupf13# show rcm info
Friday July 22 17:36:04 UTC 2022
Redundancy Configuration Module:
-------------------------------------------------------------------------------
Context: rcm 
Bind Address: 10.x.x.77
Chassis State: Standby 
Session State: SockStandby 
Route-Modifier: 50 
RCM Controller Address: 10.x.x.163
RCM Controller Port: 9200 
RCM Controller Connection State: Connected 
Ready To Connect: Yes 
Management IP Address: 10.x.x.153
Host ID: 
SSH IP Address: 10.x.x.186 (Activated)
SSH IP Installation: Enabled

[local]dataupf13#

Na de verificatie, overschakelen de actieve naar de stand-by. Zorg ervoor dat u de IP-beheersoftware gebruikt.

[podname-aio-1/dcrm01] rcm# rcm switchover-mgmt-ip source 10.x.x.149 destination 10.x.x.153 

Opmerking: In het geval na de overschakeling als de nieuwe Active UP-resolutie is vastgezet in de status van de SERVER. Neem de technische ondersteuning van Cisco in. In geval van problematische gevallen moet sessmgr worden gedood, dus sluit het zich weer aan op RCM met de juiste CLIENT socket status en herstelt het zich. Alle sessmgr moet in de CLIENT status staan. Controleer de opdracht (in verborgen modus).

# show session subsystem facility sessmgr all debug-info | grep -E "SessMgr|Mode:" 
Thursday July 21 07:56:26 UTC 2022
SessMgr: Instance 5000
Mode: UNKNOWN State: SRP_SESS_STATE_SOCK_ACTIVE
SessMgr Activity Detected: FALSE
SessMgr: Instance 22
Mode: CLIENT State: SRP_SESS_STATE_SOCK_ACTIVE
SessMgr Activity Detected: TRUE
SessMgr: Instance 21
Mode: CLIENT State: SRP_SESS_STATE_SOCK_ACTIVE
SessMgr Activity Detected: TRUE

Controleer of alle sessmgr actief en gebruiksklaar is.

# show rcm checkpoint statistics verbose 
Thursday July 21 07:52:29 UTC 2022
smgr state peer recovery pre-alloc chk-point rcvd chk-point sent
inst conn records calls full micro full micro
---- ------- ----- ------- -------- ----- ----- ----- ----
1 Actv Ready 0 0 1731 68120 3107912 409200665
2 Actv Ready 0 0 1794 70019 3060062 408647685
3 Actv Ready 0 0 1753 68793 3078531 406227415
4 Actv Ready 0 0 1744 67585 3080952 410218643
5 Actv Ready 0 0 1749 69155 3096067 404944553
6 Actv Ready 0 0 1741 68805 3067392 407133464
7 Actv Ready 0 0 1744 67963 3084023 406772101
8 Actv Ready 0 0 1748 68702 3009558 408073589
9 Actv Ready 0 0 1736 68169 3030624 405679108
10 Actv Ready 0 0 1707 67386 3071592 406000628
11 Actv Ready 0 0 1738 68086 3052899 407991476
12 Actv Ready 0 0 1720 68500 3102045 408803079
13 Actv Ready 0 0 1772 69683 3082235 406426650
14 Actv Ready 0 0 1727 66900 2873736 392352402
15 Actv Ready 0 0 1739 68465 3032395 409603844
16 Actv Ready 0 0 1756 69221 3063447 411445527
17 Actv Ready 0 0 1755 68708 3051573 406333047
18 Actv Ready 0 0 1698 66328 3066983 407320405
19 Actv Ready 0 0 1736 68030 3037073 408215965
20 Actv Ready 0 0 1733 67873 3069116 405634816
21 Actv Ready 0 0 1763 69259 3074942 409802455
22 Actv Ready 0 0 1748 68228 3051222 406470380

Controleer of de abonnees naar de nieuwe stand-by zijn verplaatst:

[local]dataupf11# show subscribers data-rate summary 
Friday July 22 17:40:18 UTC 2022

Total Subscribers : 62259 
Active : 62259 Dormant : 0

Wanneer beide voorbeelden stand-by zijn, kunnen VM's met virsh opdrachten worden afgesloten van KVMs.

cloud-user@podname-upf-data-kvmnode-1:~$ sudo virsh shutdown dataupf20
Domain dataupf20 is being shutdown
cloud-user@podname-upf-data-kvmnode-1:~$ sudo virsh shutdown dataupf11
Domain dataupf11 is being shutdown
cloud-user@podname-upf-data-kvmnode-1:~$ sudo virsh list --all
Id Name State
----------------------------------------------------
1 dataupf20 shut off
4 dataupf11 shut off

cloud-user@podname-upf-data-kvmnode-1:~$

Wanneer VM's worden uitgeschakeld, kan het KVM-knooppunt (fysieke server) worden uitgeschakeld voor onderhoud. Start de server na voltooiing. VM's worden automatisch opgevoed. De instanties van de UPF worden op hun eigen stand-by. Controleer hetzelfde met bepaalde opdrachten.

cloud-user@podname-upf-data-kvmnode-1:~$ sudo virsh list --all
Id Name State
----------------------------------------------------
1 dataupf20 running
2 dataupf11 running

cloud-user@podname-upf-data-kvmnode-1:~$

[local]dataupf11# show rcm info
Friday July 22 17:36:04 UTC 2022
Redundancy Configuration Module:
-------------------------------------------------------------------------------
Context: rcm 
Bind Address: 10.x.x.77
Chassis State: Standby 
Session State: SockStandby 
Route-Modifier: 50 
RCM Controller Address: 10.x.x.163
RCM Controller Port: 9200 
RCM Controller Connection State: Connected 
Ready To Connect: Yes 
Management IP Address: 10.x.x.153
Host ID: 
SSH IP Address: 10.x.x.186 (Activated)
SSH IP Installation: Enabled

[local]dataupf13#

In het RCM-knooppunt kan de Rcm-controller de standby UPF nog steeds laten zien als "hangende stand-by". Het kan 15 tot 20 minuten duren om te zetten in standby. Controleer hetzelfde met de gegeven opdrachten (ingekort):

[podname-aio-1/dcrm01] rcm# rcm show-statistics controller 
message :
{
"keepalive_version": "e7386cb81b1fefc3396dfd1d528e0d2a27de80d5de6a78364caf938a0d2149b6",
"keepalive_timeout": "20s",
"num_groups": 2,
"groups": [
{
"groupid": 1,
"endpoints_configured": 7,
"standby_configured": 1,
"pause_switchover": false,
"active": 6,
"standby": 1,
"endpoints": [
....
....
{
"endpoint": "10.x.x.77",
"bfd_status": "STATE_UP",
"upf_registered": true,
"upf_connected": true,
"upf_state_received": "UpfMsgState_Standby",
"bfd_state": "BFDState_UP",
"upf_state": "UPFState_Standby",
"route_modifier": 50,
"pool_received": false,
"echo_received": 3673,
"management_ip": "10.x.x.153",
"host_id": "",
"ssh_ip": "10.x.x.186",
"force_nso_registration": false
},