Inhoud

Inleiding

Achtergrondinformatie

Wat is RCM?

Componenten van RCM

Standaard RCM-implementatiemodel

RCM CLI-Overzicht

IP-adres voor UPF-beheer

IP-apparaatrol

Handige CLI-opdrachten voor RCM-probleemoplossing

Identificeer huidige stand-by UPF vanaf RCM OPS Center

Probleem gemeld door RCM-defecten op CNDP POD’s

Oplossing

Tijdelijke oplossing

Logs om te verzamelen in het geval van een UPF-fout die een switchover veroorzaakt

Vastleggingsniveau RCM-vanaf-het-centrum

Stap voor stap gegevensverzameling

Gerelateerde informatie

Inleiding

Dit document beschrijft de basisstappen naar probleemoplossing bij de configuratie van redundantie (RCM) in het geval van een gebeurtenis met een netwerkfout.

Achtergrondinformatie

Wat is RCM?

De RCM is een bedrijfseigen knooppunt of netwerkfunctie van Cisco (NF) die redundantie biedt voor de functies van het StarOS-gebaseerd gebruikersvlak (UPF).

De RCM verstrekt N:M redundantie van UPF, waar N een aantal actieve UPF's is en minder dan 10, en M is een aantal Standby UPs in de overtollige groep.

Componenten van RCM

De RCM bestaat uit onderdelen die als pods in de RCM VM werken:

- Controller: Het communiceert gebeurtenis-specifieke beslissingen met alle andere poden in RCM

- BFD Manager (BFDMgr): Het gebruikt het BFD-protocol om de status van het gegevensvliegtuig te bepalen

- Configuratie Manager (ConfigMgr): Hiermee wordt de gevraagde configuratie naar de gebruikersplannen (UPs) geladen

- Redundantie Manager (RedMgr): Het wordt ook de Checkpoint Manager genoemd. Het slaat de gegevens van de controlepost op en stuurt naar een standby UPF

- Keepalived: Het communiceert tussen Active en Standby RCM met het gebruik van VRRP

Standaard RCM-implementatiemodel

RCM CLI-Overzicht

In dit voorbeeld zijn er vier RCM OPS-centra. Om te bevestigen wat RCM Kubernetes overeenkomt met welke RCM OPS Center en RCM Common Executive Environment (CEE) u kunt inloggen op de RCM Kubernetes en de namen van de namen noemen:

cloud-user@up0300-aio-1-primary-1:~$ kubectl get namespace

NAME              STATUS   AGE

cee-rce31         Active   54d

default           Active   57d

istio-system      Active   57d

kube-node-lease   Active   57d

kube-public       Active   57d

kube-system       Active   57d

nginx-ingress     Active   57d

rcm-rm31          Active   54d

rcm-rm33          Active   54d

registry          Active   57d

smi-certs         Active   57d

smi-node-label    Active   57d

smi-vips          Active   57d

cloud-user@up300-aio-2-primary-1:~$ kubectl get namespace

NAME              STATUS   AGE

cee-rce32         Active   54d

default           Active   57d

istio-system      Active   57d

kube-node-lease   Active   57d

kube-public       Active   57d

kube-system       Active   57d

nginx-ingress     Active   57d

rcm-rm32          Active   54d

rcm-rm34          Active   54d

registry          Active   57d

smi-certs         Active   57d

smi-node-label    Active   57d

smi-vips          Active   57d

IP-adres voor UPF-beheer

Dit IP is specifiek en gekoppeld aan VM of UPF. Het wordt gebruikt in eerste communicatie tussen UPF en RCM, waar UPF zich registreert bij RCM en RCM, en ook UPF vormt en een rol toewijst. U kunt deze IP gebruiken om UPF te identificeren uit de uitvoer van RCM CLI.

IP-apparaatrol

Verbonden aan een rol (actief/stand-by):

Dit IP-adres beweegt naarmate de omschakeling plaatsvindt.

Handige CLI-opdrachten voor RCM-probleemoplossing

U kunt bekijken welke RCM-groep de UPF is van RCM OPS Center. Zoek een voorbeeld van Cloud Native Deployment Platform (CNDP):

[local]UPF317# show rcm info

Redundancy Configuration Module:

-------------------------------------------------------------------------------

Context:                         rcm

Bind Address:                    10.10.9.81

Chassis State:                   Active

Session State:                   SockActive

Route-Modifier:                  32

RCM Controller Address:          10.10.9.179

RCM Controller Port:             9200

RCM Controller Connection State: Connected

Ready To Connect:                Yes

Management IP Address:           10.10.14.33

Host ID:                         UPF320

SSH IP Address:                  10.10.14.40 (Activated)

Opmerking: De Host ID is niet hetzelfde als de UPF-hostname.

Hier ziet u de status op RCM OPS Center:

[up300-aio-2/rm34] rcm# rcm show-status

message :

{"status":[" Thu Oct 21 10:45:21 UTC 2021 : State is primary"]}

[up300-aio-2/rm34] rcm# rcm show-statistics controller

message :

{

"keepalive_version": "65820a54450f930458c01e4049bd01f207bc6204e598f0ad3184c401174fd448",

"keepalive_timeout": "2s",

"num_groups": 2,

"groups": [

{

"groupid": 2,

"endpoints_configured": 7,

"standby_configured": 1,

"pause_switchover": false,

"active": 6,

"standby": 1,

"endpoints": [

{

"endpoint": "10.10.9.85",

"bfd_status": "STATE_UP",

"upf_registered": true,

"upf_connected": true,

"upf_state_received": "UpfMsgState_Active",

"bfd_state": "BFDState_UP",

"upf_state": "UPFState_Active",

"route_modifier": 32,

"pool_received": true,

"echo_received": 45359,

"management_ip": "10.10.14.41",

"host_id": "UPF322",

"ssh_ip": "10.10.14.44"

},

{

"endpoint": "10.10.9.86",

"bfd_status": "STATE_UP",

"upf_registered": true,

"upf_connected": true,

"upf_state_received": "UpfMsgState_Active",

"bfd_state": "BFDState_UP",

"upf_state": "UPFState_Active",

"route_modifier": 32,

"pool_received": true,

"echo_received": 4518,

"management_ip": "10.10.14.43",

"host_id": "UPF317",

"ssh_ip": "10.10.14.34"

},

{

"endpoint": "10.10.9.94",

"bfd_status": "STATE_UP",

"upf_registered": true,

"upf_connected": true,

"upf_state_received": "UpfMsgState_Active",

"bfd_state": "BFDState_UP",

"upf_state": "UPFState_Active",

"route_modifier": 32,

"pool_received": true,

"echo_received": 4518,

"management_ip": "10.10.14.59",

"host_id": "UPF318",

"ssh_ip": "10.10.14.36"

},

{

"endpoint": "10.10.9.81",

"bfd_status": "STATE_UP",

"upf_registered": true,

"upf_connected": true,

"upf_state_received": "UpfMsgState_Active",

"bfd_state": "BFDState_UP",

"upf_state": "UPFState_Active",

"route_modifier": 32,

"pool_received": true,

"echo_received": 45359,

"management_ip": "10.10.14.33",

"host_id": "UPF320",

"ssh_ip": "10.10.14.40"

},

{

"endpoint": "10.10.9.82",

"bfd_status": "STATE_UP",

"upf_registered": true,

"upf_connected": true,

"upf_state_received": "UpfMsgState_Standby",

"bfd_state": "BFDState_UP",

"upf_state": "UPFState_Standby",

"route_modifier": 50,

"pool_received": false,

"echo_received": 4505,

"management_ip": "10.10.14.35",

"host_id": "",

"ssh_ip": "10.10.14.60"

},

{

"endpoint": "10.10.9.83",

"bfd_status": "STATE_UP",

"upf_registered": true,

"upf_connected": true,

"upf_state_received": "UpfMsgState_Active",

"bfd_state": "BFDState_UP",

"upf_state": "UPFState_Active",

"route_modifier": 30,

"pool_received": true,

"echo_received": 4518,

"management_ip": "10.10.14.37",

"host_id": "UPF319",

"ssh_ip": "10.10.14.38"

},

{

"endpoint": "10.10.9.84",

"bfd_status": "STATE_UP",

"upf_registered": true,

"upf_connected": true,

"upf_state_received": "UpfMsgState_Active",

"bfd_state": "BFDState_UP",

"upf_state": "UPFState_Active",

"route_modifier": 32,

"pool_received": true,

"echo_received": 4518,

"management_ip": "10.10.14.39",

"host_id": "UPF321",

"ssh_ip": "10.10.14.42"

}

]

},

Identificeer huidige stand-by UPF vanaf RCM OPS Center

Bij RCM OPS identificeert het Centrum de UPF in stand-by met behulp van de opdracht van de Rcm Show-statistics controller:

{

"endpoint": "10.10.9.82",

"bfd_status": "STATE_UP",

"upf_registered": true,

"upf_connected": true,

"upf_state_received": "UpfMsgState_Standby",

"bfd_state": "BFDState_UP",

"upf_state": "UPFState_Standby",

"route_modifier": 50,

"pool_received": false,

"echo_received": 4505,

"management_ip": "10.10.14.35",

"host_id": "",

"ssh_ip": "10.10.14.60"

},

Meld u aan bij UPF en controleer de RCM-informatie:

[local]UPF318# show rcm info

Saturday November 06 13:29:59 UTC 2021

Redundancy Configuration Module:

-------------------------------------------------------------------------------

Context:                         rcm

Bind Address:                    10.10.9.82

Chassis State:                   Standby

Session State:                   SockStandby

Route-Modifier:                  50

RCM Controller Address:          10.10.9.179

RCM Controller Port:             9200

RCM Controller Connection State: Connected

Ready To Connect:                Yes

Management IP Address:           10.10.14.35

Host ID:

SSH IP Address:                  10.10.14.60 (Activated)

Hier is de andere nuttige informatie van RCM OPS Center:

[up300-aio-2/rm34] rcm# rcm show-statistics

Possible completions:

bfdmgr          Show RCM BFDMgr Statistics information

checkpointmgr   Show RCM Checkpointmgr Statistics information

configmgr       Show RCM Configmgr Statistics information

controller      Show RCM Controller Statistics information

|               Output modifiers

<cr>

Download de RCM-handleiding voor release 21.24.

Probleem gemeld door RCM-defecten op CNDP POD’s

Het probleem werd gemeld op een van de UPF's met betrekking tot alert UP_SX_SESS_ESTABLISHMENT_SR. In deze waarschuwing staat dat het succespercentage van de sessieinstelling op de SX-interface onder de ingestelde drempel is gedaald.

Als je naar de Grafana stats kijkt, wordt een 5G/4G degradatie waargenomen door de loskoppeling van reden pdn_sess_aanmaak | | Onvolkomenheden | upf_error:

Dit bevestigt dat het pdn_sess_Cream | | Onvolkomenheden | upf_error werd veroorzaakt door UPF419:

[local]UPF419# show rcm info

Saturday November 06 14:01:30 UTC 2021

Redundancy Configuration Module:

-------------------------------------------------------------------------------

Context:                         rcm

Bind Address:                    10.10.11.83

Chassis State:                   Active

Session State:                   SockActive

Route-Modifier:                  30

RCM Controller Address:          10.10.11.179

RCM Controller Port:             9200

RCM Controller Connection State: Connected

Ready To Connect:                Yes

Management IP Address:           10.10.14.165

Host ID:                         DNUD0417

SSH IP Address:                  10.10.14.162 (Activated)

Op SMF kunt u de UPF-configuratie controleren. In dit geval moet u het UPF N4 IP-adres zoeken:

[smf/smf2] smf# show running-config profile network-element upf node-id n4-peer-UPF417

profile network-element upf upf19

node-id           n4-peer-UPF417

n4-peer-address ipv4 10.10.10.17

n4-peer-port      8805

upf-group-profile upf-group1

dnn-list          [ internet ]

capacity          10

priority          1

exit

U kunt vervolgens de Grafana query uitvoeren om aan te geven wat UPF N4 adres is dat de meeste fouten bevat:

Grafana Query:

sum (proto_udp_res_msg_total {ruimtevaartruimte="$bak="$nama", bericht_name="sessie_establishment_res", status="no_rsp_ontving_tx"} [15m]) door (bericht_naam, status, peer_info)

Etiket: {bericht_naam} | {{status} | {peer_info}

Grafana moet laten zien waar fouten gebeuren. In het voorbeeld houdt het verband met UPF419.

Wanneer u verbinding maakt met het systeem, kunt u bevestigen dat de sessmgr niet goed was ingesteld na de RCM-omschakeling omdat veel sessiemanagers niet in de verwachte "Actv Ready"-status zitten.

[local]UPF419# show srp checkpoint statistics verbose

Tuesday November 02 17:24:01 UTC 2021

smgr     state  peer    recovery  pre-alloc  chk-point rcvd   chk-point sent

inst            conn    records   calls      full     micro   full     micro

----   -------  -----   -------   --------   -----    -----   -----     ----

1      Actv Ready         0          0    1108    34001   14721   1200158

2      Actv Ready         0          0    1086    33879   17563   1347298

3      Actv Ready         0          0    1114    34491   15622   1222592

4      Actv  Conn         0          0       5      923       0        0

5      Actv Ready         0          0    1106    34406   13872   1134403

6      Actv  Conn         0          0       5      917       0        0

7      Actv  Conn         0          0       5      920       0        0

8      Actv  Conn         0          0       1      905       0        0

9      Actv  Conn         0          0       5      916       0        0

10      Actv  Conn         0          0       5      917       0        0

11      Actv Ready         0          0    1099    34442   13821   1167011

12      Actv  Conn         0          0       5      916       0        0

13      Actv  Conn         0          0       5      917       0        0

14      Actv Ready         0          0    1085    33831   13910   1162759

15      Actv Ready         0          0    1085    33360   13367   1081370

16      Actv  Conn         0          0       4      921       0        0

17      Actv Ready         0          0    1100    35009   13789   1138089

18      Actv Ready         0          0    1092    33953   13980   1126028

19      Actv  Conn         0          0       5      916       0        0

20      Actv  Conn         0          0       5      918       0        0

21      Actv Ready         0          0    1098    33521   13636   1108875

22      Actv Ready         0          0    1090    34464   14529   1263419

Oplossing

Dit is gerelateerd aan Cisco Defect Tracking System (CDETS) CSCvz9749. De oplossing is geïntegreerd in 21.22.ua4.82694 en later.

Tijdelijke oplossing

Op UPF419 moet u de sessiemanagers opnieuw opstarten die niet in Actv Ready waren met de verborgen instantie van de taakverdeler sessmgr <> en dit lost de situatie op.

[local]UPF419# show srp checkpoint statistics verbose

Wednesday November 03 16:44:57 UTC 2021

smgr     state  peer    recovery  pre-alloc  chk-point rcvd   chk-point sent

inst            conn    records   calls      full     micro   full     micro

----   -------  -----   -------   --------   -----    -----   -----     ----

1      Actv Ready         0          0    1108    34001   38319   2267162

2      Actv Ready         0          0    1086    33879   40524   2428315

3      Actv Ready         0          0    1114    34491   39893   2335889

4      Actv Ready         0          0       0        0   12275   1049616

5      Actv Ready         0          0    1106    34406   37240   2172748

6      Actv Ready         0          0       0        0   13302   1040480

7      Actv Ready         0          0       0        0   12636   1062146

8      Actv Ready         0          0       0        0   11446   976169

9      Actv Ready         0          0       0        0   11647   972715

10      Actv Ready         0          0       0        0   11131   950436

11      Actv Ready         0          0    1099    34442   36696   2225847

12      Actv Ready         0          0       0        0   10739   919316

13      Actv Ready         0          0       0        0   11140   970384

14      Actv Ready         0          0    1085    33831   37206   2226049

15      Actv Ready         0          0    1085    33360   38135   2225816

16      Actv Ready         0          0       0        0   11159   946364

17      Actv Ready         0          0    1100    35009   37775   2242427

18      Actv Ready         0          0    1092    33953   37469   2181043

19      Actv Ready         0          0       0        0   13066   1055662

20      Actv Ready         0          0       0        0   10441   938350

21      Actv Ready         0          0    1098    33521   37238   2165185

22      Actv Ready         0          0    1090    34464   38227   2399415

Logs om te verzamelen in het geval van een UPF-fout die een switchover veroorzaakt

Opmerking: Zorg ervoor dat debug-logbestanden in RCM zijn ingeschakeld (verzoek om goedkeuring voordat u een debug-logbestand activeert). Raadpleeg de logaanbevelingen.

Vastleggingsniveau RCM-vanaf-het-centrum

logging level application debug

logging level transaction debug

logging level tracing off

logging name infra.config.core level application warn

logging name infra.config.core level transaction warn

logging name infra.resource_monitor.core level application warn

logging name infra.resource_monitor.core level transaction warn

Stap voor stap gegevensverzameling

1. Samenvatting van de kwestie: De probleemverklaring moet duidelijk zijn. Geef de problematische naam/ip op zodat het makkelijker is om de benodigde informatie uit de logbestanden te vinden. Bijvoorbeeld, in het geval van een omschakeling kwestie, is het behulpzaam als het wordt vermeld dat IP x.x.x.x.x de bron UPF is en x.x.x.y de bestemming UPF is.

2. Als er meerdere manieren zijn om het probleem te reproduceren, noem dan die.

3. Informatie over RCM-versie: In het geval van RCM VM-uitrol van RCM VM, cat/etc/smi/rcm-versie van de beeldhelm vanuit het ops-center. In het geval van de RCM toont de plaatsing van de GN een helm van het opbergcentrum.

4. RCM Tac debug van CN of RCM logboeken op het tijdstip van uitgifte. In sommige gevallen kunt u ook vanaf het begin al een logbestand nodig hebben toen de POD net boven kwam.

5. Geef aan welke RCM primair of back-up is. In het geval van GN delen zij de gegevens voor beide RCM-paren.

6. Geef de actieve configuratie vanaf het RCM-ops-centrum vanaf alle instanties.

7. Verzamel de RCM SNMP-traps.

8. Ongeacht de storing van de omschakeling of niet, is het beter één actieve UP SSD en één stand-by SSD te verzamelen.

9. RCM-controller, configuratie, checkpoint manager, schakelover en schakelover-breedband statistische opdrachten worden gebruikt om de exacte CLI te vermelden.

Rcm-controller voor de statistiek

Configuratie rcm

controleur voor rcm-show-statistieken

Rcm-show-statistics omschakeling

Bron: Rcm.

10. Syslogs van UPF of RCM.

11. Als het probleem verband houdt met een defect aan de overschakeling, is een nieuw actief UPF-SSD en een oud actief UPF-SSD vereist. In sommige gevallen herstarten de oude acties zich als gevolg van de overschakeling. In dat geval moet je de kwestie reproduceren, en net daarvoor moet je de oude actieve UP SSD verzamelen.

12. In een geval van een overschakelingsfout is het ook handig om de vpn, sessmgr, sess-gr en sxdemux debug van oude en nieuwe actieven te verzamelen bij de reproductie van de uitgifte.

logfilter actieve voorziening sxdemux-niveau debug

debug van actieve voorziening sessgmh-niveau

debug van actieve voorziening op niveau van logfilter

debug van actieve voorziening vpn-niveau

13. Bij fouten/problemen bij sessmgr/vpnmgr zijn er videokleuren nodig. Sessmgr_Instance_id is de instantie waar het probleem wordt opgemerkt. vpnmgr_instantie_id is de context # van de RCM context.

instantie van de taakkern sessmgr_instantie_id>

Vpngr-instantie van de taakkern <vpnmgr_instantie_id>

14. In het geval van RCM HA-afgifte, deel dan de debug/peuterlogbestanden van RCM TAC van beide instanties.

Gerelateerde informatie

- https://www.cisco.com/c/en/us/support/wireless/ultra-cloud-core-user-plane-function/products-installation-and-configuration-guides-list.html

- Technische ondersteuning en documentatie – Cisco Systems