Probleemoplossing met switchover op RCM geconvergeerde Core
Inhoud
Inleiding
Dit document beschrijft de basisstappen naar probleemoplossing bij de configuratie van redundantie (RCM) in het geval van een gebeurtenis met een netwerkfout.
Achtergrondinformatie
Wat is RCM?
De RCM is een bedrijfseigen knooppunt of netwerkfunctie van Cisco (NF) die redundantie biedt voor de functies van het StarOS-gebaseerd gebruikersvlak (UPF).
De RCM verstrekt N:M redundantie van UPF, waar N een aantal actieve UPF's is en minder dan 10, en M is een aantal Standby UPs in de overtollige groep.
Componenten van RCM
De RCM bestaat uit onderdelen die als pods in de RCM VM werken:
- Controller: Het communiceert gebeurtenis-specifieke beslissingen met alle andere poden in RCM
- BFD Manager (BFDMgr): Het gebruikt het BFD-protocol om de status van het gegevensvliegtuig te bepalen
- Configuratie Manager (ConfigMgr): Hiermee wordt de gevraagde configuratie naar de gebruikersplannen (UPs) geladen
- Redundantie Manager (RedMgr): Het wordt ook de Checkpoint Manager genoemd. Het slaat de gegevens van de controlepost op en stuurt naar een standby UPF
- Keepalived: Het communiceert tussen Active en Standby RCM met het gebruik van VRRP
Standaard RCM-implementatiemodel
RCM CLI-Overzicht
In dit voorbeeld zijn er vier RCM OPS-centra. Om te bevestigen wat RCM Kubernetes overeenkomt met welke RCM OPS Center en RCM Common Executive Environment (CEE) u kunt inloggen op de RCM Kubernetes en de namen van de namen noemen:
cloud-user@up0300-aio-1-primary-1:~$ kubectl get namespace
NAME STATUS AGE
cee-rce31 Active 54d
default Active 57d
istio-system Active 57d
kube-node-lease Active 57d
kube-public Active 57d
kube-system Active 57d
nginx-ingress Active 57d
rcm-rm31 Active 54d
rcm-rm33 Active 54d
registry Active 57d
smi-certs Active 57d
smi-node-label Active 57d
smi-vips Active 57d
cloud-user@up300-aio-2-primary-1:~$ kubectl get namespace
NAME STATUS AGE
cee-rce32 Active 54d
default Active 57d
istio-system Active 57d
kube-node-lease Active 57d
kube-public Active 57d
kube-system Active 57d
nginx-ingress Active 57d
rcm-rm32 Active 54d
rcm-rm34 Active 54d
registry Active 57d
smi-certs Active 57d
smi-node-label Active 57d
smi-vips Active 57d
IP-adres voor UPF-beheer
Dit IP is specifiek en gekoppeld aan VM of UPF. Het wordt gebruikt in eerste communicatie tussen UPF en RCM, waar UPF zich registreert bij RCM en RCM, en ook UPF vormt en een rol toewijst. U kunt deze IP gebruiken om UPF te identificeren uit de uitvoer van RCM CLI.
IP-apparaatrol
Verbonden aan een rol (actief/stand-by):
Dit IP-adres beweegt naarmate de omschakeling plaatsvindt.
Handige CLI-opdrachten voor RCM-probleemoplossing
U kunt bekijken welke RCM-groep de UPF is van RCM OPS Center. Zoek een voorbeeld van Cloud Native Deployment Platform (CNDP):
[local]UPF317# show rcm info
Redundancy Configuration Module:
-------------------------------------------------------------------------------
Context: rcm
Bind Address: 10.10.9.81
Chassis State: Active
Session State: SockActive
Route-Modifier: 32
RCM Controller Address: 10.10.9.179
RCM Controller Port: 9200
RCM Controller Connection State: Connected
Ready To Connect: Yes
Management IP Address: 10.10.14.33
Host ID: UPF320
SSH IP Address: 10.10.14.40 (Activated)
Hier ziet u de status op RCM OPS Center:
[up300-aio-2/rm34] rcm# rcm show-status
message :
{"status":[" Thu Oct 21 10:45:21 UTC 2021 : State is primary"]}
[up300-aio-2/rm34] rcm# rcm show-statistics controller
message :
{
"keepalive_version": "65820a54450f930458c01e4049bd01f207bc6204e598f0ad3184c401174fd448",
"keepalive_timeout": "2s",
"num_groups": 2,
"groups": [
{
"groupid": 2,
"endpoints_configured": 7,
"standby_configured": 1,
"pause_switchover": false,
"active": 6,
"standby": 1,
"endpoints": [
{
"endpoint": "10.10.9.85",
"bfd_status": "STATE_UP",
"upf_registered": true,
"upf_connected": true,
"upf_state_received": "UpfMsgState_Active",
"bfd_state": "BFDState_UP",
"upf_state": "UPFState_Active",
"route_modifier": 32,
"pool_received": true,
"echo_received": 45359,
"management_ip": "10.10.14.41",
"host_id": "UPF322",
"ssh_ip": "10.10.14.44"
},
{
"endpoint": "10.10.9.86",
"bfd_status": "STATE_UP",
"upf_registered": true,
"upf_connected": true,
"upf_state_received": "UpfMsgState_Active",
"bfd_state": "BFDState_UP",
"upf_state": "UPFState_Active",
"route_modifier": 32,
"pool_received": true,
"echo_received": 4518,
"management_ip": "10.10.14.43",
"host_id": "UPF317",
"ssh_ip": "10.10.14.34"
},
{
"endpoint": "10.10.9.94",
"bfd_status": "STATE_UP",
"upf_registered": true,
"upf_connected": true,
"upf_state_received": "UpfMsgState_Active",
"bfd_state": "BFDState_UP",
"upf_state": "UPFState_Active",
"route_modifier": 32,
"pool_received": true,
"echo_received": 4518,
"management_ip": "10.10.14.59",
"host_id": "UPF318",
"ssh_ip": "10.10.14.36"
},
{
"endpoint": "10.10.9.81",
"bfd_status": "STATE_UP",
"upf_registered": true,
"upf_connected": true,
"upf_state_received": "UpfMsgState_Active",
"bfd_state": "BFDState_UP",
"upf_state": "UPFState_Active",
"route_modifier": 32,
"pool_received": true,
"echo_received": 45359,
"management_ip": "10.10.14.33",
"host_id": "UPF320",
"ssh_ip": "10.10.14.40"
},
{
"endpoint": "10.10.9.82",
"bfd_status": "STATE_UP",
"upf_registered": true,
"upf_connected": true,
"upf_state_received": "UpfMsgState_Standby",
"bfd_state": "BFDState_UP",
"upf_state": "UPFState_Standby",
"route_modifier": 50,
"pool_received": false,
"echo_received": 4505,
"management_ip": "10.10.14.35",
"host_id": "",
"ssh_ip": "10.10.14.60"
},
{
"endpoint": "10.10.9.83",
"bfd_status": "STATE_UP",
"upf_registered": true,
"upf_connected": true,
"upf_state_received": "UpfMsgState_Active",
"bfd_state": "BFDState_UP",
"upf_state": "UPFState_Active",
"route_modifier": 30,
"pool_received": true,
"echo_received": 4518,
"management_ip": "10.10.14.37",
"host_id": "UPF319",
"ssh_ip": "10.10.14.38"
},
{
"endpoint": "10.10.9.84",
"bfd_status": "STATE_UP",
"upf_registered": true,
"upf_connected": true,
"upf_state_received": "UpfMsgState_Active",
"bfd_state": "BFDState_UP",
"upf_state": "UPFState_Active",
"route_modifier": 32,
"pool_received": true,
"echo_received": 4518,
"management_ip": "10.10.14.39",
"host_id": "UPF321",
"ssh_ip": "10.10.14.42"
}
]
},
Identificeer huidige stand-by UPF vanaf RCM OPS Center
Bij RCM OPS identificeert het Centrum de UPF in stand-by met behulp van de opdracht van de Rcm Show-statistics controller:
{
"endpoint": "10.10.9.82",
"bfd_status": "STATE_UP",
"upf_registered": true,
"upf_connected": true,
"upf_state_received": "UpfMsgState_Standby",
"bfd_state": "BFDState_UP",
"upf_state": "UPFState_Standby",
"route_modifier": 50,
"pool_received": false,
"echo_received": 4505,
"management_ip": "10.10.14.35",
"host_id": "",
"ssh_ip": "10.10.14.60"
},
Meld u aan bij UPF en controleer de RCM-informatie:
[local]UPF318# show rcm info
Saturday November 06 13:29:59 UTC 2021
Redundancy Configuration Module:
-------------------------------------------------------------------------------
Context: rcm
Bind Address: 10.10.9.82
Chassis State: Standby
Session State: SockStandby
Route-Modifier: 50
RCM Controller Address: 10.10.9.179
RCM Controller Port: 9200
RCM Controller Connection State: Connected
Ready To Connect: Yes
Management IP Address: 10.10.14.35
Host ID:
SSH IP Address: 10.10.14.60 (Activated)
Hier is de andere nuttige informatie van RCM OPS Center:
[up300-aio-2/rm34] rcm# rcm show-statistics
Possible completions:
bfdmgr Show RCM BFDMgr Statistics information
checkpointmgr Show RCM Checkpointmgr Statistics information
configmgr Show RCM Configmgr Statistics information
controller Show RCM Controller Statistics information
| Output modifiers
<cr>
Download de RCM-handleiding voor release 21.24.
Probleem gemeld door RCM-defecten op CNDP POD’s
Het probleem werd gemeld op een van de UPF's met betrekking tot alert UP_SX_SESS_ESTABLISHMENT_SR. In deze waarschuwing staat dat het succespercentage van de sessieinstelling op de SX-interface onder de ingestelde drempel is gedaald.
Als je naar de Grafana stats kijkt, wordt een 5G/4G degradatie waargenomen door de loskoppeling van reden pdn_sess_aanmaak | | Onvolkomenheden | upf_error:
Dit bevestigt dat het pdn_sess_Cream | | Onvolkomenheden | upf_error werd veroorzaakt door UPF419:
[local]UPF419# show rcm info
Saturday November 06 14:01:30 UTC 2021
Redundancy Configuration Module:
-------------------------------------------------------------------------------
Context: rcm
Bind Address: 10.10.11.83
Chassis State: Active
Session State: SockActive
Route-Modifier: 30
RCM Controller Address: 10.10.11.179
RCM Controller Port: 9200
RCM Controller Connection State: Connected
Ready To Connect: Yes
Management IP Address: 10.10.14.165
Host ID: DNUD0417
SSH IP Address: 10.10.14.162 (Activated)
Op SMF kunt u de UPF-configuratie controleren. In dit geval moet u het UPF N4 IP-adres zoeken:
[smf/smf2] smf# show running-config profile network-element upf node-id n4-peer-UPF417
profile network-element upf upf19
node-id n4-peer-UPF417
n4-peer-address ipv4 10.10.10.17
n4-peer-port 8805
upf-group-profile upf-group1
dnn-list [ internet ]
capacity 10
priority 1
exit
U kunt vervolgens de Grafana query uitvoeren om aan te geven wat UPF N4 adres is dat de meeste fouten bevat:
Grafana Query:
sum (proto_udp_res_msg_total {ruimtevaartruimte="$bak="$nama", bericht_name="sessie_establishment_res", status="no_rsp_ontving_tx"} [15m]) door (bericht_naam, status, peer_info)
Etiket: {bericht_naam} | {{status} | {peer_info}
Grafana moet laten zien waar fouten gebeuren. In het voorbeeld houdt het verband met UPF419.
Wanneer u verbinding maakt met het systeem, kunt u bevestigen dat de sessmgr niet goed was ingesteld na de RCM-omschakeling omdat veel sessiemanagers niet in de verwachte "Actv Ready"-status zitten.
[local]UPF419# show srp checkpoint statistics verbose
Tuesday November 02 17:24:01 UTC 2021
smgr state peer recovery pre-alloc chk-point rcvd chk-point sent
inst conn records calls full micro full micro
---- ------- ----- ------- -------- ----- ----- ----- ----
1 Actv Ready 0 0 1108 34001 14721 1200158
2 Actv Ready 0 0 1086 33879 17563 1347298
3 Actv Ready 0 0 1114 34491 15622 1222592
4 Actv Conn 0 0 5 923 0 0
5 Actv Ready 0 0 1106 34406 13872 1134403
6 Actv Conn 0 0 5 917 0 0
7 Actv Conn 0 0 5 920 0 0
8 Actv Conn 0 0 1 905 0 0
9 Actv Conn 0 0 5 916 0 0
10 Actv Conn 0 0 5 917 0 0
11 Actv Ready 0 0 1099 34442 13821 1167011
12 Actv Conn 0 0 5 916 0 0
13 Actv Conn 0 0 5 917 0 0
14 Actv Ready 0 0 1085 33831 13910 1162759
15 Actv Ready 0 0 1085 33360 13367 1081370
16 Actv Conn 0 0 4 921 0 0
17 Actv Ready 0 0 1100 35009 13789 1138089
18 Actv Ready 0 0 1092 33953 13980 1126028
19 Actv Conn 0 0 5 916 0 0
20 Actv Conn 0 0 5 918 0 0
21 Actv Ready 0 0 1098 33521 13636 1108875
22 Actv Ready 0 0 1090 34464 14529 1263419
Oplossing
Dit is gerelateerd aan Cisco Defect Tracking System (CDETS) CSCvz9749. De oplossing is geïntegreerd in 21.22.ua4.82694 en later.
Tijdelijke oplossing
Op UPF419 moet u de sessiemanagers opnieuw opstarten die niet in Actv Ready waren met de verborgen instantie van de taakverdeler sessmgr <> en dit lost de situatie op.
[local]UPF419# show srp checkpoint statistics verbose
Wednesday November 03 16:44:57 UTC 2021
smgr state peer recovery pre-alloc chk-point rcvd chk-point sent
inst conn records calls full micro full micro
---- ------- ----- ------- -------- ----- ----- ----- ----
1 Actv Ready 0 0 1108 34001 38319 2267162
2 Actv Ready 0 0 1086 33879 40524 2428315
3 Actv Ready 0 0 1114 34491 39893 2335889
4 Actv Ready 0 0 0 0 12275 1049616
5 Actv Ready 0 0 1106 34406 37240 2172748
6 Actv Ready 0 0 0 0 13302 1040480
7 Actv Ready 0 0 0 0 12636 1062146
8 Actv Ready 0 0 0 0 11446 976169
9 Actv Ready 0 0 0 0 11647 972715
10 Actv Ready 0 0 0 0 11131 950436
11 Actv Ready 0 0 1099 34442 36696 2225847
12 Actv Ready 0 0 0 0 10739 919316
13 Actv Ready 0 0 0 0 11140 970384
14 Actv Ready 0 0 1085 33831 37206 2226049
15 Actv Ready 0 0 1085 33360 38135 2225816
16 Actv Ready 0 0 0 0 11159 946364
17 Actv Ready 0 0 1100 35009 37775 2242427
18 Actv Ready 0 0 1092 33953 37469 2181043
19 Actv Ready 0 0 0 0 13066 1055662
20 Actv Ready 0 0 0 0 10441 938350
21 Actv Ready 0 0 1098 33521 37238 2165185
22 Actv Ready 0 0 1090 34464 38227 2399415
Logs om te verzamelen in het geval van een UPF-fout die een switchover veroorzaakt
Vastleggingsniveau RCM-vanaf-het-centrum
logging level application debug logging level transaction debug logging level tracing off logging name infra.config.core level application warn logging name infra.config.core level transaction warn logging name infra.resource_monitor.core level application warn logging name infra.resource_monitor.core level transaction warn
Stap voor stap gegevensverzameling
- Samenvatting van de kwestie: De probleemverklaring moet duidelijk zijn. Geef de problematische naam/ip op zodat het makkelijker is om de benodigde informatie uit de logbestanden te vinden. Bijvoorbeeld, in het geval van een omschakeling kwestie, is het behulpzaam als het wordt vermeld dat IP x.x.x.x.x de bron UPF is en x.x.x.y de bestemming UPF is.
- Als er meerdere manieren zijn om het probleem te reproduceren, noem dan die.
- Informatie over RCM-versie: In het geval van RCM VM-uitrol van RCM VM, cat/etc/smi/rcm-versie van de beeldhelm vanuit het ops-center. In het geval van de RCM toont de plaatsing van de GN een helm van het opbergcentrum.
- RCM Tac debug van CN of RCM logboeken op het tijdstip van uitgifte. In sommige gevallen kunt u ook vanaf het begin al een logbestand nodig hebben toen de POD net boven kwam.
- Geef aan welke RCM primair of back-up is. In het geval van GN delen zij de gegevens voor beide RCM-paren.
- Geef de actieve configuratie vanaf het RCM-ops-centrum vanaf alle instanties.
- Verzamel de RCM SNMP-traps.
- Ongeacht de storing van de omschakeling of niet, is het beter één actieve UP SSD en één stand-by SSD te verzamelen.
- RCM-controller, configuratie, checkpoint manager, schakelover en schakelover-breedband statistische opdrachten worden gebruikt om de exacte CLI te vermelden.
Rcm-controller voor de statistiek
Configuratie rcm
controleur voor rcm-show-statistieken
Rcm-show-statistics omschakeling
Bron: Rcm. - Syslogs van UPF of RCM.
- Als het probleem verband houdt met een defect aan de overschakeling, is een nieuw actief UPF-SSD en een oud actief UPF-SSD vereist. In sommige gevallen herstarten de oude acties zich als gevolg van de overschakeling. In dat geval moet je de kwestie reproduceren, en net daarvoor moet je de oude actieve UP SSD verzamelen.
- In een geval van een overschakelingsfout is het ook handig om de vpn, sessmgr, sess-gr en sxdemux debug van oude en nieuwe actieven te verzamelen bij de reproductie van de uitgifte.
logfilter actieve voorziening sxdemux-niveau debug
debug van actieve voorziening sessgmh-niveau
debug van actieve voorziening op niveau van logfilter
debug van actieve voorziening vpn-niveau - Bij fouten/problemen bij sessmgr/vpnmgr zijn er videokleuren nodig. Sessmgr_Instance_id is de instantie waar het probleem wordt opgemerkt. vpnmgr_instantie_id is de context # van de RCM context.
instantie van de taakkern sessmgr_instantie_id>
Vpngr-instantie van de taakkern <vpnmgr_instantie_id> - In het geval van RCM HA-afgifte, deel dan de debug/peuterlogbestanden van RCM TAC van beide instanties.
Gerelateerde informatie
Revisiegeschiedenis
| Revisie | Publicatiedatum | Opmerkingen |
|---|---|---|
1.0 |
22-Jun-2022 |
Eerste vrijgave |
FeedbackContact Cisco
- Een ondersteuningscase openen
- (Vereist een Cisco-servicecontract)