Probleemoplossing voor Common Data Layer (CDL)
Inhoud
1. Inleiding
Dit artikel zal de grondbeginselen van het oplossen van problemen Gemeenschappelijke Gegevenslaag (CDL) in het milieu van SMF behandelen. Documentatie vindt u op deze link.
2. Overzicht
Cisco Common Data Layer (CDL) is een hoogwaardige next-generation KV (Key-value) dataopslaglaag voor alle Cloud Native applicaties.
CDL wordt momenteel gebruikt als een state management component met HA (High Availability) en Geo HA functies.
De CDL biedt:
- Een gemeenschappelijke gegevensopslaglaag over verschillende netwerkfuncties (NF’s).
- Low latency read and write (in geheugen sessie opslag)
- Licht de NF's in om de abonnee te blokkeren wanneer een DoS-aanval (Denial of Service) op dezelfde sessie wordt gemeld.
- Hoge beschikbaarheid - lokale redundantie met minimaal 2 replica's.
- Geo Redundantie met 2 sites.
- Geen primair/secundair concept alle slots beschikbaar voor schrijfbewerkingen. Verbetert failover tijd aangezien geen primaire verkiezingen plaatsvinden.
3. Onderdelen
- Eindpunt: (cdl-ep-sessie-c1-d0-7c79c87d65-xpm5v)
- Het CDL eindpunt is een Kubernetes (K8s) POD. Het wordt gebruikt voor het blootstellen van gRPC over HTTP2 interface aan de NF-client is voor het verwerken van databaseserviceverzoeken en fungeert als ingangspunt voor de noordelijke toepassingen.
- Sleuf: (cdl-sleuf-sessie-c1-m1-0)
- Het CDL-eindpunt ondersteunt meerdere sleufmicroservices. Deze microservices zijn K8s POD geïmplementeerd voor het weergeven van interne gRPC-interface in de Cisco Data Store
- Elke sleuf POD houdt een eindig aantal sessies. Deze sessies zijn de feitelijke sessiegegevens in byte array-indeling
- Index: (cdl-index-sessie-c1-m1-0)
- Index microservice houdt de indexgerelateerde gegevens in
- Deze indexeringsgegevens worden vervolgens gebruikt om de feitelijke sessiegegevens op te halen van de sleufmicroservices
- ETCD: (etcd-smf-etcd-cluster-0)
- CDL gebruikt de ETCD (een opensource-toetswaardeopslag) als de DB-servicedetectie. Wanneer de Cisco Data Store EP wordt gestart, gedood of uitgeschakeld, resulteert dit in de toevoeging van een gebeurtenis door de publicatiestaat. Daarom worden de berichten verzonden naar elk van de PODs die aan deze gebeurtenissen worden geabonneerd. Bovendien, wanneer een belangrijke gebeurtenis wordt toegevoegd of verwijderd, verfrist het de lokale kaart.
- Kafka: (kafka-0)
- De Kafka POD repliceert gegevens tussen de lokale replica's en over sites voor indexering. Voor replicatie via sites maakt Kafak gebruik van MirrorMaker.
- Spiegelmaker: (spiegelmaker 0)
- De Mirror Maker POD-geo-repliceert de indexeringsgegevens naar de externe CDL-sites. Het neemt gegevens van de afgelegen sites en publiceert ze naar de lokale Kafka site om de juiste indexeringsinstanties op te halen.
Voorbeeld:
master-1:~$ kubectl get pods -n smf-smf -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES cdl-ep-session-c1-d0-7889db4d87-5mln5 1/1 Running 0 80d 192.168.16.247 smf-data-worker-5 <none> <none> cdl-ep-session-c1-d0-7889db4d87-8q7hg 1/1 Running 0 80d 192.168.18.108 smf-data-worker-1 <none> <none> cdl-ep-session-c1-d0-7889db4d87-fj2nf 1/1 Running 0 80d 192.168.24.206 smf-data-worker-3 <none> <none> cdl-ep-session-c1-d0-7889db4d87-z6c2z 1/1 Running 0 34d 192.168.4.164 smf-data-worker-2 <none> <none> cdl-ep-session-c1-d0-7889db4d87-z7c89 1/1 Running 0 80d 192.168.7.161 smf-data-worker-4 <none> <none> cdl-index-session-c1-m1-0 1/1 Running 0 80d 192.168.7.172 smf-data-worker-4 <none> <none> cdl-index-session-c1-m1-1 1/1 Running 0 80d 192.168.24.241 smf-data-worker-3 <none> <none> cdl-index-session-c1-m2-0 1/1 Running 0 49d 192.168.18.116 smf-data-worker-1 <none> <none> cdl-index-session-c1-m2-1 1/1 Running 0 80d 192.168.7.173 smf-data-worker-4 <none> <none> cdl-index-session-c1-m3-0 1/1 Running 0 80d 192.168.24.197 smf-data-worker-3 <none> <none> cdl-index-session-c1-m3-1 1/1 Running 0 80d 192.168.18.107 smf-data-worker-1 <none> <none> cdl-index-session-c1-m4-0 1/1 Running 0 80d 192.168.7.158 smf-data-worker-4 <none> <none> cdl-index-session-c1-m4-1 1/1 Running 0 49d 192.168.16.251 smf-data-worker-5 <none> <none> cdl-slot-session-c1-m1-0 1/1 Running 0 80d 192.168.18.117 smf-data-worker-1 <none> <none> cdl-slot-session-c1-m1-1 1/1 Running 0 80d 192.168.24.201 smf-data-worker-3 <none> <none> cdl-slot-session-c1-m2-0 1/1 Running 0 80d 192.168.16.245 smf-data-worker-5 <none> <none> cdl-slot-session-c1-m2-1 1/1 Running 0 80d 192.168.18.123 smf-data-worker-1 <none> <none> cdl-slot-session-c1-m3-0 1/1 Running 0 34d 192.168.4.156 smf-data-worker-2 <none> <none> cdl-slot-session-c1-m3-1 1/1 Running 0 80d 192.168.18.78 smf-data-worker-1 <none> <none> cdl-slot-session-c1-m4-0 1/1 Running 0 34d 192.168.4.170 smf-data-worker-2 <none> <none> cdl-slot-session-c1-m4-1 1/1 Running 0 80d 192.168.7.177 smf-data-worker-4 <none> <none> cdl-slot-session-c1-m5-0 1/1 Running 0 80d 192.168.24.246 smf-data-worker-3 <none> <none> cdl-slot-session-c1-m5-1 1/1 Running 0 34d 192.168.4.163 smf-data-worker-2 <none> <none> cdl-slot-session-c1-m6-0 1/1 Running 0 80d 192.168.18.119 smf-data-worker-1 <none> <none> cdl-slot-session-c1-m6-1 1/1 Running 0 80d 192.168.16.228 smf-data-worker-5 <none> <none> cdl-slot-session-c1-m7-0 1/1 Running 0 80d 192.168.16.215 smf-data-worker-5 <none> <none> cdl-slot-session-c1-m7-1 1/1 Running 0 49d 192.168.4.167 smf-data-worker-2 <none> <none> cdl-slot-session-c1-m8-0 1/1 Running 0 49d 192.168.24.213 smf-data-worker-3 <none> <none> cdl-slot-session-c1-m8-1 1/1 Running 0 80d 192.168.16.253 smf-data-worker-5 <none> <none> etcd-smf-smf-etcd-cluster-0 2/2 Running 0 80d 192.168.11.176 smf-data-master-1 <none> <none> etcd-smf-smf-etcd-cluster-1 2/2 Running 0 48d 192.168.7.59 smf-data-master-2 <none> <none> etcd-smf-smf-etcd-cluster-2 2/2 Running 1 34d 192.168.11.66 smf-data-master-3 <none> <none> georeplication-pod-0 1/1 Running 0 80d 10.10.1.22 smf-data-master-1 <none> <none> georeplication-pod-1 1/1 Running 0 48d 10.10.1.23 smf-data-master-2 <none> <none> grafana-dashboard-cdl-smf-smf-77bd69cff7-qbvmv 1/1 Running 0 34d 192.168.7.41 smf-data-master-2 <none> <none> kafka-0 2/2 Running 0 80d 192.168.24.245 smf-data-worker-3 <none> <none> kafka-1 2/2 Running 0 49d 192.168.16.200 smf-data-worker-5 <none> <none> mirror-maker-0 1/1 Running 1 80d 192.168.18.74 smf-data-worker-1 <none> <none> zookeeper-0 1/1 Running 0 34d 192.168.11.73 smf-data-master-3 <none> <none> zookeeper-1 1/1 Running 0 48d 192.168.7.47 smf-data-master-2 <none> <none> zookeeper-2
CDL-architectuur
4. Configuratie-analyse
smf# show running-config cdl cdl system-id 1 /// unique across the site, system-id 1 is the primary site ID for sliceNames SMF1 SMF2 in HA GR CDL deploy cdl node-type db-data /// node label to configure the node affinity cdl enable-geo-replication true /// CDL GR Deployment with 2 RACKS cdl remote-site 2 db-endpoint host x.x.x.x /// Remote site cdl-ep configuration on site-1 db-endpoint port 8882 kafka-server x.x.x.x 10061 /// Remote site kafka configuration on site-1 exit kafka-server x.x.x.x 10061 exit exit cdl label-config session /// Configures the list of label for CDL pods endpoint key smi.cisco.com/node-type-3 endpoint value session slot map 1 key smi.cisco.com/node-type-3 value session exit slot map 2 key smi.cisco.com/node-type-3 value session exit slot map 3 key smi.cisco.com/node-type-3 value session exit slot map 4 key smi.cisco.com/node-type-3 value session exit slot map 5 key smi.cisco.com/node-type-3 value session exit slot map 6 key smi.cisco.com/node-type-3 value session exit slot map 7 key smi.cisco.com/node-type-3 value session exit slot map 8 key smi.cisco.com/node-type-3 value session exit index map 1 key smi.cisco.com/node-type-3 value session exit index map 2 key smi.cisco.com/node-type-3 value session exit index map 3 key smi.cisco.com/node-type-3 value session exit index map 4 key smi.cisco.com/node-type-3 value session exit exit cdl datastore session /// unique with in the site label-config session geo-remote-site [ 2 ] slice-names [ SMF1 SMF2 ] endpoint cpu-request 2000 endpoint go-max-procs 16 endpoint replica 5 /// number of cdl-ep pods endpoint external-ip x.x.x.x endpoint external-port 8882 index cpu-request 2000 index go-max-procs 8 index replica 2 /// number of replicas per mop for cdl-index, can not be changed after CDL deployement.
NOTE: If you need to change number of index replica, set the system mode to shutdown from respective ops-center CLI, change the replica and set the system mode to running index map 4 /// number of mops for cdl-index index write-factor 1 /// number of copies to be written before a successful response slot cpu-request 2000 slot go-max-procs 8 slot replica 2 /// number of replicas per mop for cdl-slot slot map 8 /// number of mops for cdl-slot slot write-factor 1 slot metrics report-idle-session-type true features instance-aware-notification enable true /// This enables GR failover notification features instance-aware-notification system-id 1 slice-names [ SMF1 ] exit features instance-aware-notification system-id 2 slice-names [ SMF2 ] exit exit cdl kafka replica 2 cdl kafka label-config key smi.cisco.com/node-type-3 cdl kafka label-config value session cdl kafka external-ip x.x.x.x 10061 exit cdl kafka external-ip x.x.x.x 10061 exit
5. Probleemoplossing
5.1 Peul-fouten
De werking van CDL is eenvoudig Key > Value db.
- Alle verzoeken komen naar de cdl-endpoint pods.
- In cdl-index pods slaan we sleutels op, ronde robin.
- In cdl-slot slaan we waarde (sessie info) op, ronde robin.
- We definiëren back-up (aantal replica's) voor elke pod map (type).
- Kafka pod wordt gebruikt als transportbus.
- spiegelmaker wordt gebruikt als transportbus naar ander rek (Geo redundantie).
Falen voor elk kon worden vertaald als, dat wil zeggen als alle peulen van dit type/kaart tegelijkertijd daalden:
- cdl-endpoint - fouten in de communicatie met CDL
- cdl-index - sleutels voor sessiegegevens verloren gaan
- cdl-sleuf - verlies van sessiegegevens
- Kafka - losse synchronisatieoptie tussen de peul-type kaarten
- spiegelmaker - het verliezen van sync met andere geo redudand knooppunt
We kunnen altijd logboeken verzamelen van relevante pods omdat cdl pod logs niet zo snel rollover, dus er is extra waarde om ze te verzamelen.
Remamber tac-debug verzamelt snapshot op tijd terwijl logboeken alle gegevens afdrukken omdat het is opgeslagen.
Peul beschrijven
kubectl describe pod cdl-ep-session-c1-d0-7889db4d87-5mln5 -n smf-rcdn
Peul logs verzamelen
kubectl logs cdl-ep-session-c1-d0-7c79c87d65-xpm5v -n smf-rcdn
5.2 CDL Hoe Sessiegegevens te verkrijgen van sessiesleutels
Binnen CDL heeft elke sessie een veld met de naam "unieke sleutels" dat deze sessie identificeert.
Als we sessieafdruk vergelijken van show subscriber supi en cdl toon sessies samenvatting plak-naam slice1 db-naam sessiefilter
- IPv4-sessieadres in combinatie met supi = "1#/#imsi-123969789012404:10.0.0.3"
- ddn + ip4 adres = "1#/#lab:10.0.0.3"
- IPv6-sessieadres in combinatie met supi = "1#/#imsi-123969789012404:2001:db0:0:2:"
- ddn + ipv6-adres van sessie = "1#/#lab:2001:db0:0:2:"
- smfTeid ook N4 Sessiesleutel = "1#/#293601283" Dit is echt handig wanneer problemen oplossen fouten op UPF, kunt u zoeken door sessielogboeken en vinden sessie gerelateerde informatie.
- supi + ebi = "1#/#imsi-123969789012404:ebi-5"
- supi + ddn= "1#/#imsi-123969789012404:lab"
[smf/data] smf# cdl show sessions summary slice-name slice1 db-name session filter { condition match key 1#/#293601283 }
Sun Mar 19 20:17:41.914 UTC+00:00
message params: {session-summary cli session {0 100 1#/#293601283 0 [{0 1#/#293601283}] [] 0 0 false 4096 [] [] 0} slice1}
session {
primary-key 1#/#imsi-123969789012404:1
unique-keys [ "1#/#imsi-123969789012404:10.0.0.3" "1#/#lab:10.0.0.3" "1#/#imsi-123969789012404:2001:db0:0:2::" "1#/#lab:2001:db0:0:2::" "1#/#293601283" "1#/#imsi-123969789012404:ebi-5" "1#/#imsi-123969789012404:lab" ]
non-unique-keys [ "1#/#roaming-status:visitor-lbo" "1#/#ue-type:nr-capable" "1#/#supi:imsi-123969789012404" "1#/#gpsi:msisdn-22331010101010" "1#/#pei:imei-123456789012381" "1#/#psid:1" "1#/#snssai:001000003" "1#/#dnn:lab" "1#/#emergency:false" "1#/#rat:nr" "1#/#access:3gpp" access "1#/#connectivity:5g" "1#/#udm-uecm:10.10.10.215" "1#/#udm-sdm:10.10.10.215" "1#/#auth-status:unauthenticated" "1#/#pcfGroupId:PCF-dnn=lab;" "1#/#policy:2" "1#/#pcf:10.10.10.216" "1#/#upf:10.10.10.150" "1#/#upfEpKey:10.10.10.150:10.10.10.202" "1#/#ipv4-addr:pool1/10.0.0.3" "1#/#ipv4-pool:pool1" "1#/#ipv4-range:pool1/10.0.0.1" "1#/#ipv4-startrange:pool1/10.0.0.1" "1#/#ipv6-pfx:pool1/2001:db0:0:2::" "1#/#ipv6-pool:pool1" "1#/#ipv6-range:pool1/2001:db0::" "1#/#ipv6-startrange:pool1/2001:db0::" "1#/#id-index:1:0:32768" "1#/#id-value:2/3" "1#/#chfGroupId:CHF-dnn=lab;" "1#/#chf:10.10.10.218" "1#/#amf:10.10.10.217" "1#/#peerGtpuEpKey:10.10.10.150:20.0.0.1" "1#/#namespace:smf" ]
flags [ flag3:peerGtpuEpKey:10.10.10.150:20.0.0.1 session-state-flag:smf_active ]
map-id 2
instance-id 1
app-instance-id 1
version 1
create-time 2023-03-19 20:14:14.381940117 +0000 UTC
last-updated-time 2023-03-19 20:14:14.943366502 +0000 UTC
purge-on-eval false
next-eval-time 2023-03-26 20:14:14 +0000 UTC
session-types [ rat_type:NR wps:non_wps emergency_call:false pdu_type:ipv4v6 dnn:lab qos_5qi_1_rat_type:NR ssc_mode:ssc_mode_1 always_on:disable fourg_only_ue:false up_state:active qos_5qi_5_rat_type:NR dcnr:disable smf_roaming_status:visitor-lbo dnn:lab:rat_type:NR ]
data-size 2866
}
[smf/data] smf#
Als we het vergelijken met de afdruk van het SMF:
[smf/data] smf# show subscriber supi imsi-123969789012404 gr-instance 1 namespace smf
Sun Mar 19 20:25:47.816 UTC+00:00
subscriber-details
{
"subResponses": [
[
"roaming-status:visitor-lbo",
"ue-type:nr-capable",
"supi:imsi-123969789012404",
"gpsi:msisdn-22331010101010",
"pei:imei-123456789012381",
"psid:1",
"snssai:001000003",
"dnn:lab",
"emergency:false",
"rat:nr",
"access:3gpp access",
"connectivity:5g",
"udm-uecm:10.10.10.215",
"udm-sdm:10.10.10.215",
"auth-status:unauthenticated",
"pcfGroupId:PCF-dnn=lab;",
"policy:2",
"pcf:10.10.10.216",
"upf:10.10.10.150",
"upfEpKey:10.10.10.150:10.10.10.202",
"ipv4-addr:pool1/10.0.0.3",
"ipv4-pool:pool1",
"ipv4-range:pool1/10.0.0.1",
"ipv4-startrange:pool1/10.0.0.1",
"ipv6-pfx:pool1/2001:db0:0:2::",
"ipv6-pool:pool1",
"ipv6-range:pool1/2001:db0::",
"ipv6-startrange:pool1/2001:db0::",
"id-index:1:0:32768",
"id-value:2/3",
"chfGroupId:CHF-dnn=lab;",
"chf:10.10.10.218",
"amf:10.10.10.217",
"peerGtpuEpKey:10.10.10.150:20.0.0.1",
"namespace:smf",
"nf-service:smf"
]
]
}
Controleer CDL-status op SMF:
cdl show status
cdl show sessions summary slice-name <slice name> | more
5.3 CDL Pods zijn niet omhoog
Hoe te identificeren
Controleer de beschrijf pods output (containers/lid/staat/Reden, gebeurtenissen).
kubectl describe pods -n <namespace> <failed pod name>
Hoe te repareren
- Controleer of een k8s-knooppunt met de labelwaarden gelijk aan de waarde van het aantal replica's van het cdl-/knooptype kleiner is dan of gelijk is aan het aantal k8s-knooppunten met de labelwaarden gelijk aan de waarde van het cdl-/knooptype
kubectl get nodes -l smi.cisco.com/node-type=<value of cdl/node-type, default value is 'session' in multi node setup)
- Pods zijn in CrashLoopBackOff foutstatus Controleer de status van de pods. Als etcd-pods niet actief zijn, verhelpt u de etcd-problemen.
kubectl describe pods -n <namespace> <etcd pod name>
- Pods zijn in ImagePullBack foutstatus Controleer of de helm repository en image register toegankelijk is. Controleer indien nodig of proxy- en DNS-servers zijn geconfigureerd.
5.4 Spiegel Maker pods zijn in de staat
Controleer de beschrijving van pods uitvoer en pod logs
kubectl describe pods -n <namespace> <failed pod name> kubectl logs -n <namespace> <failed pod name> [-c <container name>]
Hoe te repareren
- Controleer of de externe IP's die zijn geconfigureerd voor Kafka correct zijn
- Controleer de beschikbaarheid van kafka via externe IP's
5,5 CDL-index wordt niet correct gerepliceerd
Hoe te identificeren
Gegevens die op één site worden toegevoegd, zijn niet toegankelijk vanaf een andere site.
Hoe te repareren
- Controleer de configuratie van de lokale systeem-id en de configuratie van de externe locatie.
- Controleer de bereikbaarheid van CDL-eindpunten en kafka tussen elke sites.
- Controleer de kaart, replica van index en sleuf op elke site. Het kan identiek zijn op alle sites.
5.6 CDL-operaties falen, maar verbinding succes
Hoe te repareren
- Controleer of alle peulen klaar zijn voor gebruik.
- De indexpeulen zijn in klaar staat slechts als zij synchronisatie met peer replica (lokaal of ver indien beschikbaar) volledig zijn
- De peulen van de sleuf zijn in klaar staat slechts als zij synchronisatie met peer replica (lokaal of ver indien beschikbaar) volledig is
- Endpoint is NIET in klaar staat als ten minste één sleuf en één indexpeulen niet beschikbaar is. Zelfs als het niet klaar is zal de verbinding van de groep van de cliënt worden aanvaard.
5.7 De melding voor het opschonen van gegevens kwam vroeg/vertraagd van CDL
Hoe te repareren
- In een k8s-cluster kunnen alle knooppunten gesynchroniseerd worden in de tijd
- Controleer NTP-synchronisatiestatus op alle k8s-knooppunten. Als er problemen zijn, maak het dan op.
chronyc tracking chronyc sources -v chronyc sourcestats -v
6. Waarschuwingen
| ALARM |
ernst |
samenvatting |
|---|---|---|
| cdlLokale aanvraag-fout |
Critical (Kritiek) |
Als het succes van lokale aanvragen minder dan 90% is gedurende meer dan 5 minuten, wordt het alarm geactiveerd |
| CDLRemote-verbindingsfout |
Critical (Kritiek) |
Als de actieve verbindingen van eindpuntpeul aan verre plaats 0 langer dan 5 minuten bereikten, dan wordt het alarm opgeheven (slechts voor GR toegelaten systeem) |
| CDLRemote-aanvraagfout |
Critical (Kritiek) |
Als het succes van inkomende externe verzoeken minder dan 90% is gedurende meer dan 5 minuten, wordt het alarm geactiveerd (alleen voor het GR-systeem) |
| cdl-replicatiefout |
Critical (Kritiek) |
Als de verhouding van uitgaande replicatieverzoeken tot lokale verzoeken in cdl-global naamruimte meer dan 5 minuten onder 90% is gegaan.(alleen voor GR-systeem). Deze waarschuwingen worden verwacht tijdens de upgradeactiviteit en u kunt deze dus negeren. |
| cdlKafkaRemote-replicatievertraging |
Critical (Kritiek) |
Als kafka-replicatievertraging naar externe site, kruist 10 seconden langer dan 5 minuten dan wordt het alarm omhoog gezet (alleen voor GR-systeem ingeschakeld) |
| cdlOverbelast - groot |
Major (Groot) |
Als het CDL-systeem een ingesteld percentage (standaard 80%) van de capaciteit bereikt, wordt het alarm geactiveerd (alleen als de functie Overload Protection is ingeschakeld) |
| cdlOverbelast - kritiek |
Critical (Kritiek) |
Als het CDL-systeem het ingestelde percentage (standaard 90%) van de capaciteit bereikt, wordt het alarm geactiveerd (alleen als de functie Overload Protection is ingeschakeld) |
| cdlKafka-verbindingsfout |
Critical (Kritiek) |
Als de CDL-indexpods langer dan 5 minuten uit kafka worden losgekoppeld |
7. Meest voorkomende problemen
7.1 cdl-replicatiefout
Deze waarschuwing wordt meestal gezien tijdens het opbrengen van het ops-centrum of systeemupgrade, proberen te vinden CR voor het, proberen te controleren op CEE-voorval van de waarschuwing en was het reeds geklaard.
7.2 cdlRemoteConnectionFailure & GRPC_Connections_Remote_Site
De verklaring is van toepassing voor alle waarschuwingen "cdlRemoteConnectionFailure" en "GRPC_Connections_Remote_Site".
Voor waarschuwingen over cdlRemoteConnection-fouten:
Uit CDL-endpointlogs, zien we dat de verbinding met de externe host van CDL-endpointpod verloren is gegaan:
2022/01/20 01:36:18.852 [ERROR] [RemoteEndointConnection.go:572] [datastore.ep.session] Connection to remote systemID 2 has been lost
We konden de CDL eindpunt pod zien proberen te verbinden met de externe server, maar dit werd geweigerd door de externe host:
2022/01/20 01:37:08.730 [WARN] [checksum.go:836] [datastore.checksum.session] Could not get checksum from remote for systemID: 2, clot: 8, Instance: 2 : rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing dial tcp 10.10.10.141:8882: connect: connection refused"
2022/01/20 01:37:08.732 [WARN] [checksum.go:836] [datastore.checksum.session] Could not get checksum from remote for systemID: 2, clot: 8, Instance: 1 : rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing dial tcp 10.10.10.141:8882: connect: connection refused"
2022/01/20 01:37:08.742 [WARN] [checksum.go:836] [datastore.checksum.session] Could not get checksum from remote for systemID: 2, clot: 8, Instance: 1 : rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing dial tcp 10.10.10.141:8882: connect: connection refused"
2022/01/20 01:37:08.742 [WARN] [checksum.go:836] [datastore.checksum.session] Could not get checksum from remote for systemID: 2, clot: 8, Instance: 2 : rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing dial tcp 10.10.10.141:8882: connect: connection refused"
2022/01/20 01:37:08.752 [WARN] [checksum.go:836] [datastore.checksum.session] Could not get checksum from remote for systemID: 2, clot: 7, Instance: 2 : rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing dial tcp 10.10.10.141:8882: connect: connection refused"
2022/01/20 01:37:08.754 [WARN] [checksum.go:836] [datastore.checksum.session] Could not get checksum from remote for systemID: 2, clot: 7, Instance: 1 : rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing dial tcp 10.10.10.141:8882: connect: connection refused"
Aangezien de afgelegen host 5 minuten onbereikbaar bleef - de waarschuwing werd als volgt verhoogd:
alerts history detail cdlRemoteConnectionFailure f5237c750de6
severity critical
type "Processing Error Alarm"
startsAt 2025-01-21T01:41:26.857Z
endsAt 2025-01-21T02:10:46.857Z
source cdl-ep-session-c1-d0-6d86f55945-pxfx9
summary "CDL endpoint connections from pod cdl-ep-session-c1-d0-6d86f55945-pxfx9 and namespace smf-rcdn to remote site reached 0 for longer than 5 minutes"
labels [ "alertname: cdlRemoteConnectionFailure" "cluster: smf-data-rcdn_cee" "monitor: prometheus" "namespace: smf-rcdn" "pod: cdl-ep-session-c1-d0-6d86f55945-pxfx9" "replica: smf-data-rcdn_cee" "severity: critical" ]
annotations [ "summary: CDL endpoint connections from pod cdl-ep-session-c1-d0-6d86f55945-pxfx9 and namespace smf-rcdn to remote site reached 0 for longer than 5 minutes" "type: Processing Error Alarm" ]
Verbinding met externe host is geslaagd op 02:10:32:
2022/01/20 02:10:32.702 [WARN] [RemoteEndointConnection.go:437] [datastore.ep.session] Stream to remote site successful
2022/01/20 02:10:38.923 [WARN] [RemoteEndointConnection.go:563] [datastore.ep.session] Cdl status changed - new version 283eb1e86aa9561c653083e6b691c919, old version f81478148c9e1ccb28f3ec0d90ca04e1. Reloading connections
2022/01/20 02:10:38.927 [WARN] [RemoteEndointConnection.go:437] [datastore.ep.session] Stream to remote site successful
2022/01/20 02:10:38.934 [WARN] [RemoteEndointConnection.go:437] [datastore.ep.session] Stream to remote site successful
2022/01/20 02:10:38.934 [WARN] [RemoteEndointConnection.go:437] [datastore.ep.session] Stream to remote site successful
2022/01/20 02:10:38.935 [WARN] [RemoteEndointConnection.go:437] [datastore.ep.session] Stream to remote site successful
Config aanwezig in SMF voor CDL-afstandsbediening:
cdl remote-site 2
db-endpoint host 10.10.10.141
db-endpoint port 8882
kafka-server 10.10.19.139 10061
exit
kafka-server 10.10.10.140 10061
exit
exit
Voor waarschuwing GRPC_Connections_Remote_Site:
Dezelfde uitleg is ook van toepassing op "GRPC_Connections_Remote_Site", aangezien het ook van dezelfde CDL-eindpuntpod afkomstig is.
alerts history detail GRPC_Connections_Remote_Site f083cb9d9b8d
severity critical
type "Communications Alarm"
startsAt 2025-01-21T01:37:35.160Z
endsAt 2025-01-21T02:11:35.160Z
source cdl-ep-session-c1-d0-6d86f55945-pxfx9
summary "GRPC connections to remote site are not equal to 4"
labels [ "alertname: GRPC_Connections_Remote_Site" "cluster: smf-data-rcdn_cee" "monitor: prometheus" "namespace: smf-rcdn" "pod: cdl-ep-session-c1-d0-6d86f55945-pxfx9" "replica: smf-data-rcdn_cee" "severity: critical" "systemId: 2" ]
Van CDL-endpointlogboeken, De waarschuwing begon toen de verbinding met de externe host werd geweigerd:
2022/01/20 01:36:18.852 [ERROR] [RemoteEndointConnection.go:572] [datastore.ep.session] Connection to remote systemID 2 has been lost
De waarschuwing werd gewist toen de verbinding met de externe site succesvol was:
2022/01/20 02:10:32.702 [WARN] [RemoteEndointConnection.go:437] [datastore.ep.session] Stream to remote site successful
2022/01/20 02:10:38.923 [WARN] [RemoteEndointConnection.go:563] [datastore.ep.session] Cdl status changed - new version 283eb1e86aa9561c653083e6b691c919, old version f81478148c9e1ccb28f3ec0d90ca04e1. Reloading connections
2022/01/20 02:10:38.927 [WARN] [RemoteEndointConnection.go:437] [datastore.ep.session] Stream to remote site successful
2022/01/20 02:10:38.934 [WARN] [RemoteEndointConnection.go:437] [datastore.ep.session] Stream to remote site successful
2022/01/20 02:10:38.934 [WARN] [RemoteEndointConnection.go:437] [datastore.ep.session] Stream to remote site successful
2022/01/20 02:10:38.935 [WARN] [RemoteEndointConnection.go:437] [datastore.ep.session] Stream to remote site successful
8. Grafana
CDL Dashboard maakt deel uit van elke SMF-implementatie.
Revisiegeschiedenis
| Revisie | Publicatiedatum | Opmerkingen |
|---|---|---|
1.0 |
04-Oct-2023 |
Eerste vrijgave |
FeedbackContact Cisco
- Een ondersteuningscase openen
- (Vereist een Cisco-servicecontract)