Handleiding voor probleemoplossing voor continue herstart van Grafana Pods
Author: Cisco Systems, Inc.
Date: 2026-09-10T05:00:00+00:00
Description: In dit document wordt een tijdelijke oplossing beschreven voor het herstellen van een Grafana-pod die continu opnieuw wordt opgestart.

Inhoud

Inleiding

Voorwaarden

Vereisten

Gebruikte componenten

Achtergrondinformatie

Wat is het SMI?

Wat is SMI CEE?

Wat zijn CEE Pods?

Wat is een Grafana Pod?

Wat is een Postgres Pod?

Probleem

Tijdelijke oplossing

Shutdown CEE

De DB-mappen voor Postgres Pods verwijderen

CEE herstellen

Controles achteraf

Kubernetes verifiëren bij de master

Controleren of waarschuwingen uit CEE zijn gewist

Inleiding

In dit document wordt een tijdelijke oplossing beschreven voor het herstellen van een Grafana-pod die continu opnieuw wordt opgestart.

Voorwaarden

Vereisten

Cisco raadt kennis van de volgende onderwerpen aan:

- Cisco Subscriber Microservices Infrastructure (SMI) Ultra Cloud Core Common Execution Environment (CEE)

- 5G Cloud Native Deployment Platform (CNDP) of SMI-bare-metal (BM) architectuur

- Dockers en Kubernetes

Gebruikte componenten

De informatie in dit document is gebaseerd op de volgende software- en hardware-versies:

- SMI 2020.02.2.35

- Kubernetes v1.21.0

De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk live is, moet u zorgen dat u de potentiële impact van elke opdracht begrijpt.

Achtergrondinformatie

Wat is het SMI?

Cisco SMI is een gelaagde stapel cloudtechnologieën en -standaarden die op microservices gebaseerde toepassingen van de bedrijfsonderdelen Cisco Mobility, Cable en Broadband Network Gateway (BNG) mogelijk maken. Deze toepassingen hebben vergelijkbare functies voor abonneebeheer en vergelijkbare vereisten voor gegevensopslag.

Attributen:

- De Layer Cloud Stack (technologieën en standaarden) biedt top-to-bottom implementaties en is geschikt voor de huidige cloudinfrastructuur.

- Alle toepassingen delen de CEE voor niet-toepassingsfuncties (gegevensopslag, implementatie, configuratie, telemetrie, alarm), wat een consistente interactie en ervaring biedt voor alle contactpunten en integratiepunten van klanten.

- Toepassingen en de CEE worden ingezet in microservicecontainers en zijn verbonden met een Intelligent Service Mesh.

- Een API voor implementatie, configuratie en beheer maakt automatisering mogelijk.

Wat is SMI CEE?

- De CEE is een softwareoplossing die is ontwikkeld om mobiele en kabeltoepassingen die op de SMI worden geïmplementeerd, te bewaken. De CEE vangt informatie (key metrics) uit de applicaties op een gecentraliseerde manier voor ingenieurs om te debuggen en problemen op te lossen.

- De CEE is de gemeenschappelijke set van tools die zijn geïnstalleerd voor alle toepassingen. Het wordt geleverd met een speciaal Ops Center, dat de Command Line Interface (CLI) en API's biedt om de monitortools te beheren. Voor elk cluster is slechts één CEE beschikbaar.

Wat zijn CEE Pods?

- Een pod is een proces dat draait op je Kubernetes cluster. Een pod bevat een korrelige eenheid die bekend staat als een container. Een pod bevat één of meerdere containers.

- Kubernetes implementeert één of meerdere pods op één node, wat een fysieke of virtuele machine kan zijn. Elke pod heeft een discrete identiteit met een intern IP-adres en poortruimte. De containers in een pod kunnen echter opslag- en netwerkbronnen delen. CEE heeft een aantal pods die unieke functies hebben. Grafana en Postgress behoren tot verschillende CEE-pods.

Wat is een Grafana Pod?

Een Grafana-peul kan communiceren met een Prometheus-peul met toegang via de Prometheus-dienst, die Prometheus heet.

Wat is een Postgres Pod?

Postgres ondersteunt SQL-databases met redundantie om waarschuwingen en Grafana-dashboards op te slaan.

Probleem

De Grafana pod start regelmatig opnieuw op, terwijl de Postgres pods zonder problemen draaien.

Gebruik deze opdracht om de Grafana-pod handmatig te verwijderen om deze te herstellen:

kubectl delete pod <grafana_pod_name> -n <cee_namespace

Na verwijdering wordt de Grafana-pod opnieuw gemaakt en opnieuw gestart.

Als het probleem zich blijft voordoen, gebruikt u deze CLI-opdracht om de voorbeeldwaarschuwing van CEE op te halen om het probleem te identificeren:

[pod-name-smf/podname] cee# show alerts active summary | include "POD_Res|k8s_grafana"

Voorbeeld:

[pod-name-smf/podname] cee# show alerts active summary | include "POD_Res|k8s_grafana"

Time Alert Name Description Port Access ID NEState Severity Alert Source

16:26 PCF_POD_Restarted " "Processing Error Alarm"} " ""Container k8s_grafana_grafana-59768df649-n6x6x_cee-dnrce301_a4ff5711-0e20-4dd4-ae7f-47296c334930_883 of pod grafana-59768df649-n6x6x in namespace cee-dnrce301 has been restarted."" InService Major NETX

16:23 PCF_k8s-pod-crashing-loop " "Processing Error Alarm"} " "Pod cee-dnrce301/grafana-59768df649-n6x6x (grafana) is restarting 1.03 times / 5 minutes." InService Critical NETX

16:20 PCF_POD_Restarted " "Processing Error Alarm"} " ""Container k8s_grafana_grafana-59768df649-n6x6x_cee-dnrce301_a4ff5711-0e20-4dd4-ae7f-47296c334930_882 of pod grafana-59768df649-n6x6x in namespace cee-dnrce301 has been restarted."" InService Major NETX

16:14 PCF_POD_Restarted " "Processing Error Alarm"} " ""Container k8s_grafana_grafana-59768df649-n6x6x_cee-dnrce301_a4ff5711-0e20-4dd4-ae7f-47296c334930_881 of pod grafana-59768df649-n6x6x in namespace cee-dnrce301 has been restarted."" InService Major NETX

16:08 PCF_POD_Restarted " "Processing Error Alarm"} " ""Container k8s_grafana_grafana-59768df649-n6x6x_cee-dnrce301_a4ff5711-0e20-4dd4-ae7f-47296c334930_880 of pod grafana-59768df649-n6x6x in namespace cee-dnrce301 has been restarted."" InService Major NETX

16:02 PCF_POD_Restarted " "Processing Error Alarm"} " ""Container k8s_grafana_grafana-59768df649-n6x6x_cee-dnrce301_a4ff5711-0e20-4dd4-ae7f-47296c334930_879 of pod grafana-59768df649-n6x6x in namespace cee-dnrce301 has been restarted."" InService Major NETX

15:56 PCF_POD_Restarted " "Processing Error Alarm"} " ""Container k8s_grafana_grafana-59768df649-n6x6x_cee-dnrce301_a4ff5711-0e20-4dd4-ae7f-47296c334930_878 of pod grafana-59768df649-n6x6x in namespace cee-dnrce301 has been restarted."" InService Major NETX

15:53 PCF_k8s-pod-crashing-loop " "Processing Error Alarm"} " "Pod cee-dnrce301/grafana-59768df649-n6x6x (grafana) is restarting 1.03 times / 5 minutes." InService Critical NETX

Tijdelijke oplossing

Shutdown CEE

Voer deze opdrachten uit vanuit CEE om af te sluiten:

[pod-name-smf/podname] cee# conf

Entering configuration mode terminal

[pod-name-smf/podname] cee(config)# system mode shutdown

[pod-name-smf/podname] cee(config)# commit

Commit complete.

[pod-name-smf/podname] cee(config)# end

Wacht tot het systeem 100% bereikt.

De DB-mappen voor Postgres Pods verwijderen

Controleer de knooppunten waar de Postgres-peulen zijn voortgekomen.

In dit voorbeeld worden alle Postgres-pods voortgebracht op "master-1":

cloud-user@dnup0300-aio-1-master-1:~$ kubectl get pods -n cee-dnrce301 -o wide | grep postgres

postgres-0 1/1 Running 0 35d 10.108.50.28 dnup0300-aio-1-master-1 <none> <none>

postgres-1 1/1 Running 0 35d 10.108.50.47 dnup0300-aio-1-master-1 <none> <none>

postgres-2 1/1 Running 0 35d 10.108.50.102 dnup0300-aio-1-master-1 <none> <none>

Er worden mappen gemaakt voor elke Postgres in dit pad in de node om DB op te slaan:

/data/<cee-namespace>/postgres<0,1,2>

Verwijder deze mappen zoals getoond:

cloud-user@dnup0300-aio-1-master-1:/data/cee-dnrce301$ sudo rm -rf data-postgres-0

cloud-user@dnup0300-aio-1-master-1:/data/cee-dnrce301$ sudo rm -rf data-postgres-1

cloud-user@dnup0300-aio-1-master-1:/data/cee-dnrce301$ sudo rm -rf data-postgres-2

Opmerking: Er kunnen gevallen zijn waarin de "/data/

/postgres<0,1,2>"

mappen op verschillende knooppunten worden gemaakt, zoals master-1, master-2, master-3, enzovoort.

CEE herstellen

Meld u aan bij het Ops Center om de CEE te herstellen en de volgende CLI-opdrachten uit te voeren:

[pod-name-smf/podname] cee# conf

Entering configuration mode terminal

[pod-name-smf/podname] cee(config)# system mode running

[pod-name-smf/podname] cee(config)# commit

Commit complete.

[pod-name-smf/podname] cee(config)# end

[pod-name-smf/podname] cee# exit

Wacht tot het systeem 100% bereikt.

Controles achteraf

Kubernetes verifiëren bij de master

Voer deze opdracht uit om de status van de Grafana-pod en andere pods te controleren:

cloud-user@pod-name-smf-master-1:~$ kubectl get pods -A -o wide | grep grafana

cloud-user@pod-name-smf-master-1:~$ kubectl get pods -A -o wide

Alle pods moeten UP and RUNNING weergeven zonder opnieuw te starten.

Controleren of waarschuwingen uit CEE zijn gewist

Voer deze opdracht uit om te bevestigen dat de waarschuwingen zijn gewist van CEE:

[pod-name-smf/podname] cee# show alerts active summary | include "POD_Res|k8s_grafana"