Problemen met tijdsynchronisatie van 5G SMI-protocolVM's oplossen

Inleiding

In dit document wordt beschreven hoe u een tijdelijke oplossing voor NTP-problemen (Network Time Protocol) kunt implementeren in virtuele machines met een 5G Subscriber Microservices Infrastructure (SMI)-protocol (protocol-VM's).

Voorwaarden

Vereisten

Cisco raadt u aan om kennis te hebben van deze onderwerpen:

• Cisco SMI
• 5G Cloud Native Deployment Platform (CNDP)-architectuur
• Cloud - Red Hat OpenStack Platform 13 ("Queens" release)
• Dockers en Kubernetes

Gebruikte componenten

De informatie in dit document is gebaseerd op de volgende software- en hardware-versies:

• SMI 2020.01.1-21
• Kubernetes v1.16.2
• Red Hat OpenStack Platform 13-directeur

De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk live is, moet u zorgen dat u de potentiële impact van elke opdracht begrijpt.

Achtergrondinformatie

Wat is het SMI?

Cisco SMI is een gelaagde stapel cloudtechnologieën en -standaarden die op microservices gebaseerde toepassingen van de bedrijfsonderdelen Cisco Mobility, Cable en Broadband Network Gateway (BNG) mogelijk maken. Deze toepassingen hebben vergelijkbare functies voor abonneebeheer en vergelijkbare vereisten voor gegevensopslag.

Attributen:

• De Layer Cloud Stack (technologieën en standaarden) biedt top-to-bottom implementaties en is geschikt voor de huidige cloudinfrastructuur.
• Alle toepassingen delen de Common Execution Environment (CEE) voor niet-toepassingsfuncties (gegevensopslag, implementatie, configuratie, telemetrie, alarm), die een consistente interactie en ervaring biedt voor alle contactpunten en integratiepunten van klanten.
• Toepassingen en de CEE worden ingezet in microservicecontainers en zijn verbonden met een Intelligent Service Mesh.
• Een API voor implementatie, configuratie en beheer maakt automatisering mogelijk.

Wat is CEE?

• De CEE is een softwareoplossing die is ontwikkeld om mobiele en kabeltoepassingen die op de SMI worden geïmplementeerd, te bewaken. De CEE vangt informatie (key metrics) uit de applicaties op een gecentraliseerde manier voor ingenieurs om te debuggen en problemen op te lossen.
• De CEE is de gemeenschappelijke set van tools die zijn geïnstalleerd voor alle toepassingen. Het wordt geleverd met een speciaal Ops Center, dat de Command Line Interface (CLI) en API's biedt om de monitortools te beheren. Voor elk cluster is slechts één CEE beschikbaar.

Wat zijn Protocol VM's?

Protocol-VM's hosten de Session Management Function (SMF)-applicatie microservices die verantwoordelijk zijn voor de protocolvertaling. Per SMF-instantie worden twee protocol-VM's geïmplementeerd. Een protocol-VM heeft pods zoals GTPc, Lawful Intercept (LI), Radius, Rest, enzovoort.

Probleem

Vanuit een node (protocol VM) die het probleem vertoont, kunt u zien dat het netwerk probeert twee verschillende interfaces te gebruiken om de connectiviteit naar de NTP-server te leiden. Slechts één van de netwerken kan het IP-adres bereiken.

Wanneer u een ping enige tijd zonder de interface uitvoert, kunt u zien dat dit pakketverlies veroorzaakt.

Steekproefwaarschuwing van CEE:

[pod-name-cnat/global] cee# show alerts active summary
NAME UID SEVERITY STARTS AT SOURCE SUMMARY
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
VoNR_Ded_Bearer_Creat be183f61dd65 major 01-18T16:32:17 System Success percentage of VoNR - PCF Initiated Dedicated Bearer Creation procedure in NR turns less than t...
clock-is-not-in-synch 38a35e9a8bd8 major 01-18T13:11:15 pod-name-cnat-cnat-co Clock not in synch detected on hostname pod-name-cnat-cnat-core-protocol-data1 . Ensure NTP is configu...
clock-is-not-in-synch 4a7e138b8bae major 01-18T13:07:35 pod-name-cnat-cnat-co Clock not in synch detected on hostname pod-name-cnat-cnat-core-protocol-ims2 . Ensure NTP is configur...
clock-is-not-in-synch 5b3e128f0101 major 01-18T12:05:55 pod-name-cnat-cnat-co Clock not in synch detected on hostname pod-name-cnat-cnat-core-protocol-data2 . Ensure NTP is configu...
container-memory-usag f588aa627792 critical 12-28T15:47:30 path-provisioner-v6zx Pod cee-global/path-provisioner-v6zxj/k8s_path-provisioner_path-provisioner-v6zxj_cee-global_f1a1e8fa-...
container-memory-usag 55b2ea84466f critical 12-27T22:27:10 path-provisioner-v6zx Pod cee-global/path-provisioner-v6zxj/ uses high memory 82.69%.
N11_SM_Timeout_SR f6fb82cac197 major 10-31T15:51:16 System This alert is fired when the increase in timeout for N11 messages toward AMF crosses threshold
Radius_Server_RTT 94ac2cff43a3 warning 10-28T05:08:56 System RTT for Radius Server: 216.x.x.x, Port: 1813 in namespace: smf-mvno is more than 5 ms.
Radius_Server_RTT d02b60b3a3a4 warning 10-28T05:05:56 System RTT for Radius Server: 52.x.x.x, Port: 1813 in namespace: smf-mvno is more than 5 ms.
Radius_Server_RTT 9afcee101013 warning 10-28T05:05:36 System RTT for Radius Server: 52.x.x.x, Port: 1813 in namespace: smf-mvno is more than 5 ms.
N11_SM_Timeout_SR 206c4bbccf21 major 10-20T13:26:16 System This alert is fired when the increase in timeout for N11 messages toward AMF crosses threshold
N4_Total_Outbound_Int 4e0f3c1d6300 major 10-20T09:01:23 System This alert is fired when the percentage of N4 outbound responses sent is lesser than threshold %.
N4_Total_Outbound_Int 3e2fed624704 major 10-20T08:21:23 System This alert is fired when the percentage of N4 outbound responses sent is lesser than threshold %.
watchdog 97a7976a4103 minor 05-05T09:10:58 System This is an alert meant to ensure that the entire alerting pipeline is functional. This alert is always...


Problemen oplossen

1. Meld u aan bij de getroffen VM's en voer deze opdracht uit: ip route | grep -i default

   In dit voorbeeld ziet u twee standaardroutes, die onjuist zijn. (Er moet maar één standaardroute zijn.)

   ubuntu@pod-name-cnat-cnat-core-protocol-ims2:~$ ip route | grep -i default
   default via 172.16.x.x dev ens4 proto dhcp src 172.16.x.x metric 100
   default via 172.16.x.x dev ens3 proto dhcp src 172.16.x.x metric 100
   

2. Controleer de status van de chronische (NTP) service. Hoewel de service is opgestart, ziet u "Kan niet synchroniseren" fouten.

   Steekproefuitvoer:

   root@pod-name-cnat-cnat-core-protocol-data1:/home/ubuntu# systemctl status chronyd.service
chrony.service - chrony, an NTP client/serverLoaded: loaded (/lib/systemd/system/chrony.service; enabled; vendor preset: enabled)
   Active: active (running) since Fri 2021-01-08 07:19:19 UTC; 11 months 24 days ago
     Docs: man:chronyd(8)
           man:chronyc(1)
           man:chrony.conf(5)
 Main PID: 4300 (chronyd)
    Tasks: 1 (limit: 4915)
   CGroup: /system.slice/chrony.service
           └─4300 /usr/sbin/chronyd
Dec 30 17:06:28 pod-name-cnat-cnat-core-protocol-data1 chronyd[4300]: Selected source 5.196.x.x
Dec 31 06:37:11 pod-name-cnat-cnat-core-protocol-data1 chronyd[4300]: Can't synchronise: no selectable sources
Dec 31 17:15:31 pod-name-cnat-cnat-core-protocol-data1 chronyd[4300]: Selected source 5.196.x.x
Jan 01 06:29:43 pod-name-cnat-cnat-core-protocol-data1 chronyd[4300]: Can't synchronise: no selectable sources
Jan 01 16:50:02 pod-name-cnat-cnat-core-protocol-data1 chronyd[4300]: Selected source 5.196.x.x
Jan 01 19:25:05 pod-name-cnat-cnat-core-protocol-data1 chronyd[4300]: Can't synchronise: no selectable sources


3. Controleer de status van de netwerkconfiguratieservice. (Hij is inactief.)

   ubuntu@pod-name-cnat-cnat-core-protocol-data1:~$ systemctl status network-config
   network-config.service - Job that configures for routes
   Loaded: loaded (/etc/systemd/system/network-config.service; enabled; vendor preset: enabled)
   Active: inactive (dead) since Fri 2021-01-08 09:29:05 UTC; 1 years 0 months ago
   Process: 1185 ExecStart=/etc/cisco/network-config.sh start (code=killed, signal=TERM)
   Main PID: 1185 (code=killed, signal=TERM)

Tijdelijke oplossing

Opmerking: deze procedure veroorzaakt geen downtime in de toepassing.

1. Bewerk het servicescript voor netwerkconfiguratie (/etc/systemd/system/network-config.service) in de betreffende node om de volgende regels toe te voegen:

   root@pod-name-cnat-cnat-core-protocol-data1:/home/ubuntu# vim /etc/systemd/system/network-config.service
   Restart=always
   RestartSec=10s
   StartLimitIntervalSec=300s
   StartLimitBurst=30

2. Start de netwerkconfiguratieservice:

   root@pod-name-cnat-cnat-core-protocol-data1:/home/ubuntu# systemctl start network-config

3. Laad de configuratie opnieuw met systemctl:

   root@pod-name-cnat-cnat-core-protocol-data1:/home/ubuntu# systemctl daemon-reload

4. Start de chronische service opnieuw op:

   root@pod-name-cnat-cnat-core-protocol-data1:/home/ubuntu# systemctl restart chronyd.service

Verificatie

Nadat u de stappen voor de tijdelijke oplossing hebt voltooid, voert u deze opdracht uit om te controleren of de problemen zijn verholpen:

for server in $(awk '/protocol/{print $1}' /etc/hosts); do ssh $server "hostname && timedatectl status && chronyc sources -vn" ; done

Opmerking: Een 'Systeemklok gesynchroniseerd' waarde van 'ja' geeft aan dat de problemen zijn opgelost.

Steekproefuitvoer:

ubuntu@pod-name-cnat-cnat-core-master1:~$ for server in $(awk '/protocol/{print $1}' /etc/hosts); do ssh $server "hostname && timedatectl status && chronyc sources -vn" ; done

pod-name-cnat-cnat-core-protocol-data1
                      Local time: Tue 2021-09-07 10:22:16 UTC
                  Universal time: Tue 2021-09-07 10:22:16 UTC
                        RTC time: Tue 2021-09-07 10:22:17
                       Time zone: Etc/UTC (UTC, +0000)
       System clock synchronized: yes
systemd-timesyncd.service active: no
                 RTC in local TZ: no
210 Number of sources = 1
MS Name/IP address         Stratum Poll Reach LastRx Last sample
===============================================================================
^* svtsnq01.mgmt                 1   6   170   282  -1100us[-1858us] +/-   47ms

pod-name-cnat-cnat-core-protocol-data2
                      Local time: Tue 2021-09-07 10:22:16 UTC
                  Universal time: Tue 2021-09-07 10:22:16 UTC
                        RTC time: Tue 2021-09-07 10:22:17
                       Time zone: Etc/UTC (UTC, +0000)
       System clock synchronized: yes
systemd-timesyncd.service active: no
                 RTC in local TZ: no
210 Number of sources = 1
MS Name/IP address         Stratum Poll Reach LastRx Last sample
===============================================================================
^* svtsnq01.mgmt                 1   6    74   206   -218us[-1550us] +/-   46ms

pod-name-cnat-cnat-core-protocol-ims1
                      Local time: Tue 2021-09-07 10:22:17 UTC
                  Universal time: Tue 2021-09-07 10:22:17 UTC
                        RTC time: Tue 2021-09-07 10:22:18
                       Time zone: Etc/UTC (UTC, +0000)
       System clock synchronized: yes
systemd-timesyncd.service active: no
                 RTC in local TZ: no
210 Number of sources = 1
MS Name/IP address         Stratum Poll Reach LastRx Last sample
===============================================================================
^* svtsnq01.mgmt                 1   6    77    24   +796us[+1044us] +/-   47ms

pod-name-cnat-cnat-core-protocol-ims2
                      Local time: Tue 2021-09-07 10:22:17 UTC
                  Universal time: Tue 2021-09-07 10:22:17 UTC
                        RTC time: Tue 2021-09-07 10:22:18
                       Time zone: Etc/UTC (UTC, +0000)
       System clock synchronized: yes
systemd-timesyncd.service active: no
                 RTC in local TZ: no
210 Number of sources = 1
MS Name/IP address         Stratum Poll Reach LastRx Last sample
===============================================================================
^* svtsnq01.mgmt                 1   6    17    98  +2176us[+2275us] +/-   47ms