Probleemoplossing voor S11 KPI-degradatie

Inleiding

Dit document beschrijft hoe problemen met de degradatie van S11 Key Performance Indicators (KPI) kunnen worden opgelost.

Overzicht

S11 is de interface die de Mobility Management Entity (MME) en de Serving Gateway (SGW) verbindt in een LTE-netwerk (Long Term Evolution). De interface maakt gebruik van de Gn of GPRS Tunneling Protocol-Control (GTP-C).

Berichten in de S11-interface 

• Sessieverzoek/antwoord maken
• Sessieverzoek/antwoord wijzigen
• Sessieverzoek/antwoord verwijderen

EPS-sessieinstelling:

• S11 KPI degradatie wordt waargenomen wanneer u meer Create Session Verzoeken (CSR) verwerpingen in vergelijking met zijn CSR pogingen ziet, die de fundamentele oorzaak moeten zijn.

U kunt de formule kennen die gebruikt wordt om de KPI te meten en noteer alle tellers die in de formule zijn opgenomen en bepaal de exacte teller die verantwoordelijk is voor de afbraak.

S11 ASR (SPGW)  = ((tun-sent-cresessrespaccept+ggsn_tun-sent-cresessrespdeniedUserAuthFailed+tun-sent-cresessrespdeniedPrefPdnTypeUnsupported+tun-sent-cresessrespdeniedCtxtNotFound)/EGTPC-ggsn_tun-recv-cresess)*100

PDN Connectivity Success Rate (MME) : ((%esmevent-pdncon-success%) + (%esm-msgtx-pdncon-rej%))*) / (%esmevent-pdncon-attempt%) *100)

Opmerking: de formule kan variëren op basis van de manier waarop deze wordt gemeten.

Logbestanden vereist op initieel niveau:

• KPI-trend die de degradatie weergeeft.
• Gebruikte KPI-formule.

• Onbewerkte bulkstattellers en veroorzaken codetrends vanaf het begin van de uitgifte.
• Leg twee instanties van Show Support Details (SSD’s) uit de knooppunt vast met een interval van 30 minuten tijdens problematische perioden.
• Syslogs varieerden van twee uur voordat de degradatie optrad tot de huidige tijd. mon sub/pro traces  en  logging monitor msid  .

Opeenvolging van probleemoplossing

1. Evalueer de KPI-trend van elke teller die betrokken is bij de S11 KPI-formule door de bulkstats te analyseren.

2. Vergelijk de KPI-trend tijdens problematische tijdlijnen met niet-problematische tijdlijnen.

3. Onderzoek hoe de geïdentificeerde problematische bulkstatteller op stroom wordt bepaald en vestig om het even welke patronen.

4. Verzamel de redenen om de verbinding met het knooppunt te verbreken via meerdere herhalingen met tussenpozen van 3 tot 5 minuten.

U kunt de delta van loskoppelingsredenen tussen twee SSDs analyseren die bij verschillende tijdstempels worden verzameld. De reden van het losmaken die een significante stijging van de deltawaarde laat zien, kan worden beschouwd als de oorzaak van de afbraak van KPI. Voor gedetailleerde beschrijvingen van alle redenen voor loskoppeling raadpleegt u hier de referentie voor Cisco-statistieken en -tellers: https://www.cisco.com/c/en/us/td/docs/wireless/asr_5000/21-23/Stat-Count-Reference/21-23-show-comman...

show session disconnect-reasons verbose

5. Controleer de egtp-statistieken op basis van het type knooppunt dat wordt gebruikt:

--- SGW end -----

show egtpc statistics interface sgw-ingress path-failure-reasons
show egtpc statistics interface sgw-ingress summary
show egtpc statistics interface sgw-ingress verbose
show egtpc statistics interface sgw-ingress sessmgr-only

show egtpc statistics interface sgw-egress path-failure-reasons
show egtpc statistics interface sgw-egress summary
show egtpc statistics interface sgw-egress verbose
show egtpc statistics interface sgw-egress sessmgr-only

---- PGW end -----

show egtpc statistics interface pgw-ingress path-failure-reasons
show egtpc statistics interface sgw-ingress summary
show egtpc statistics interface sgw-ingress verbose
show egtpc statistics interface sgw-ingress sessmgr-only

--- MME end -----

show egtpc statistics interface mme path-failure-reasons
show egtpc statistics interface mme summary
show egtpc statistics interface mme verbose
show egtpc statistics interface mme sessmgr-only

 6. Zodra u de specifieke teller hebt geïdentificeerd die het probleem veroorzaakt, moet u mon-sub/mon-pro vraagsporen vangen om de specifieke vraagstroom verder te analyseren en te identificeren die de degradatie van KPI veroorzaakt. Daarnaast kunt u externe tools gebruiken om Wireshark-sporen te verkrijgen voor meer gedetailleerde analyse.

De opdrachten voor het opnemen van Mon-subsporen zijn als volgt: 

monitor subscriber with options 19, 26,33, 34, 35, 49,A,S, X, Y, verbosity +5 during the issue.

mon-pro with options 19, 26,33, 34, 35, 49,A,S, X, Y, verbosity +5 during the issue if no mon-sub is present.

More options can be enabled depending on the protocol or call flow we need to capture specifically

In gevallen waar het vangen van sporen zoals mon-sub niet haalbaar wegens een minimaal percentage van de degradatie van KPI is, moet u systeem-niveau vangen debug logboeken in plaats daarvan. Dit impliceert het vangen debug logboeken voor sessmgr en egptc, en indien nodig, het vangen van gateway-specifieke stromen.

logging filter active facility sessmgr level debug 
logging filter active facility egtpc level debug
logging filter active facility sgw level debug
logging filter active facility pgw level debug

logging active ----------------- to enable 
no logging active ------------- to disable

Note :: Debugging logs can increase CPU utilization so need to keep a watch while executing debugging logs

7. Na het analyseren van de debug-logbestanden, als u de oorzaak van het probleem bepaalt, kunt u doorgaan met het opnemen van het kernbestand voor die specifieke gebeurtenis waar u de foutlogbestanden waarneemt.

logging enable-debug facility sessmgr instance 
    
    
      eventid 11176 line-number 3219 collect-cores 1 
     
 
     
For example :: consider we are getting below error log in debug logs which we suspect can be a cause of issue 
     
and we don;t have any call trace 
     
 
     
[egtpc 141027 info] [15/0/6045 
     
       _handler_func.c:10068] [context: INLAND_PTL_MME01, contextID: 6] [software internal user syslog] [mme-egress] Sending reject response for the message EGTP_MSG_UPDATE_BEARER_REQUEST with cause EGTP_CAUSE_NO_RESOURCES_AVAILABLE to 
       
       
 
       
So in this error event 
       
 
       
facility :: sessmgr 
       
event ID = 141027 
       
line number = 10068 
       
      
    

Waarschuwing: Wanneer u om de verzameling van logboeken vraagt, zoals debug logboeken, logboekmonitor, mon-sub, of mon-pro, is het belangrijk om ervoor te zorgen dat deze logboeken tijdens een onderhoudsvenster worden verzameld. Bovendien is het belangrijk om de CPU-belasting tijdens deze periode te controleren.

Analyse en identificatie van symptomen

• Controleer eerst of er in het systeem frequente crashes van SSD zijn waargenomen.

show crash list

• Controleer of er licentieproblemen zijn opgetreden. In sommige gevallen, wanneer de licentie bij de Serving Packet Data Gateway (SPGW) is verlopen, kan deze geen nieuwe oproepen meer accepteren, wat resulteert in mislukte oproepen en leidt tot S11 degradatie of dip.

show resource info

• Verifieer of er meerdere sessiemorxen in een waarschuwing/over de status zijn vanwege het hoge geheugen of CPU-gebruik. Als dergelijke gevallen zich voordoen, controleert u of nieuwe oproepen om deze redenen worden afgewezen.
• Van de debug logboeken, kunt u controleren op welke interface, u de fouten van de vraagverwerping krijgt.

Als er een aanzienlijk aantal fout optreedt bij de afwijzing van oproepen voor een specifieke abonnee in de "sgw-egress"-context, gevolgd door de afwijzing van dezelfde abonnee in de "sgw-ingress"-context, kan worden afgeleid dat de afwijzingen van de Packet Data Gateway (PGW) naar SGW-> MME in de S11-context worden verzonden. Om verder te bevestigen en probleemoplossing van het PGW-einde kunt u nu een mon-sub voor deze IMSI nemen.

2022-Nov-26+00:20:51.763 [egtpc 141018 unusual] [7/0/16871 
    
    
      _handler_func.c:3227] [context: gwctx, contextID: 2] [software internal user syslog] [sgw-egress] For IMSI: 427021600263284, create session request is rejected by the peer with cause EGTP_CAUSE_NO_RESOURCES_AVAILABLE 2022-Nov-26+00:20:51.763 [egtpc 141018 unusual] [7/0/16871 
     
       _handler_func.c:2505] [context: gwctx, contextID: 2] [software internal user syslog] [sgw-ingress] For IMSI: 427021600263284, create session request is rejected by the SAP user with cause EGTPC_REASON_UNKNOWN 
      
    

• Soms kunnen er meerdere redenen voor afwijzing zijn voor de KPI dip, dus je moet elke reden apart controleren en dienovereenkomstig te werk gaan.

Er kunnen bijvoorbeeld  no_resource_available/user_auth_failure  foutverhoging voor bepaalde IMSI-serie (International Mobile Subscriber Identity), die bedoeld is voor in-roamer abonnees, zodat deze via PGW moeten worden gecontroleerd. Er kan een reden zijn zoals: remote peer not responding en maak een sessieverzoek aan met een time-out bij SGW en dit kan verslechtering in S11 KPI veroorzaken. Deze nieuwe sessie kan worden verworpen als No_resource_available van SGW naar MME. Deze afwijzende oorzaakcodes kunnen worden geobserveerd uit de monitorprotocollogboeken en u kunt het Create Sessieverzoek controleren en Sessieresultaten maken om de specifieke IP-adressen te identificeren van waaruit deze afwijzende oorzaakcodes worden verzonden.