Probleemoplossing voor X3MDConnDown en X3MDConnUp Trap waargenomen in PGW

Inleiding

Dit document beschrijft het proces om de oorzaak van de vallen X3MDConnDown en X3MDConnUp in Cisco Packet Data Network Gateway (PGW) na een upgrade van 21.18.17 tot 21.25.8 in grote aantallen te identificeren.

Voorwaarden

Vereisten

Cisco raadt kennis van de volgende onderwerpen aan:

• StarOS/PGW
• Kennis van X1, X2 en X3 interface en functionaliteit
• Kennis van TCP-instelling voor X3

Gebruikte componenten

De informatie in dit document is gebaseerd op de volgende software- en hardware-versies:

• PGW-router voor aggregatieservices (ASR) 5500
• Versies 21.18.17 .79434 en 21.25.8.84257

De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk live is, moet u zorgen dat u de potentiële impact van elke opdracht begrijpt.

Achtergrondinformatie

De oplossing Rechtmatige onderschepping heeft drie afzonderlijke interfaces tussen het netwerkelement en de mediatieserver om provisioning, call data (signaal) en call content (media) informatie te bieden. Deze interfaces worden gecreëerd nadat de verbinding tot stand is gebracht tussen de XCIPIO-bemiddelingsserverleveringsfunctie (DF) en de netwerkelement toegangsfunctie (AF). De interface van de bemiddelingsserver naar het legale interceptiebureau is gestandaardiseerd. De interfaces tussen AF en DF worden als volgt gedefinieerd:

• X1- of INI-1-interface voor provisioningdoelstellingen
• X2- of INI-2-interface om signaleringsinformatie voor het doel te bieden
• X3- of INI-3-interface om media te leveren of inhoud voor het doel te bellen

Waar de X-interface wordt gedefinieerd door de 3GPP-standaard, terwijl INI wordt gedefinieerd door de ETSi-standaard.

Probleem

Na de knoopupgrade van 21.18.17 naar 21.25.8 kwam er een alarm voor X3MDConnDown en X3MDConnUp in bulk (rond 3000 in een uur).

Trap-indeling:

Mon Jul 04 00:44:15 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/41833 and Peer IP/port: x.x.x.x/7027 with cause: LI X3 CALEA Connection Down

Mon Jul 04 00:45:29 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/56805 and Peer IP/port: x.x.x.x/7027 with cause: LI X3 CALEA Connection UP

Trap details in HRS:

Het probleem wordt in dit beeld in rood gemarkeerd:

Stappen voor probleemoplossing:

1. Controleer de diensten naar de LI server, zult u geen impact vinden.
2. LI-bestanden kunnen worden overgedragen naar de LI-server.
3. Ping en traceroute zijn gevonden OK naar de LI server.
4. Er is geen latentie en pakketdaling waargenomen.
5. Wanneer u probeert de TCPdump naar de LI-server op te nemen, worden eenrichtingspakketten opgenomen in TCPdump voor de problematische knooppunt.

Vergelijk het met het werkende knooppunt en je ziet hetzelfde gedrag.

1. Wanneer u een andere poort maakt op de LI server, merkt u op dat het probleem blijft.
2. Wanneer u een andere LI Test-server en -poort maakt, ziet u hetzelfde alarm bij Gateway GPRS Support Node (GGSN).
3. Wanneer u de extra overtrekken vastlegt, zoals het NPU-PAN-spoor, opdrachten toont en logbestanden debugt, ziet u dat FIN ACK van de LI-server komt net na de SYN van de PGW en dit resulteert in overtrekken  X3MDCondown-communicatie enX3MDConnUp.
4. De versie 21.25.8 herkent de FIN ACK en genereert het alarm X3MDCondown-communicatie en en vervolgens X3MDConnUp. Wat niet eerder in releases wordt gezien dan 21.18.17 .
5. Een workaround Heartbeat Timer (1m) is ingeschakeld op de GGSN en LI server bericht dat de X3MDCondown-communicatie en het X3MDConnUp-alarm is in werking. Het wordt teruggebracht van ongeveer 3000 tot 100 voor 1 dag.
6. Het knooppunt wordt gedurende 2 weken gecontroleerd en het X3MDCondown-communicatie en X3MDConnUp-alarmen kwamen onder controle.

Gebruikte opdrachten

1. Van deze opdrachten worden LI-bestanden correct naar de LI-server overgebracht. Er is geen probleem met de TCP verbinding met de LI server.

show lawful-intercept full imsi <>

Voorbeeld:

[lictx]GGSN# show lawful-intercept full msisdn XXXXXXXXX

Monday April 25 14:15:11 IST 2022

Username : -

ip-address : XXXXXXXX

msid/imsi : XXXXXXXXXXX

msisdn : XXXXXXXX

imei/mei : XXXXXXX

session : Session Present

service-type : pgw

pdhir : Disabled

li-context : lictx

intercept-id : 58707

intercept-key: -

Content-delivery: tcp-format

TCP connection info

State : ACTIVE

Dest. address: XX.XX.XX.XX Dest. Port: XXXX————>>

Num. Intercepted pkt for Active call: XXXX ——————>>

Event-delivery: tcp-format——>>

TCP connection info —————>>

State : ACTIVE————>>

Dest. address: XX.XX.XX.XX Dest. Port: XXXX————>>

Num. Intercepted pkt for Active call: 13 —————>>>

Provisioning method: Camp-on trigger

LI-index : 649

Voor deze opdrachten moet LI-beheerder toegang hebben tot volledige uitgangen:

show lawful-intercept statistics

show lawful-intercept buffering-stats sessmgr all

show lawful-intercept statistics

show connection-proxy sockets all

show lawful-intercept error-stats

2. Verzamel deze debug level logs:

logging filter active facility dhost level debug

logging filter active facility li level debug

logging filter active facility connproxy level debug

logging filter active facility ipsec level debug

logging filter active facility ipsecdemux level debug

logging active pdu-verbosity 5

Logging active

No logging active

Hier, kunt u de verandering van de haveninformatie zien als zij niet stabiel zijn.

show dhost socket  (in li context)

3. Voer in de modus Verborgen in en ga naar de taak Vector Packet Processing (VPP) om te controleren of er pakketten komen voor FIN acknowledged (ACK).

[lictx]GGSN# debug shell

enter vppct (from deb shell, use cmd "vppctl")
vpp#show hsi sessions

Voorbeeld:

[local]g002-laas-ssi-24# deb sh

Friday May 13 06:03:24 UTC 2022

Last login: Fri May 13 04:32:03 +0000 2022 on pts/2 from 10.78.41.163.

g002-laas-ssi-24:ssi# vppctl

vpp# sho hsi sessions

[s1] dep 1 thread 10 fib-index 6 dst-src [3.2.1.1:9002]-[3.1.1.1:42906]

[s2] dep 1 thread 9 fib-index 6 dst-src [3.2.1.1:9003]-[3.1.1.1:60058]

[s3] dep 1 thread 8 fib-index 6 dst-src [3.2.1.1:9004]-[3.1.1.1:51097]

[s4] dep 1 thread 6 fib-index 6 dst-src [3.2.1.1:9005]-[3.1.1.1:45619]

4. Toon de outputlogboeken in context LI kan onder testbevel worden toegelaten nadat u debug logboeken toelaat.

show clock
show dhost sockets
show connection-proxy sockets all
show clock

5. Verzamel de Show ondersteuningsdetails.

6. Verzamel NPU-PAN-spoor om te herkennen dat het pakket eensuccesvolle TCP-verbinding met de LI-server.

Uitschakelen:

#configure

#no npumgr pan-trace

#npumgr pan-trace monitor none

#end

#show npumgr pan-trace configuration

#configure

#npumgr pan-trace acc monitor ipv4 id 1 protocol tcp sa X.X.X.X mask 255.255.255.255 da X.X.X.X mask 255.255.255.255

#npumgr pan-trace acc monitor ipv4 id 2 protocol tcp sa X.X.X.X mask 255.255.255.255 da X.X.X.X mask 255.255.255.255

#npumgr pan-trace limit 4096

#npumgr pan-trace

#end

(check if disabled/enabled, it should be enabled)

#show npumgr pan-trace configuration 

Deze opdracht kan het NPU pan-spoor stoppen, dus het moet opnieuw worden geconfigureerd voor de volgende collectie.

#show npumgr pan-trace summary

(We can capture packets based on npu number which can be done during testing if possible)
#show npumgr pan-trace detail all

Voorbeeld van NPU Trace:

3538  6/0/2 Non 6/15 fab    70 Jun 02 16:47:10.05443343 144 Eth() Vlan(2014) IPv4(sa=XX.XX.XX.147, da=XX.XX.XX.201) TCP(sp=7027, dp=46229, ACK FIN) [ vrf=8 strip=40 flow ] >> MEH(sbia=050717de, dbia=0603800e, flowid=62755625, In) IPv4(sa=XX.XX.XX.147, da=XX.XX.XX.201) TCP(sp=7027, dp=46229, ACK FIN)
Packet details :

Packet 3538:

                              SA              [4B] = XX.XX.XX.147[0x0aa40693]

                              DA              [4B] = XX.XX.XX.201[0x0aa91ec9]

                              source port     [2B] = 0x1b73 (7027),   dest port       [2B] = 0xb495 (46229)

                              seqnum          [4B] = 0xc9923207 (3381801479)

                              acknum          [4B] = 0xbbd482ef (3151266543)

                              flags           [6b] = 0x11 ACK FIN

Oplossing

Met deze opdracht kunt u de time-out van hartslagberichten tot 1 minuut inschakelen op PGW en op XX.XX.XX.147 (LI-server):

lawful-intercept tcp application-heartbeat-messages timeout minutes 1

Stel dat FIN ACK direct na het SYN van de LI server komt. In dat geval beschouwt PGW een X3-interface niet naar beneden omdat de hartslag 1 min in PGW is ingeschakeld en is ingeschakeld op de LI-server, wat aangeeft dat de X3-verbinding UP is als de hartslag aanwezig is. Hierdoor zijn de alarmen voor X3MDConnDown en X3MDConnUp gereduceerd.

Pre en Post SSD Trap analyse:

Trends in SNMP-traps na Workaround:

Mon Jul 04 00:44:15 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/41833 and Peer IP/port: 10.10.10.6/7027with cause: LI X3 CALEA Connection Down


  Mon Jul 04 11:13:20 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/47122 and Peer IP/port: 10.10.10.6/7027with cause: LI X3 CALEA Connection Down

==========


  Tue Jul 05 09:45:11 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/34489 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection Down


  Tue Jul 05 09:45:56 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/51768 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 09:57:57 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/34927 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:10:30 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59164 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:11:00 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/52191 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:11:07 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/46619 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:14:23 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59383 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:17:31 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59104 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

Hier is de status van de laatst geobserveerde vallen, en merk op dat er geen nieuwe vallen worden gegenereerd.

[local]GGSN# show snmp trap statistics verbose | grep X3MDConn

Thursday July 21 12:36:38 IST 2022

X3MDConnDown                        12018928     0 9689294  2022:07:05:11:36:23

X3MDConnUp                          12030872     0 9691992  2022:07:05:17:17:31

[local]GGSN# show snmp trap history verbose | grep x.x.x.x 

Thursday July 21 12:36:57 IST 2022