Inhoud

Inleiding

Voorwaarden

Vereisten

Gebruikte componenten

Achtergrondinformatie

Probleem

Gebruikte opdrachten

Oplossing

Inleiding

Dit document beschrijft het proces om de oorzaak van de upgrade van de Traps X3MDConDown en X3MDConnUp in Cisco Packet Data Network Gateway (PGW) van 21.18.17 naar 21.25.8 in grote getallen te identificeren.

Voorwaarden

Vereisten

Cisco raadt kennis van de volgende onderwerpen aan:

- StarOS/PGW

- Kennis van X1-, X2- en X3-interface en -functionaliteit

- Kennis van TCP-instelling voor X3

Gebruikte componenten

De informatie in dit document is gebaseerd op de volgende software- en hardware-versies:

- PGW aggregation services router (ASR) 5500

- Versies 21.18.17.79434 en 21.25.8.84257

De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk live is, moet u zorgen dat u de potentiële impact van elke opdracht begrijpt.

Achtergrondinformatie

De rechtmatige interceptie-oplossing heeft drie afzonderlijke interfaces tussen het netwerkelement en de mediaserver om provisioning, call data (signaal) en call content (media) informatie te verstrekken. Deze interfaces worden gecreëerd nadat de verbinding tussen de leverfunctie van de XCIPIO-mediaserver (DF) en de toegangsfunctie van het netwerkelement (AF) is gevestigd. De verbinding van de mediaspeler naar het wettige afluisterbureau is gestandaardiseerd. De interfaces tussen AF en DF worden gedefinieerd als:

- X1 of INI-1-interface voor voorzieningsdoelstellingen

- X2- of INI-2-interface om signaleringsinformatie voor het doelwit te verstrekken

- X3 of INI-3 interface om media te leveren of inhoud te bellen voor het doel

Waar de X-interface wordt gedefinieerd door de 3GPP-standaard, terwijl INI wordt gedefinieerd door de ETSi-standaard.

Probleem

Post de noedelupgrade van 21.18.17 naar 21.25.8, is een alarm begonnen te komen voor X3MDConnDown en X3MDConnUp in Bulk (ongeveer 3000 in één uur).

Trapformaat:

Mon Jul 04 00:44:15 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/41833 and Peer IP/port: x.x.x.x/7027 with cause: LI X3 CALEA Connection Down

Mon Jul 04 00:45:29 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/56805 and Peer IP/port: x.x.x.x/7027 with cause: LI X3 CALEA Connection UP

Gegevens over de trap in HRS:

Het probleem wordt in deze afbeelding rood gemarkeerd:

Stappen voor probleemoplossing:

1. Controleer de services op de LI server, dan vindt u geen impact.

2. LI-bestanden kunnen naar de LI-server worden overgebracht.

3. Ping en tracoute werden gevonden OK aan de LI server.

4. Er is geen latentie en een pakketdaling waargenomen.

5. Wanneer u probeert om TCP te storten in de LI server, worden eenvoudige pakketten opgenomen in TCPdumpen voor het problematische knooppunt.

Vergelijk het met het werkende knooppunt en je ziet hetzelfde gedrag.

1. Wanneer u een andere poort maakt op de LI server, merkt u op dat de kwestie blijft.

2. Wanneer u een andere LI Test server en poort maakt, observeert u hetzelfde alarm bij Gateway GPRS Support Node (GGSN).

3. Wanneer u extra sporen opneemt, zoals het NPU-PAN-spoor, opdrachten toont en logbestanden debug, ziet u dat FIN ACK van de LI-server komt net na SYN van de PGW en dit resulteert in Traps  X3MDConDown en X3MDConnUp.

4. Volgens het technische team herkent de versie 21.25.8 de FIN ACK en genereert u het alarm X3MDConDown en dan X3MDConnUp. Wat niet eerder is waargenomen bij lozingen dan 21.18.17.

5. Een workround Heartbeat Timer (1 m) is ingeschakeld op de GGN- en LI-server bericht dat X3MDConDown en X3MDConnUp alarm is in controle. Het is verminderd van ongeveer 3000 tot 100 voor één dag.

6. Node wordt gedurende 2 weken gecontroleerd en de X3MDConDown en X3MDConnUp waren onder controle.

Gebruikte opdrachten

1. Van deze opdrachten worden LI-bestanden op de juiste manier naar de LI-server overgebracht. Er is geen probleem met de TCP verbinding met de LI server.

show lawful-intercept full imsi <>

Voorbeeld:

[lictx]GGSN# show lawful-intercept full msisdn XXXXXXXXX

Monday April 25 14:15:11 IST 2022

Username : -

ip-address : XXXXXXXX

msid/imsi : XXXXXXXXXXX

msisdn : XXXXXXXX

imei/mei : XXXXXXX

session : Session Present

service-type : pgw

pdhir : Disabled

li-context : lictx

intercept-id : 58707

intercept-key: -

Content-delivery: tcp-format

TCP connection info

State : ACTIVE

Dest. address: XX.XX.XX.XX Dest. Port: XXXX————>>

Num. Intercepted pkt for Active call: XXXX ——————>>

Event-delivery: tcp-format——>>

TCP connection info —————>>

State : ACTIVE————>>

Dest. address: XX.XX.XX.XX Dest. Port: XXXX————>>

Num. Intercepted pkt for Active call: 13 —————>>>

Provisioning method: Camp-on trigger

LI-index : 649

Deze opdrachten hebben een LI-beheerder nodig om de volledige uitvoer te zien:

show lawful-intercept statistics

show lawful-intercept buffering-stats sessmgr all

show lawful-intercept statistics

show connection-proxy sockets all

show lawful-intercept error-stats

2. Verzamel deze weblogs op het niveau van debug:

logging filter active facility dhost level debug

logging filter active facility li level debug

logging filter active facility connproxy level debug

logging filter active facility ipsec level debug

logging filter active facility ipsecdemux level debug

logging active pdu-verbosity 5

Logging active

No logging active

Hier kan je haveninformatie zien veranderen als ze niet stabiel zijn.

show dhost socket  (in li context)

3. Voer in de verborgen modus in en ga naar de VPP (Vector Packet Processing) taak om te controleren of pakketten zijn voorzien van FIN-erkenning (ACK).

[lictx]GGSN# debug shell

enter vppct (from deb shell, use cmd "vppctl")

vpp#show hsi sessions

Voorbeeld:

[local]g002-laas-ssi-24# deb sh

Friday May 13 06:03:24 UTC 2022

Last login: Fri May 13 04:32:03 +0000 2022 on pts/2 from 10.78.41.163.

g002-laas-ssi-24:ssi# vppctl

vpp# sho hsi sessions

[s1] dep 1 thread 10 fib-index 6 dst-src [3.2.1.1:9002]-[3.1.1.1:42906]

[s2] dep 1 thread 9 fib-index 6 dst-src [3.2.1.1:9003]-[3.1.1.1:60058]

[s3] dep 1 thread 8 fib-index 6 dst-src [3.2.1.1:9004]-[3.1.1.1:51097]

[s4] dep 1 thread 6 fib-index 6 dst-src [3.2.1.1:9005]-[3.1.1.1:45619]

4. Uitvoerlogbestanden in LI-context tonen, kan onder testopdracht worden ingeschakeld nadat u logbestanden hebt bewerkt.

show clock

show dhost sockets

show connection-proxy sockets all

show clock

5. Verzamel de ondersteunende gegevens van de show.

6. Verzamel NPU-PAN sporen om te erkennen dat het pakket eensuccesvolle TCP-verbinding met de LI-server.

Zo schakelt u uit:

#configure

#no npumgr pan-trace

#npumgr pan-trace monitor none

#end

#show npumgr pan-trace configuration

#configure

#npumgr pan-trace acc monitor ipv4 id 1 protocol tcp sa X.X.X.X mask 255.255.255.255 da X.X.X.X mask 255.255.255.255

#npumgr pan-trace acc monitor ipv4 id 2 protocol tcp sa X.X.X.X mask 255.255.255.255 da X.X.X.X mask 255.255.255.255

#npumgr pan-trace limit 4096

#npumgr pan-trace

#end

(check if disabled/enabled, it should be enabled)

#show npumgr pan-trace configuration

Deze opdracht kan het NPU-pan-spoor stoppen, dus moet het voor de volgende verzameling opnieuw worden geconfigureerd.

#show npumgr pan-trace summary

(We can capture packets based on npu number which can be done during testing if possible)

#show npumgr pan-trace detail all

Voorbeeld van NPU-sporen:

3538  6/0/2 Non 6/15 fab    70 Jun 02 16:47:10.05443343 144 Eth() Vlan(2014) IPv4(sa=XX.XX.XX.147, da=XX.XX.XX.201) TCP(sp=7027, dp=46229, ACK FIN) [ vrf=8 strip=40 flow ] >> MEH(sbia=050717de, dbia=0603800e, flowid=62755625, In) IPv4(sa=XX.XX.XX.147, da=XX.XX.XX.201) TCP(sp=7027, dp=46229, ACK FIN)

Packet details :

Packet 3538:

SA              [4B] = XX.XX.XX.147[0x0aa40693]

DA              [4B] = XX.XX.XX.201[0x0aa91ec9]

source port     [2B] = 0x1b73 (7027),   dest port       [2B] = 0xb495 (46229)

seqnum          [4B] = 0xc9923207 (3381801479)

acknum          [4B] = 0xbbd482ef (3151266543)

flags           [6b] = 0x11 ACK FIN

Oplossing

Laat de time-out van hartberichten tot 1 minuut in PGW en XX.XX.XX.147 (LI Server) met deze opdracht toe:

lawful-intercept tcp application-heartbeat-messages timeout minutes 1

Stel dat FIN ACK vlak na SYN van de LI server komt. In dat geval overweegt PGW geen X3 interface omdat de hartslag 1 min in PGW is geactiveerd en is ingeschakeld op de LI server ook, wat een indicatie is dat de X3 verbinding UP is zoals de hartslag aanwezig is. Dus, de alarmen zijn verminderd voor X3MDConnDown en X3MDConnUp.

Analyse van de SSD-trap voor en na:

Trends of SNMP-trap na Workround:

Mon Jul 04 00:44:15 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/41833 and Peer IP/port: 10.10.10.6/7027with cause: LI X3 CALEA Connection Down

Mon Jul 04 11:13:20 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/47122 and Peer IP/port: 10.10.10.6/7027with cause: LI X3 CALEA Connection Down

==========

Tue Jul 05 09:45:11 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/34489 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection Down

Tue Jul 05 09:45:56 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/51768 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

Tue Jul 05 09:57:57 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/34927 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

Tue Jul 05 17:10:30 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59164 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

Tue Jul 05 17:11:00 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/52191 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

Tue Jul 05 17:11:07 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/46619 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

Tue Jul 05 17:14:23 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59383 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

Tue Jul 05 17:17:31 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59104 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

Hier is de status van de vallen die het laatst zijn waargenomen, en let op dat er geen nieuwe vallen worden gegenereerd.

[local]GGSN# show snmp trap statistics verbose | grep X3MDConn

Thursday July 21 12:36:38 IST 2022

X3MDConnDown                        12018928     0 9689294  2022:07:05:11:36:23

X3MDConnUp                          12030872     0 9691992  2022:07:05:17:17:31

[local]GGSN# show snmp trap history verbose | grep x.x.x.x

Thursday July 21 12:36:57 IST 2022