Dépannage des déroutements X3MDConnDown et X3MDConnUp observés dans PGW

Introduction

Ce document décrit le processus d'identification de la cause des pièges X3MDConnDown et X3MDConnUp dans Cisco Packet Data Network Gateway (PGW) après la mise à niveau de 21.18.17 à 21.25.8 en grand nombre.

Conditions préalables

Exigences

Cisco vous recommande de prendre connaissance des rubriques suivantes :

• StarOS/PGW
• Connaissance des interfaces et des fonctionnalités X1, X2 et X3
• Connaissance de l’établissement du protocole TCP pour X3

Composants utilisés

Les informations contenues dans ce document sont basées sur les versions de matériel et de logiciel suivantes :

• Routeur de services d'agrégation PGW (ASR) 5500
• Versions 21.18.17 .79434 et 21.25.8.84257

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. Si votre réseau est en ligne, assurez-vous de bien comprendre l’incidence possible des commandes.

Informations générales

La solution d'interception légale comporte trois interfaces discrètes entre l'élément de réseau et le serveur de médiation pour fournir des informations de mise en service, de données d'appel (signal) et de contenu d'appel (support). Ces interfaces sont créées après l'établissement de la connexion entre la fonction de livraison (DF) du serveur de médiation XCIPIO et la fonction d'accès (AF) de l'élément réseau. L'interface entre le serveur de médiation et l'agence d'interception légale est normalisée. Les interfaces entre AF et DF sont définies comme suit :

• Interface X1 ou INI-1 pour les cibles d'approvisionnement
• Interface X2 ou INI-2 pour fournir des informations de signalisation pour la cible
• Interface X3 ou INI-3 pour fournir du contenu multimédia ou d'appel pour la cible

Où l'interface X est définie par la norme 3GPP tandis que l'interface INI est définie par la norme ETSi.

Problème

Après la mise à niveau du noeud de 21.18.17 à 21.25.8, une alarme a commencé à venir pour X3MDConnDown et X3MDConnUp en masse (environ 3000 en une heure).

Format de déroutement :

Mon Jul 04 00:44:15 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/41833 and Peer IP/port: x.x.x.x/7027 with cause: LI X3 CALEA Connection Down

Mon Jul 04 00:45:29 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/56805 and Peer IP/port: x.x.x.x/7027 with cause: LI X3 CALEA Connection UP

Détails des déroutements dans HRS :

Le problème est surligné en rouge dans cette image :

Étapes de dépannage :

1. Vérifiez les services vers le serveur LI, vous ne trouverez aucun impact.
2. Les fichiers LI peuvent être transférés vers le serveur LI.
3. Les commandes ping et traceroute ont été détectées comme étant correctes pour le serveur LI.
4. Aucune latence ni perte de paquets n'a été observée.
5. Lorsque vous essayez de capturer le TCPdump vers le serveur LI, les paquets unidirectionnels sont capturés dans TCPdump pour le noeud problématique.

Comparez-le au noeud de travail et vous obtenez le même comportement.

1. Lorsque vous créez un port différent sur le serveur LI, vous constatez que le problème persiste.
2. Lorsque vous créez un autre serveur et un autre port de test LI, vous observez la même alarme au niveau du noeud de support GPRS de passerelle (GGSN).
3. Lorsque vous capturez les traces supplémentaires, telles que la trace NPU-PAN, les commandes show et les journaux de débogage, vous voyez que FIN ACK provient du serveur LI juste après le SYN de PGW et que cela se traduit par des interruptions  X3MDConDown etX3MDConnUp.
4. Selon l'équipe d'ingénierie, la version 21.25.8 reconnaît le FIN ACK et génère l'alarme X3MDConDown et puis X3MDConnUp. Ce qui n'est pas vu dans les versions antérieures à 21.18.17 .
5. Un minuteur de pulsation de contournement (1m) a été activé sur le serveur GGSN et LI que le X3MDConDown et l'alarme X3MDConnUp est en contrôle. Il est réduit d'environ 3000 à 100 pour 1 jour.
6. Le noeud est surveillé pendant 2 semaines, et le X3MDConDown et les alarmes X3MDConnUp ont été contrôlées.

Commandes utilisées

1. À partir de ces commandes, les fichiers LI sont transférés correctement vers le serveur LI. Il n'y a aucun problème avec la connexion TCP au serveur LI.

show lawful-intercept full imsi <>

Exemple :

[lictx]GGSN# show lawful-intercept full msisdn XXXXXXXXX

Monday April 25 14:15:11 IST 2022

Username : -

ip-address : XXXXXXXX

msid/imsi : XXXXXXXXXXX

msisdn : XXXXXXXX

imei/mei : XXXXXXX

session : Session Present

service-type : pgw

pdhir : Disabled

li-context : lictx

intercept-id : 58707

intercept-key: -

Content-delivery: tcp-format

TCP connection info

State : ACTIVE

Dest. address: XX.XX.XX.XX Dest. Port: XXXX————>>

Num. Intercepted pkt for Active call: XXXX ——————>>

Event-delivery: tcp-format——>>

TCP connection info —————>>

State : ACTIVE————>>

Dest. address: XX.XX.XX.XX Dest. Port: XXXX————>>

Num. Intercepted pkt for Active call: 13 —————>>>

Provisioning method: Camp-on trigger

LI-index : 649

Ces commandes nécessitent un accès administrateur LI pour afficher les résultats complets :

show lawful-intercept statistics

show lawful-intercept buffering-stats sessmgr all

show lawful-intercept statistics

show connection-proxy sockets all

show lawful-intercept error-stats

2. Collectez ces journaux de niveau de débogage :

logging filter active facility dhost level debug

logging filter active facility li level debug

logging filter active facility connproxy level debug

logging filter active facility ipsec level debug

logging filter active facility ipsecdemux level debug

logging active pdu-verbosity 5

Logging active

No logging active

Ici, vous pouvez voir les informations de port changer si elles ne sont pas stables.

show dhost socket  (in li context)

3. Passez en mode masqué et passez à la tâche Vector Packet Processing (VPP) pour vérifier si les paquets arrivent pour FIN Acknowledgement (ACK).

[lictx]GGSN# debug shell

enter vppct (from deb shell, use cmd "vppctl")
vpp#show hsi sessions

Exemple :

[local]g002-laas-ssi-24# deb sh

Friday May 13 06:03:24 UTC 2022

Last login: Fri May 13 04:32:03 +0000 2022 on pts/2 from 10.78.41.163.

g002-laas-ssi-24:ssi# vppctl

vpp# sho hsi sessions

[s1] dep 1 thread 10 fib-index 6 dst-src [3.2.1.1:9002]-[3.1.1.1:42906]

[s2] dep 1 thread 9 fib-index 6 dst-src [3.2.1.1:9003]-[3.1.1.1:60058]

[s3] dep 1 thread 8 fib-index 6 dst-src [3.2.1.1:9004]-[3.1.1.1:51097]

[s4] dep 1 thread 6 fib-index 6 dst-src [3.2.1.1:9005]-[3.1.1.1:45619]

4. Afficher les journaux de sortie dans le contexte LI peut être activé sous la commande test après avoir activé les journaux de débogage.

show clock
show dhost sockets
show connection-proxy sockets all
show clock

5. Collectez les détails de l'assistance Show.

6. Collectez la trace NPU-PAN pour reconnaître que le paquet a unconnexion TCP réussie avec le serveur LI.

Pour désactiver :

#configure

#no npumgr pan-trace

#npumgr pan-trace monitor none

#end

#show npumgr pan-trace configuration

#configure

#npumgr pan-trace acc monitor ipv4 id 1 protocol tcp sa X.X.X.X mask 255.255.255.255 da X.X.X.X mask 255.255.255.255

#npumgr pan-trace acc monitor ipv4 id 2 protocol tcp sa X.X.X.X mask 255.255.255.255 da X.X.X.X mask 255.255.255.255

#npumgr pan-trace limit 4096

#npumgr pan-trace

#end

(check if disabled/enabled, it should be enabled)

#show npumgr pan-trace configuration 

Cette commande peut arrêter la trace de panoramique NPU, elle doit donc être reconfigurée pour la collection suivante.

#show npumgr pan-trace summary

(We can capture packets based on npu number which can be done during testing if possible)
#show npumgr pan-trace detail all

Exemple de suivi NPU :

3538  6/0/2 Non 6/15 fab    70 Jun 02 16:47:10.05443343 144 Eth() Vlan(2014) IPv4(sa=XX.XX.XX.147, da=XX.XX.XX.201) TCP(sp=7027, dp=46229, ACK FIN) [ vrf=8 strip=40 flow ] >> MEH(sbia=050717de, dbia=0603800e, flowid=62755625, In) IPv4(sa=XX.XX.XX.147, da=XX.XX.XX.201) TCP(sp=7027, dp=46229, ACK FIN)
Packet details :

Packet 3538:

                              SA              [4B] = XX.XX.XX.147[0x0aa40693]

                              DA              [4B] = XX.XX.XX.201[0x0aa91ec9]

                              source port     [2B] = 0x1b73 (7027),   dest port       [2B] = 0xb495 (46229)

                              seqnum          [4B] = 0xc9923207 (3381801479)

                              acknum          [4B] = 0xbbd482ef (3151266543)

                              flags           [6b] = 0x11 ACK FIN

Solution

Activez le délai d'expiration des messages de pulsation à 1 minute sur PGW et XX.XX.XX.147 (LI Server) avec cette commande :

lawful-intercept tcp application-heartbeat-messages timeout minutes 1

Supposons que FIN ACK arrive juste après le SYN du serveur LI. Dans ce cas, PGW ne considère pas qu'une interface X3 est désactivée, car la pulsation est activée 1 min dans PGW et activée sur le serveur LI, ce qui indique que la connexion X3 est activée lorsque la pulsation est présente. Ainsi, les alarmes sont réduites pour X3MDConnDown et X3MDConnUp.

Analyse des déroutements SSD avant et après :

Tendances des déroutements SNMP après Solution :

Mon Jul 04 00:44:15 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/41833 and Peer IP/port: 10.10.10.6/7027with cause: LI X3 CALEA Connection Down


  Mon Jul 04 11:13:20 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/47122 and Peer IP/port: 10.10.10.6/7027with cause: LI X3 CALEA Connection Down

==========


  Tue Jul 05 09:45:11 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/34489 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection Down


  Tue Jul 05 09:45:56 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/51768 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 09:57:57 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/34927 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:10:30 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59164 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:11:00 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/52191 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:11:07 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/46619 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:14:23 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59383 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:17:31 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59104 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

Voici l'état des déroutements observés pour la dernière fois, et notez qu'aucun nouveau déroutement n'est généré.

[local]GGSN# show snmp trap statistics verbose | grep X3MDConn

Thursday July 21 12:36:38 IST 2022

X3MDConnDown                        12018928     0 9689294  2022:07:05:11:36:23

X3MDConnUp                          12030872     0 9691992  2022:07:05:17:17:31

[local]GGSN# show snmp trap history verbose | grep x.x.x.x 

Thursday July 21 12:36:57 IST 2022