PGWで観測されるX3MDConnDownおよびX3MDConnUpトラップのトラブルシューティング

はじめに

このドキュメントでは、Cisco Packet Data Network Gateway(PGW)ポストアップグレードで21.18.17から21.25.8にトラップX3MDConnDownおよびX3MDConnUpが発生する原因を特定するプロセスについて大量に説明します。

前提条件

要件

次の項目に関する知識があることが推奨されます。

• StarOS/PGW
• X1、X2、およびX3インターフェイスと機能に関する知識
• X3のTCP確立の知識

使用するコンポーネント

このドキュメントの情報は、次のソフトウェアとハードウェアのバージョンに基づいています。

• PGWアグリゲーションサービスルータ(ASR)5500
• バージョン 21.18.17.79434 および 21.25.8 をアナウンスします。84257

このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、クリアな（デフォルト）設定で作業を開始しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。

背景説明

Lawful Interceptionソリューションには、プロビジョニング、コールデータ（信号）、コールコンテンツ（メディア）情報を提供するために、ネットワーク要素と仲介サーバの間に3つの個別のインターフェイスがあります。これらのインターフェイスは、XCIPIO仲介サーバー配信機能(DF)とネットワーク要素アクセス機能(AF)間の接続が確立された後に作成されます。仲介サーバから合法的傍受機関へのインターフェースが標準化されている。AFとDFの間のインターフェイスは次のように定義されます。

• プロビジョニングターゲット用のX1またはINI-1インターフェイス
• ターゲットのシグナリング情報を提供するX2またはINI-2インターフェイス
• ターゲットにメディアまたはコールの内容を提供するX3またはINI-3インターフェイス

ここで、Xインタフェースは3GPP規格によって定義され、INIはETSi規格によって定義されます。

問題

21.18.17から21.25.8へのノードアップグレード後、X3MDConnDownとX3MDConnUpに対して一括でアラームが発生し始めました（1時間で約3000）。

トラップ形式：

Mon Jul 04 00:44:15 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/41833 and Peer IP/port: x.x.x.x/7027 with cause: LI X3 CALEA Connection Down

Mon Jul 04 00:45:29 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/56805 and Peer IP/port: x.x.x.x/7027 with cause: LI X3 CALEA Connection UP

トラップの詳細（時間）:

次の図では、問題が赤で強調表示されています。

トラブルシューティングの手順：

1. LIサーバへのサービスを確認します。影響はありません。
2. LIファイルをLIサーバに転送できる。
3. pingとtracerouteはLIサーバに対して正常に検出されました。
4. 遅延やパケットのドロップは確認されていません。
5. LIサーバへのTCPdumpをキャプチャしようとすると、問題のあるノードのTCPdumpで単方向パケットがキャプチャされます。

これを現用ノードと比較すると、同じ動作が見られます。

1. LIサーバで別のポートを作成すると、問題が残っていることがわかります。
2. 別のLIテストサーバとポートを作成すると、Gateway GPRS Support Node(GGSN)で同じアラームが発生します。
3. NPU-PANトレース、showコマンド、デバッグログなどの追加のトレースをキャプチャすると、PGWからのSYNの直後にLIサーバからFIN ACKが送られてきたことがわかり、結果的にトラップが生成されます  X3MDConnDown およびX3MDConnUpです。
4. エンジニアリングチームによると、21.25.8バージョンはFIN ACKを認識し、アラームを生成します X3MDConnDown と X3MDConnUpの順に選択します。これは、それ以前のリリースでは見られません 21.18.17.
5. 回避策ハートビートタイマー(1m)がGGSNおよびLIサーバで有効にされています このメッセージを X3MDConnDown X3MDConnUpアラームが制御されています。1日で約3000から100に減らされます。
6. ノードは2週間監視され、 X3MDConnDown X3MDConnUpアラームが制御されました。

使用するコマンド

1.これらのコマンドから、LIファイルはLIサーバに正しく転送されます。LIサーバへのTCP接続に問題はありません。

show lawful-intercept full imsi <>

例：

[lictx]GGSN# show lawful-intercept full msisdn XXXXXXXXX

Monday April 25 14:15:11 IST 2022

Username : -

ip-address : XXXXXXXX

msid/imsi : XXXXXXXXXXX

msisdn : XXXXXXXX

imei/mei : XXXXXXX

session : Session Present

service-type : pgw

pdhir : Disabled

li-context : lictx

intercept-id : 58707

intercept-key: -

Content-delivery: tcp-format

TCP connection info

State : ACTIVE

Dest. address: XX.XX.XX.XX Dest. Port: XXXX————>>

Num. Intercepted pkt for Active call: XXXX ——————>>

Event-delivery: tcp-format——>>

TCP connection info —————>>

State : ACTIVE————>>

Dest. address: XX.XX.XX.XX Dest. Port: XXXX————>>

Num. Intercepted pkt for Active call: 13 —————>>>

Provisioning method: Camp-on trigger

LI-index : 649

すべての出力を表示するには、次のコマンドにLI管理アクセス権が必要です。

show lawful-intercept statistics

show lawful-intercept buffering-stats sessmgr all

show lawful-intercept statistics

show connection-proxy sockets all

show lawful-intercept error-stats

2.次のデバッグレベルのログを収集します。

logging filter active facility dhost level debug

logging filter active facility li level debug

logging filter active facility connproxy level debug

logging filter active facility ipsec level debug

logging filter active facility ipsecdemux level debug

logging active pdu-verbosity 5

Logging active

No logging active

ここでは、安定していない場合にポート情報が変更されることを確認できます。

show dhost socket  (in li context)

3.隠しモードに入り、Vector Packet Processing(VPP)タスクに入り、パケットがFIN acknowledge(ACK)に到着するかどうかを確認します。

[lictx]GGSN# debug shell

enter vppct (from deb shell, use cmd "vppctl")
vpp#show hsi sessions

例：

[local]g002-laas-ssi-24# deb sh

Friday May 13 06:03:24 UTC 2022

Last login: Fri May 13 04:32:03 +0000 2022 on pts/2 from 10.78.41.163.

g002-laas-ssi-24:ssi# vppctl

vpp# sho hsi sessions

[s1] dep 1 thread 10 fib-index 6 dst-src [3.2.1.1:9002]-[3.1.1.1:42906]

[s2] dep 1 thread 9 fib-index 6 dst-src [3.2.1.1:9003]-[3.1.1.1:60058]

[s3] dep 1 thread 8 fib-index 6 dst-src [3.2.1.1:9004]-[3.1.1.1:51097]

[s4] dep 1 thread 6 fib-index 6 dst-src [3.2.1.1:9005]-[3.1.1.1:45619]

4.デバッグログを有効にした後、testコマンドでLIコンテキストのshow output logsを有効にできます。

show clock
show dhost sockets
show connection-proxy sockets all
show clock

5. Show supportの詳細を収集します。

6.NPU-PANトレースを収集して、パケットにNATが適用されていることをliサーバとのTCP接続に成功しました。

無効にするには：

#configure

#no npumgr pan-trace

#npumgr pan-trace monitor none

#end

#show npumgr pan-trace configuration

#configure

#npumgr pan-trace acc monitor ipv4 id 1 protocol tcp sa X.X.X.X mask 255.255.255.255 da X.X.X.X mask 255.255.255.255

#npumgr pan-trace acc monitor ipv4 id 2 protocol tcp sa X.X.X.X mask 255.255.255.255 da X.X.X.X mask 255.255.255.255

#npumgr pan-trace limit 4096

#npumgr pan-trace

#end

(check if disabled/enabled, it should be enabled)

#show npumgr pan-trace configuration 

このコマンドはNPUパントレースを停止できるため、次の収集用に再設定する必要があります。

#show npumgr pan-trace summary

(We can capture packets based on npu number which can be done during testing if possible)
#show npumgr pan-trace detail all

NPUトレースの例：

3538  6/0/2 Non 6/15 fab    70 Jun 02 16:47:10.05443343 144 Eth() Vlan(2014) IPv4(sa=XX.XX.XX.147, da=XX.XX.XX.201) TCP(sp=7027, dp=46229, ACK FIN) [ vrf=8 strip=40 flow ] >> MEH(sbia=050717de, dbia=0603800e, flowid=62755625, In) IPv4(sa=XX.XX.XX.147, da=XX.XX.XX.201) TCP(sp=7027, dp=46229, ACK FIN)
Packet details :

Packet 3538:

                              SA              [4B] = XX.XX.XX.147[0x0aa40693]

                              DA              [4B] = XX.XX.XX.201[0x0aa91ec9]

                              source port     [2B] = 0x1b73 (7027),   dest port       [2B] = 0xb495 (46229)

                              seqnum          [4B] = 0xc9923207 (3381801479)

                              acknum          [4B] = 0xbbd482ef (3151266543)

                              flags           [6b] = 0x11 ACK FIN

解決方法

次のコマンドを使用して、PGW & XX.XX.XX.147（LIサーバ）でハートビートメッセージのタイムアウトを1分に設定します。

lawful-intercept tcp application-heartbeat-messages timeout minutes 1

FIN ACKがLIサーバからのSYNの直後に来ると仮定します。この場合、PGWではハートビートがPGWで1分間有効にされ、LIサーバでも有効になっているため、PGWはX3インターフェイスがダウンしたと見なしません。これは、ハートビートが存在するためX3接続がアップしていることを示します。したがって、X3MDConnDownとX3MDConnUpのアラームは減少します。

前後のSSDトラップ分析：

SNMPトラップの傾向に関する記事：回避策：

Mon Jul 04 00:44:15 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/41833 and Peer IP/port: 10.10.10.6/7027with cause: LI X3 CALEA Connection Down


  Mon Jul 04 11:13:20 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/47122 and Peer IP/port: 10.10.10.6/7027with cause: LI X3 CALEA Connection Down

==========


  Tue Jul 05 09:45:11 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/34489 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection Down


  Tue Jul 05 09:45:56 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/51768 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 09:57:57 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/34927 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:10:30 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59164 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:11:00 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/52191 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:11:07 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/46619 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:14:23 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59383 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:17:31 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59104 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

最後に確認されたトラップのステータスを次に示します。新しいトラップは生成されないことに注意してください。

[local]GGSN# show snmp trap statistics verbose | grep X3MDConn

Thursday July 21 12:36:38 IST 2022

X3MDConnDown                        12018928     0 9689294  2022:07:05:11:36:23

X3MDConnUp                          12030872     0 9691992  2022:07:05:17:17:31

[local]GGSN# show snmp trap history verbose | grep x.x.x.x 

Thursday July 21 12:36:57 IST 2022