内容

概要

前提条件

要件

使用するコンポーネント

背景説明

問題

使用するコマンド

解決方法

概要

このドキュメントでは、21.18.17から21.25.8へのCisco Packet Data Network Gateway(PGW)のポストアップグレードでトラップX3MDConnDownおよびX3MDConnUpが発生する原因を大量に特定するプロセスについて説明します。

前提条件

要件

次の項目に関する知識があることが推奨されます。

- StarOS/PGW

- X1、X2、およびX3インターフェイスと機能に関する知識

- X3のTCP確立に関する知識

使用するコンポーネント

このドキュメントの情報は、次のソフトウェアとハードウェアのバージョンに基づいています。

- PGWアグリゲーションサービスルータ(ASR)5500

- バージョン 21.18.17.79434 および 21.25.8 をアナウンスします。84257

このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、初期（デフォルト）設定の状態から起動しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。

背景説明

合法的傍受ソリューションには、ネットワーク要素と仲介サーバの間に3つの個別のインターフェイスがあり、プロビジョニング、コールデータ（信号）、およびコールコンテンツ（メディア）情報を提供します。これらのインターフェイスは、XCIPIO仲介サーバーの配信機能(DF)とネットワーク要素のアクセス機能(AF)間の接続が確立された後に作成されます。 仲介サーバから合法的傍受機関へのインタフェースが標準化されている。AFとDF間のインターフェイスは次のように定義されます。

- プロビジョニングターゲット用のX1またはINI-1インターフェイス

- ターゲットのシグナリング情報を提供するX2またはINI-2インターフェイス

- X3またはINI-3インターフェイスを使用して、ターゲットにメディアまたはコールのコンテンツを提供します。

Xインターフェイスは3GPP標準によって定義され、INIはETSi標準によって定義されます。

問題

21.18.17から21.25.8へのノードアップグレード後、X3MDConnDownおよびX3MDConnUpに対して一括でアラームが発生し始めました（1時間で約3000）。

トラップ形式：

Mon Jul 04 00:44:15 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/41833 and Peer IP/port: x.x.x.x/7027 with cause: LI X3 CALEA Connection Down

Mon Jul 04 00:45:29 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/56805 and Peer IP/port: x.x.x.x/7027 with cause: LI X3 CALEA Connection UP

トラップの詳細（時間単位）:

次の図では、問題が赤で強調表示されています。

トラブルシューティングの手順：

1. LIサーバへのサービスを確認します。影響はありません。

2. LIファイルはLIサーバに転送できます。

3. LIサーバへのpingとtracerouteが正常に検出されました。

4. 遅延やパケットのドロップは観察されていません。

5. LIサーバへのTCPdumpをキャプチャしようとすると、問題のあるノードのTCPdumpで単方向パケットがキャプチャされます。

作業ノードと比較すると、同じ動作が見られます。

1. LIサーバで別のポートを作成すると、問題が残っていることがわかります。

2. 別のLIテストサーバとポートを作成すると、Gateway GPRS Support Node(GGSN)で同じアラームが発生します。

3. NPU-PANトレース、showコマンド、デバッグログなどの追加のトレースをキャプチャすると、PGWからのSYNの直後にLIサーバからFIN ACKが送信され、その結果トラップが発生することがわかります  X3MDConnDown およびX3MDConnUpです。

4. エンジニアリングチームによると、バージョン21.25.8はFIN ACKを認識し、アラームを生成します X3MDConnDown と 次にX3MDConnUpです。これは、以前のリリースでは見られません。 21.18.17.

5. 回避策ハートビートタイマー(1m)がGGSNおよびLIサーバで有効になっています 投稿する X3MDConnDown X3MDConnUpアラームが制御されています。1日で約3000から100に減らされる。

6. ノードは2週間監視され、 X3MDConnDown X3MDConnUpアラームが制御されるようになりました。

使用するコマンド

1.これらのコマンドから、LIファイルはLIサーバに正しく転送されます。LIサーバへのTCP接続に問題はありません。

show lawful-intercept full imsi <>

以下に、いくつかの例を示します。

[lictx]GGSN# show lawful-intercept full msisdn XXXXXXXXX

Monday April 25 14:15:11 IST 2022

Username : -

ip-address : XXXXXXXX

msid/imsi : XXXXXXXXXXX

msisdn : XXXXXXXX

imei/mei : XXXXXXX

session : Session Present

service-type : pgw

pdhir : Disabled

li-context : lictx

intercept-id : 58707

intercept-key: -

Content-delivery: tcp-format

TCP connection info

State : ACTIVE

Dest. address: XX.XX.XX.XX Dest. Port: XXXX————>>

Num. Intercepted pkt for Active call: XXXX ——————>>

Event-delivery: tcp-format——>>

TCP connection info —————>>

State : ACTIVE————>>

Dest. address: XX.XX.XX.XX Dest. Port: XXXX————>>

Num. Intercepted pkt for Active call: 13 —————>>>

Provisioning method: Camp-on trigger

LI-index : 649

次のコマンドでは、完全な出力を表示するためにLI管理者アクセスが必要です。

show lawful-intercept statistics

show lawful-intercept buffering-stats sessmgr all

show lawful-intercept statistics

show connection-proxy sockets all

show lawful-intercept error-stats

2.次のデバッグレベルのログを収集します。

logging filter active facility dhost level debug

logging filter active facility li level debug

logging filter active facility connproxy level debug

logging filter active facility ipsec level debug

logging filter active facility ipsecdemux level debug

logging active pdu-verbosity 5

Logging active

No logging active

ここでは、ポート情報が安定していない場合にポート情報が変化することを確認できます。

show dhost socket  (in li context)

3. Hiddenモードに入り、Vector Packet Processing(VPP)タスクに入り、パケットがFIN acknowledge(ACK)に到達するかどうかを確認します。

[lictx]GGSN# debug shell

enter vppct (from deb shell, use cmd "vppctl")

vpp#show hsi sessions

以下に、いくつかの例を示します。

[local]g002-laas-ssi-24# deb sh

Friday May 13 06:03:24 UTC 2022

Last login: Fri May 13 04:32:03 +0000 2022 on pts/2 from 10.78.41.163.

g002-laas-ssi-24:ssi# vppctl

vpp# sho hsi sessions

[s1] dep 1 thread 10 fib-index 6 dst-src [3.2.1.1:9002]-[3.1.1.1:42906]

[s2] dep 1 thread 9 fib-index 6 dst-src [3.2.1.1:9003]-[3.1.1.1:60058]

[s3] dep 1 thread 8 fib-index 6 dst-src [3.2.1.1:9004]-[3.1.1.1:51097]

[s4] dep 1 thread 6 fib-index 6 dst-src [3.2.1.1:9005]-[3.1.1.1:45619]

4.デバッグログを有効にした後、testコマンドでLIコンテキストのshow output logsを有効にできます。

show clock

show dhost sockets

show connection-proxy sockets all

show clock

5. Show supportの詳細を収集します。

6.NPU-PANトレースを収集して、パケットにNPU-PANが含まれていることを認識します。liサーバとのTCP接続に成功します。

無効にするには：

#configure

#no npumgr pan-trace

#npumgr pan-trace monitor none

#end

#show npumgr pan-trace configuration

#configure

#npumgr pan-trace acc monitor ipv4 id 1 protocol tcp sa X.X.X.X mask 255.255.255.255 da X.X.X.X mask 255.255.255.255

#npumgr pan-trace acc monitor ipv4 id 2 protocol tcp sa X.X.X.X mask 255.255.255.255 da X.X.X.X mask 255.255.255.255

#npumgr pan-trace limit 4096

#npumgr pan-trace

#end

(check if disabled/enabled, it should be enabled)

#show npumgr pan-trace configuration

このコマンドはNPUパントレースを停止できるため、次のコレクション用に再設定する必要があります。

#show npumgr pan-trace summary

(We can capture packets based on npu number which can be done during testing if possible)

#show npumgr pan-trace detail all

NPUトレースの例：

3538  6/0/2 Non 6/15 fab    70 Jun 02 16:47:10.05443343 144 Eth() Vlan(2014) IPv4(sa=XX.XX.XX.147, da=XX.XX.XX.201) TCP(sp=7027, dp=46229, ACK FIN) [ vrf=8 strip=40 flow ] >> MEH(sbia=050717de, dbia=0603800e, flowid=62755625, In) IPv4(sa=XX.XX.XX.147, da=XX.XX.XX.201) TCP(sp=7027, dp=46229, ACK FIN)

Packet details :

Packet 3538:

SA              [4B] = XX.XX.XX.147[0x0aa40693]

DA              [4B] = XX.XX.XX.201[0x0aa91ec9]

source port     [2B] = 0x1b73 (7027),   dest port       [2B] = 0xb495 (46229)

seqnum          [4B] = 0xc9923207 (3381801479)

acknum          [4B] = 0xbbd482ef (3151266543)

flags           [6b] = 0x11 ACK FIN

解決方法

次のコマンドを使用して、PGW & XX.XX.XX.147（LIサーバ）でハートビートメッセージのタイムアウトを1分に設定します。

lawful-intercept tcp application-heartbeat-messages timeout minutes 1

FIN ACKがLIサーバからのSYNの直後に到達すると仮定します。この場合、PGWはX3インターフェイスがダウンしていると見なしません。これは、PGWでハートビートが1分間有効になっており、LIサーバでも有効になっているためです。これは、ハートビートが存在しているためにX3接続がアップしていることを示します。したがって、X3MDConnDownおよびX3MDConnUpのアラームは減少します。

前後のSSDトラップ分析：

SNMPトラップの傾向は、回避策を参照してください。

Mon Jul 04 00:44:15 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/41833 and Peer IP/port: 10.10.10.6/7027with cause: LI X3 CALEA Connection Down

Mon Jul 04 11:13:20 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/47122 and Peer IP/port: 10.10.10.6/7027with cause: LI X3 CALEA Connection Down

==========

Tue Jul 05 09:45:11 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/34489 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection Down

Tue Jul 05 09:45:56 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/51768 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

Tue Jul 05 09:57:57 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/34927 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

Tue Jul 05 17:10:30 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59164 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

Tue Jul 05 17:11:00 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/52191 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

Tue Jul 05 17:11:07 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/46619 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

Tue Jul 05 17:14:23 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59383 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

Tue Jul 05 17:17:31 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59104 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

最後に確認されたトラップのステータスを次に示します。新しいトラップは生成されません。

[local]GGSN# show snmp trap statistics verbose | grep X3MDConn

Thursday July 21 12:36:38 IST 2022

X3MDConnDown                        12018928     0 9689294  2022:07:05:11:36:23

X3MDConnUp                          12030872     0 9691992  2022:07:05:17:17:31

[local]GGSN# show snmp trap history verbose | grep x.x.x.x

Thursday July 21 12:36:57 IST 2022