أستكشاف أخطاء X3MDConnDown و X3MDConnUp Trap التي تمت ملاحظتها في PGW

المقدمة

يصف هذا وثيقة العملية أن يعين السبب من Traps X3MDConnDown و X3MDConnUp في cisco ربط بيانات شبكة مدخل (PGW) بعد ترقية من 21.18.17 إلى 21.25.8 بأعداد كبيرة.

المتطلبات الأساسية

المتطلبات

توصي Cisco بأن تكون لديك معرفة بالمواضيع التالية:

• نظام التشغيل StarOS/PGW
• معرفة وظائف وواجهة x1 و x2 و x3
• معرفة إنشاء TCP ل X3

المكونات المستخدمة

تستند المعلومات الواردة في هذا المستند إلى إصدارات البرامج والمكونات المادية التالية:

• موجه خدمات التجميع (ASR) PGW 5500
• الإصدارات 21.18.17 .79434 و 21.25.8.84257

تم إنشاء المعلومات الواردة في هذا المستند من الأجهزة الموجودة في بيئة معملية خاصة. بدأت جميع الأجهزة المُستخدمة في هذا المستند بتكوين ممسوح (افتراضي). إذا كانت شبكتك قيد التشغيل، فتأكد من فهمك للتأثير المحتمل لأي أمر.

معلومات أساسية

يحتوي حل الاعتراض القانوني على ثلاث واجهات منفصلة بين عنصر الشبكة وخادم الوساطة لتوفير معلومات الإمداد واستدعاء البيانات (الإشارة) والاستدعاء إلى المحتوى (الوسائط). يتم إنشاء هذه الواجهات بعد إنشاء الاتصال بين وظيفة توصيل خادم وسيط XCIPIO (DF) ووظيفة الوصول إلى عنصر الشبكة (AF). تم توحيد الواجهة من خادم الوساطة إلى وكالة الاعتراض القانونية. الواجهات بين AF و DF معرفة على أنها:

• واجهة X1 أو INI-1 لأهداف التوفير
• واجهة X2 أو INI-2 لتوفير معلومات إرسال الإشارات للهدف
• واجهة X3 أو INI-3 لتوفير محتوى الوسائط أو الاتصال للهدف

حيث يتم تعريف الواجهة X بواسطة معيار 3GPP بينما يتم تعريف INI بواسطة معيار ETSi.

المشكلة

بعد ترقية العقدة من 21.18.17 إلى 21.25.8، بدأ ظهور تنبيه ل X3MDConnDown و X3MDConnUp في Bulk (حوالي 3000 في ساعة واحدة).

تنسيق الملائمة:

Mon Jul 04 00:44:15 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/41833 and Peer IP/port: x.x.x.x/7027 with cause: LI X3 CALEA Connection Down

Mon Jul 04 00:45:29 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/56805 and Peer IP/port: x.x.x.x/7027 with cause: LI X3 CALEA Connection UP

تفاصيل الملائمة في HRS:

يتم إبراز المشكلة باللون الأحمر في هذه الصورة:

خطوات أستكشاف الأخطاء وإصلاحها:

1. افحص الخدمات باتجاه خادم LI، فلن تجد أي تأثير.
2. يمكن نقل ملفات LI إلى خادم LI.
3. عملية أزيز و traceroute وجدت موافق إلى ال LI نادل.
4. لم تتم ملاحظة أي زمن وصول أو إسقاط حزمة.
5. عندما يحاول أنت أن على قبض ال TCPdump باتجاه ال LI نادل، واحد إتجاه ربط سقطت في TCPdump للعقدة إشكالية.

قارنها مع العقدة العاملة وسترى نفس السلوك.

1. عندما يخلق أنت ميناء مختلف على ال LI نادل، أنت تلاحظ أن الإصدار يبقى.
2. عندما يخلق أنت آخر LI إختبار نادل ومنفذ، أنت تلاحظ ال نفسه إنذار في مدخل GPRS دعم عقدة (GGSN).
3. عندما تلتقط التتبع الإضافي، مثل تتبع NPU-PAN، وأوامر العرض، وسجلات تصحيح الأخطاء، فإنك ترى أن ACK يرد من خادم LI بعد SYN مباشرة من PGW وهذا ينتج عنه ملائمات  X3MDConnDown وX3MDConnUp.
4. بحسب فريق الهندسة، نسخة 21.25.8 تعرف على ال FIN ACK وتولد الإنذار X3MDConnDown و ثم X3MDConnUp. والذي لم يظهر في الإصدارات السابقة 21.18.17 .
5. تم تمكين حل بديل مؤقت نبضات القلب (1 م) في خادم GGSN و LI أن يضع X3MDConnDown وتحكم تنبيه X3MDConnUp. ويخفض من حوالي 3000 إلى 100 لمدة يوم واحد.
6. تتم مراقبة العقدة لمدة أسبوعين، و X3MDConnDown وأصبحت أجهزة الإنذار X3MDConnUp تحت السيطرة.

الأوامر المستخدمة

1. من هذه الأوامر، يتم نقل ملفات LI إلى خادم LI بشكل صحيح. لا توجد مشكلة في اتصال TCP بخادم LI.

show lawful-intercept full imsi <>

على سبيل المثال:

[lictx]GGSN# show lawful-intercept full msisdn XXXXXXXXX

Monday April 25 14:15:11 IST 2022

Username : -

ip-address : XXXXXXXX

msid/imsi : XXXXXXXXXXX

msisdn : XXXXXXXX

imei/mei : XXXXXXX

session : Session Present

service-type : pgw

pdhir : Disabled

li-context : lictx

intercept-id : 58707

intercept-key: -

Content-delivery: tcp-format

TCP connection info

State : ACTIVE

Dest. address: XX.XX.XX.XX Dest. Port: XXXX————>>

Num. Intercepted pkt for Active call: XXXX ——————>>

Event-delivery: tcp-format——>>

TCP connection info —————>>

State : ACTIVE————>>

Dest. address: XX.XX.XX.XX Dest. Port: XXXX————>>

Num. Intercepted pkt for Active call: 13 —————>>>

Provisioning method: Camp-on trigger

LI-index : 649

تحتاج هذه الأوامر إلى وصول مسؤول LI للاطلاع على المخرجات الكاملة:

show lawful-intercept statistics

show lawful-intercept buffering-stats sessmgr all

show lawful-intercept statistics

show connection-proxy sockets all

show lawful-intercept error-stats

2. تجميع سجلات مستوى تصحيح الأخطاء هذه:

logging filter active facility dhost level debug

logging filter active facility li level debug

logging filter active facility connproxy level debug

logging filter active facility ipsec level debug

logging filter active facility ipsecdemux level debug

logging active pdu-verbosity 5

Logging active

No logging active

هنا، يمكنك أن ترى تغير معلومات المنفذ إذا لم تكن مستقرة.

show dhost socket  (in li context)

3. أدخل إلى الوضع المخفي وانتقل إلى مهمة معالجة حزم المتجهات (VPP) للتحقق مما إذا كانت الحزم تأتي من أجل الإقرار بزعانف (ACK).

[lictx]GGSN# debug shell

enter vppct (from deb shell, use cmd "vppctl")
vpp#show hsi sessions

على سبيل المثال:

[local]g002-laas-ssi-24# deb sh

Friday May 13 06:03:24 UTC 2022

Last login: Fri May 13 04:32:03 +0000 2022 on pts/2 from 10.78.41.163.

g002-laas-ssi-24:ssi# vppctl

vpp# sho hsi sessions

[s1] dep 1 thread 10 fib-index 6 dst-src [3.2.1.1:9002]-[3.1.1.1:42906]

[s2] dep 1 thread 9 fib-index 6 dst-src [3.2.1.1:9003]-[3.1.1.1:60058]

[s3] dep 1 thread 8 fib-index 6 dst-src [3.2.1.1:9004]-[3.1.1.1:51097]

[s4] dep 1 thread 6 fib-index 6 dst-src [3.2.1.1:9005]-[3.1.1.1:45619]

4. يمكن تمكين إظهار سجلات الإخراج في سياق LI تحت أمر الاختبار بعد تمكين سجلات تصحيح الأخطاء.

show clock
show dhost sockets
show connection-proxy sockets all
show clock

5. جمع تفاصيل دعم العرض.

6. تجميع تتبع NPU-PAN للتعرف على أن الحزمة تحتوي علىاتصال TCP بنجاح بخادم LI.

لتعطيل:

#configure

#no npumgr pan-trace

#npumgr pan-trace monitor none

#end

#show npumgr pan-trace configuration

#configure

#npumgr pan-trace acc monitor ipv4 id 1 protocol tcp sa X.X.X.X mask 255.255.255.255 da X.X.X.X mask 255.255.255.255

#npumgr pan-trace acc monitor ipv4 id 2 protocol tcp sa X.X.X.X mask 255.255.255.255 da X.X.X.X mask 255.255.255.255

#npumgr pan-trace limit 4096

#npumgr pan-trace

#end

(check if disabled/enabled, it should be enabled)

#show npumgr pan-trace configuration 

يمكن أن يقوم هذا الأمر بإيقاف تتبع NPU، لذلك يجب إعادة تكوينه للمجموعة التالية.

#show npumgr pan-trace summary

(We can capture packets based on npu number which can be done during testing if possible)
#show npumgr pan-trace detail all

مثال على تتبع NPU:

3538  6/0/2 Non 6/15 fab    70 Jun 02 16:47:10.05443343 144 Eth() Vlan(2014) IPv4(sa=XX.XX.XX.147, da=XX.XX.XX.201) TCP(sp=7027, dp=46229, ACK FIN) [ vrf=8 strip=40 flow ] >> MEH(sbia=050717de, dbia=0603800e, flowid=62755625, In) IPv4(sa=XX.XX.XX.147, da=XX.XX.XX.201) TCP(sp=7027, dp=46229, ACK FIN)
Packet details :

Packet 3538:

                              SA              [4B] = XX.XX.XX.147[0x0aa40693]

                              DA              [4B] = XX.XX.XX.201[0x0aa91ec9]

                              source port     [2B] = 0x1b73 (7027),   dest port       [2B] = 0xb495 (46229)

                              seqnum          [4B] = 0xc9923207 (3381801479)

                              acknum          [4B] = 0xbbd482ef (3151266543)

                              flags           [6b] = 0x11 ACK FIN

الحل

قم بتمكين مهلة رسائل نبض القلب إلى 1 دقيقة على PGW و XX.XX.XX.147 (LI Server) باستخدام هذا الأمر:

lawful-intercept tcp application-heartbeat-messages timeout minutes 1

لنفترض أن فاين آك يأتي مباشرة بعد ال SYN من خادم LI. وفي هذه الحالة، لا يعتبر PGW واجهة X3 معطلة لأن النبضات ممكنة بمقدار دقيقة واحدة في PGW ويتم تمكينها أيضا في خادم LI وهي إشارة إلى أن اتصال X3 قيد التشغيل مع وجود النبضات. لذلك، يتم تقليل الإنذارات ل X3MDConnDown و X3MDConnUp.

تحليل ملائمة محركات الأقراص المزودة بذاكرة مصنوعة من مكونات صلبة (SSD) قبل الترحيل:

أتجاهات الحل البديل لمنشور SNMP:

Mon Jul 04 00:44:15 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/41833 and Peer IP/port: 10.10.10.6/7027with cause: LI X3 CALEA Connection Down


  Mon Jul 04 11:13:20 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/47122 and Peer IP/port: 10.10.10.6/7027with cause: LI X3 CALEA Connection Down

==========


  Tue Jul 05 09:45:11 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/34489 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection Down


  Tue Jul 05 09:45:56 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/51768 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 09:57:57 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/34927 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:10:30 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59164 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:11:00 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/52191 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:11:07 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/46619 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:14:23 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59383 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:17:31 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59104 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

فيما يلي حالة الملائمات التي تمت ملاحظتها مؤخرا، ولاحظ أنه لا يتم إنشاء ملائمات جديدة.

[local]GGSN# show snmp trap statistics verbose | grep X3MDConn

Thursday July 21 12:36:38 IST 2022

X3MDConnDown                        12018928     0 9689294  2022:07:05:11:36:23

X3MDConnUp                          12030872     0 9691992  2022:07:05:17:17:31

[local]GGSN# show snmp trap history verbose | grep x.x.x.x 

Thursday July 21 12:36:57 IST 2022