أستكشاف أخطاء التحويل وإصلاحها على مركز RCM المجمع

المقدمة

يصف هذا المستند الخطوات الأساسية لاستكشاف أخطاء الشبكة وإصلاحها على مدير تكوين التكرار (RCM) في حالة حدوث خطأ في الشبكة.

معلومات أساسية

ما هو RCM؟

RCM هو عقدة خاصة من Cisco أو وظيفة شبكة (NF) توفر تكرار لوظائف مستوى المستخدم (UPF) المستندة إلى StarOS.

توفر آلية التنسيق الإقليمي (RCM) تكرار N:M لمحولات التشغيل الموحدة (UPF) حيث يمثل N عددا من وحدات التشغيل الاحتياطية النشطة وأقل من 10، بينما يمثل M عددا من وحدات التشغيل الاحتياطية في مجموعة التكرار.

مكونات إدارة المكتبة

يتضمن آلية التنسيق الإقليمي المكونات التي تعمل على هيئة نقاط وصول في RCM VM:

• وحدة التحكم: تقوم بتوصيل القرارات الخاصة بالحدث مع جميع مجموعات تطوير البرامج الأخرى في وحدة إدارة الشبكة (RCM)
• مدير BFD (BFDMgr): يستخدم بروتوكول BFD لتحديد حالة مستوى البيانات
• مدير التكوين (ConfigMgr): يقوم بتحميل التكوين المطلوب إلى مستويات المستخدم (UPs)
• مدير التكرار (RedMGR): يسمى أيضا مدير نقطة التفتيش. يقوم بتخزين وإرسال بيانات نقطة التفتيش إلى UPF في وضع الاستعداد

• Keepalived: إنه يتصل بين RCM النشط والاحتياطي باستخدام VRRP

نموذج نشر RCM النموذجي

نظرة عامة على واجهة سطر الأوامر (CLI) ل RCM

في هذا المثال، هناك أربعة مراكز عمليات خاصة بإدارة نظم السجلات الملكية. لتأكيد ما يماثل RCM Kubernetes مركز عمليات RCM وبيئة تنفيذ RCM المشتركة (CEE)، يمكنك تسجيل الدخول إلى Kubernetes الخاصة ب RCM وسرد مساحات الأسماء:

cloud-user@up0300-aio-1-primary-1:~$ kubectl get namespace
NAME              STATUS   AGE
cee-rce31         Active   54d
default           Active   57d
istio-system      Active   57d
kube-node-lease   Active   57d
kube-public       Active   57d
kube-system       Active   57d
nginx-ingress     Active   57d
rcm-rm31          Active   54d
rcm-rm33          Active   54d
registry          Active   57d
smi-certs         Active   57d
smi-node-label    Active   57d
smi-vips          Active   57d

cloud-user@up300-aio-2-primary-1:~$ kubectl get namespace
NAME              STATUS   AGE
cee-rce32         Active   54d
default           Active   57d
istio-system      Active   57d
kube-node-lease   Active   57d
kube-public       Active   57d
kube-system       Active   57d
nginx-ingress     Active   57d
rcm-rm32          Active   54d
rcm-rm34          Active   54d
registry          Active   57d
smi-certs         Active   57d
smi-node-label    Active   57d
smi-vips          Active   57d

عنوان IP الخاص بإدارة UPF

عنوان IP هذا محدد ويرتبط ب VM أو UPF. وهو يستخدم في الاتصالات الأولية بين الصندوق الوطني للتوحيد القياسي وآلية التنسيق الإقليمي، حيث يقوم الصندوق بالتسجيل مع آلية التنسيق الإقليمي وآلية التنسيق الإقليمي بتكوين الصندوق الوطني للتوحيد القياسي ويعين أيضا دورا. يمكنك إستخدام عنوان IP هذا لتحديد UPF من مخرجات واجهة سطر الأوامر (CLI) الخاصة ب RCM.

UPF Device Role IP

مرتبط بدور (نشط/إحتياطي):

ينتقل عنوان IP هذا مع حدوث التحويل.

أوامر CLI المفيدة لاستكشاف أخطاء RCM وإصلاحها

يمكنك مراجعة أي مجموعة RCM هي UPF من مركز عمليات إدارة قاعدة بيانات المحول (RCM). احصل على عينة من نظام النشر الأصلي عبر السحابة (CNDP):

[local]UPF317# show rcm info
Redundancy Configuration Module:
-------------------------------------------------------------------------------
Context:                         rcm                          
Bind Address:                    10.10.9.81
Chassis State:                   Active                       
Session State:                   SockActive                   
Route-Modifier:                  32             
RCM Controller Address:          10.10.9.179
RCM Controller Port:             9200                         
RCM Controller Connection State: Connected                    
Ready To Connect:                Yes                          
Management IP Address:           10.10.14.33
Host ID:                         UPF320
SSH IP Address:                  10.10.14.40 (Activated)

ملاحظة: معرف المضيف ليس هو نفس اسم مضيف UPF.

هنا يمكنك رؤية الحالة على مركز عمليات RCM:

[up300-aio-2/rm34] rcm# rcm show-status
message :
{"status":[" Thu Oct 21 10:45:21 UTC 2021 : State is primary"]}                           


[up300-aio-2/rm34] rcm# rcm show-statistics controller
message :
{
  "keepalive_version": "65820a54450f930458c01e4049bd01f207bc6204e598f0ad3184c401174fd448",
  "keepalive_timeout": "2s",
  "num_groups": 2,
  "groups": [
    {
      "groupid": 2,
      "endpoints_configured": 7,
      "standby_configured": 1,
      "pause_switchover": false,
      "active": 6,
      "standby": 1,
      "endpoints": [
        {
          "endpoint": "10.10.9.85",
          "bfd_status": "STATE_UP",
          "upf_registered": true,
          "upf_connected": true,
          "upf_state_received": "UpfMsgState_Active",
          "bfd_state": "BFDState_UP",
          "upf_state": "UPFState_Active",
          "route_modifier": 32,
          "pool_received": true,
          "echo_received": 45359,
          "management_ip": "10.10.14.41",
          "host_id": "UPF322",
          "ssh_ip": "10.10.14.44"
        },
        {
          "endpoint": "10.10.9.86",
          "bfd_status": "STATE_UP",
          "upf_registered": true,
          "upf_connected": true,
          "upf_state_received": "UpfMsgState_Active",
          "bfd_state": "BFDState_UP",
          "upf_state": "UPFState_Active",
          "route_modifier": 32,
          "pool_received": true,
          "echo_received": 4518,
          "management_ip": "10.10.14.43",
          "host_id": "UPF317",
          "ssh_ip": "10.10.14.34"
        },
        {
          "endpoint": "10.10.9.94",
          "bfd_status": "STATE_UP",
          "upf_registered": true,
          "upf_connected": true,
          "upf_state_received": "UpfMsgState_Active",
          "bfd_state": "BFDState_UP",
          "upf_state": "UPFState_Active",
          "route_modifier": 32,
          "pool_received": true,
          "echo_received": 4518,
          "management_ip": "10.10.14.59",
          "host_id": "UPF318",
          "ssh_ip": "10.10.14.36"
        },
        {
          "endpoint": "10.10.9.81",
          "bfd_status": "STATE_UP",
          "upf_registered": true,
          "upf_connected": true,
          "upf_state_received": "UpfMsgState_Active",
          "bfd_state": "BFDState_UP",
          "upf_state": "UPFState_Active",
          "route_modifier": 32,
          "pool_received": true,
          "echo_received": 45359,
          "management_ip": "10.10.14.33",
          "host_id": "UPF320",
          "ssh_ip": "10.10.14.40"
        },
        {
          "endpoint": "10.10.9.82",
          "bfd_status": "STATE_UP",
          "upf_registered": true,
          "upf_connected": true,
          "upf_state_received": "UpfMsgState_Standby",
          "bfd_state": "BFDState_UP",
          "upf_state": "UPFState_Standby",
          "route_modifier": 50,
          "pool_received": false,
          "echo_received": 4505,
          "management_ip": "10.10.14.35",
          "host_id": "",
          "ssh_ip": "10.10.14.60"
        },
        {
          "endpoint": "10.10.9.83",
          "bfd_status": "STATE_UP",
          "upf_registered": true,
          "upf_connected": true,
          "upf_state_received": "UpfMsgState_Active",
          "bfd_state": "BFDState_UP",
          "upf_state": "UPFState_Active",
          "route_modifier": 30,
          "pool_received": true,
          "echo_received": 4518,
          "management_ip": "10.10.14.37",
          "host_id": "UPF319",
          "ssh_ip": "10.10.14.38"
        },
        {
          "endpoint": "10.10.9.84",
          "bfd_status": "STATE_UP",
          "upf_registered": true,
          "upf_connected": true,
          "upf_state_received": "UpfMsgState_Active",
          "bfd_state": "BFDState_UP",
          "upf_state": "UPFState_Active",
          "route_modifier": 32,
          "pool_received": true,
          "echo_received": 4518,
          "management_ip": "10.10.14.39",
          "host_id": "UPF321",
          "ssh_ip": "10.10.14.42"
        }
      ]
    },

التعرف على وحدة UPF الاحتياطية الحالية من مركز عمليات أنظمة تشغيل RCM

من عمليات تشغيل إدارة قاعدة بيانات المحول (RCM)، يحدد المركز UPF في وضع الاستعداد باستخدام أمر وحدة التحكم في show-statistics ل RCM:

  {
          "endpoint": "10.10.9.82",
          "bfd_status": "STATE_UP",
          "upf_registered": true,
          "upf_connected": true,
          "upf_state_received": "UpfMsgState_Standby",
          "bfd_state": "BFDState_UP",
          "upf_state": "UPFState_Standby",
          "route_modifier": 50,
          "pool_received": false,
          "echo_received": 4505,
          "management_ip": "10.10.14.35",
          "host_id": "",
         "ssh_ip": "10.10.14.60"
        },

سجل الدخول إلى UPF وافحص معلومات RCM:

[local]UPF318# show rcm info
Saturday November 06 13:29:59 UTC 2021
Redundancy Configuration Module:
-------------------------------------------------------------------------------
Context:                         rcm                          
Bind Address:                    10.10.9.82
Chassis State:                   Standby                      
Session State:                   SockStandby                  
Route-Modifier:                  50             
RCM Controller Address:          10.10.9.179
RCM Controller Port:             9200                         
RCM Controller Connection State: Connected                    
Ready To Connect:                Yes                          
Management IP Address:           10.10.14.35
Host ID:                        
SSH IP Address:                  10.10.14.60 (Activated)

فيما يلي المعلومات المفيدة الأخرى الواردة من مركز عمليات أنظمة تشغيل RCM:

[up300-aio-2/rm34] rcm# rcm show-statistics
Possible completions:
  bfdmgr          Show RCM BFDMgr Statistics information
  checkpointmgr   Show RCM Checkpointmgr Statistics information
  configmgr       Show RCM Configmgr Statistics information
  controller      Show RCM Controller Statistics information
  |               Output modifiers
  <cr> 

قم بتنزيل دليل RCM لإصدار 21. 24.

تم الإبلاغ عن مشكلة من قبل حالات فشل RCM على CNDP PODs

تم الإبلاغ عن المشكلة في إحدى عمليات UPF المتعلقة بالتنبيه UP_SX_SESS_ESTABLISHMENT_SR. يوضح هذا التنبيه أن معدل نجاح إنشاء جلسة العمل على واجهة SX قد انخفض تحت الحد الذي تم تكوينه.

إذا نظرت إلى حالات Grafana، فيتم ملاحظة انخفاض 5G/4G بسبب قطع الاتصال pdn_sess_create || حالات الفشل | UPF_FAILURE:

وهذا يؤكد أن pdn_sess_create || حالات الفشل || UPF_FAILURE بسبب UPF419:

[local]UPF419# show rcm info
Saturday November 06 14:01:30 UTC 2021
Redundancy Configuration Module:
-------------------------------------------------------------------------------
Context:                         rcm                          
Bind Address:                    10.10.11.83
Chassis State:                   Active                       
Session State:                   SockActive                   
Route-Modifier:                  30             
RCM Controller Address:          10.10.11.179
RCM Controller Port:             9200                         
RCM Controller Connection State: Connected                    
Ready To Connect:                Yes                          
Management IP Address:           10.10.14.165
Host ID:                         DNUD0417
SSH IP Address:                  10.10.14.162 (Activated)

في SMF، يمكنك التحقق من تكوين UPF. في هذه الحالة، أنت ينبغي بحثت عن ال UPF N4 عنوان:

[smf/smf2] smf# show running-config profile network-element upf node-id n4-peer-UPF417
profile network-element upf upf19
 node-id           n4-peer-UPF417
 n4-peer-address ipv4 10.10.10.17
 n4-peer-port      8805
 upf-group-profile upf-group1
 dnn-list          [ internet ]
 capacity          10
 priority          1
exit

بعد ذلك يمكنك تنفيذ استعلام Grafana للتعريف نحو ما يعرف عنوان UPF N4 هناك معظم حالات الفشل: 

استعلام Grafana:
sum(increase(proto_udp_res_msg_total{namespace=~"$namespace"، message_name="session_establishment_res"، status="no_rsp_received_tx"} [15m]) by (message_name، status، peer_info)

التسمية: {{message_name}} || {{status}} || {{peer_info}}

غرافانا يجب أن يظهر أين تحدث الإخفاقات. وفي المثال، يتعلق بالاستعراض الدوري الشامل رقم 419.

عند الاتصال بالنظام، يمكنك تأكيد عدم تعيين جلسة العمل بشكل صحيح بعد تحويل RCM لأن العديد من مديري الجلسات ليسوا في حالة 'Actv Ready' المتوقعة.

[local]UPF419# show srp checkpoint statistics verbose
Tuesday November 02 17:24:01 UTC 2021
  smgr     state  peer    recovery  pre-alloc  chk-point rcvd   chk-point sent
  inst            conn    records   calls      full     micro   full     micro
  ----   -------  -----   -------   --------   -----    -----   -----     ----
     1      Actv Ready         0          0    1108    34001   14721   1200158
     2      Actv Ready         0          0    1086    33879   17563   1347298
     3      Actv Ready         0          0    1114    34491   15622   1222592
     4      Actv  Conn         0          0       5      923       0        0
     5      Actv Ready         0          0    1106    34406   13872   1134403
     6      Actv  Conn         0          0       5      917       0        0
     7      Actv  Conn         0          0       5      920       0        0
     8      Actv  Conn         0          0       1      905       0        0
     9      Actv  Conn         0          0       5      916       0        0
    10      Actv  Conn         0          0       5      917       0        0
    11      Actv Ready         0          0    1099    34442   13821   1167011
    12      Actv  Conn         0          0       5      916       0        0
    13      Actv  Conn         0          0       5      917       0        0
    14      Actv Ready         0          0    1085    33831   13910   1162759
    15      Actv Ready         0          0    1085    33360   13367   1081370
    16      Actv  Conn         0          0       4      921       0        0
    17      Actv Ready         0          0    1100    35009   13789   1138089
    18      Actv Ready         0          0    1092    33953   13980   1126028
    19      Actv  Conn         0          0       5      916       0        0
    20      Actv  Conn         0          0       5      918       0        0
    21      Actv Ready         0          0    1098    33521   13636   1108875
    22      Actv Ready         0          0    1090    34464   14529   1263419

الحل

هذا يتعلق cisco خلل تعقب نظام (CDETS) CSCvz9749. تم دمج الإصلاح في 21.22.ua4.82694 والإصدارات اللاحقة.

الحل

في UPF419، يجب إعادة تشغيل مثيلات مدير الجلسة التي لم تكن في Actv Ready مع مثيل جلسة عمل الأمر Task Kill Facility <> وهذا يحل الموقف.

[local]UPF419# show srp checkpoint statistics verbose
Wednesday November 03 16:44:57 UTC 2021
  smgr     state  peer    recovery  pre-alloc  chk-point rcvd   chk-point sent
  inst            conn    records   calls      full     micro   full     micro
  ----   -------  -----   -------   --------   -----    -----   -----     ----
     1      Actv Ready         0          0    1108    34001   38319   2267162
     2      Actv Ready         0          0    1086    33879   40524   2428315
     3      Actv Ready         0          0    1114    34491   39893   2335889
     4      Actv Ready         0          0       0        0   12275   1049616
     5      Actv Ready         0          0    1106    34406   37240   2172748
     6      Actv Ready         0          0       0        0   13302   1040480
     7      Actv Ready         0          0       0        0   12636   1062146
     8      Actv Ready         0          0       0        0   11446   976169
     9      Actv Ready         0          0       0        0   11647   972715
    10      Actv Ready         0          0       0        0   11131   950436
    11      Actv Ready         0          0    1099    34442   36696   2225847
    12      Actv Ready         0          0       0        0   10739   919316
    13      Actv Ready         0          0       0        0   11140   970384
    14      Actv Ready         0          0    1085    33831   37206   2226049
    15      Actv Ready         0          0    1085    33360   38135   2225816
    16      Actv Ready         0          0       0        0   11159   946364
    17      Actv Ready         0          0    1100    35009   37775   2242427
    18      Actv Ready         0          0    1092    33953   37469   2181043
    19      Actv Ready         0          0       0        0   13066   1055662
    20      Actv Ready         0          0       0        0   10441   938350
    21      Actv Ready         0          0    1098    33521   37238   2165185
    22      Actv Ready         0          0    1090    34464   38227   2399415

السجلات المطلوب تجميعها في حالة فشل UPF الذي يتسبب في تبديل

ملاحظة: تأكد من تمكين سجلات تصحيح الأخطاء في RCM (طلب الموافقة قبل تمكين أي سجل تصحيح). ارجع إلى توصيات التسجيل.

مستوى تسجيل الدخول إلى مركز عمليات RCM

logging level application debug
logging level transaction debug
logging level tracing off
logging name infra.config.core level application warn
logging name infra.config.core level transaction warn
logging name infra.resource_monitor.core level application warn
logging name infra.resource_monitor.core level transaction warn

تجميع البيانات خطوة بخطوة

1. ملخص المسألة: يجب أن يكون بيان المشكلة واضحا. حدد اسم/ip العقدة التي تمثل مشكلة بحيث يكون من السهل العثور على المعلومات الضرورية من السجلات. على سبيل المثال، في حالة وجود إصدار للتحويل، من المفيد إذا تم ذكر أن IP x.x.x.x هو المصدر UPF و x.x.x.y هي الوجهة UPF.
2. إذا كانت هناك طرق متعددة لإعادة إنتاج المشكلة، فقم بذكرها.
3. معلومات إصدار RCM: في حالة نشر RCM VM من RCM VM، يظهر cat/etc/smi/rcm-image-versionshow على الشاشة من مركز العمليات. في حالة نشر RCM CN، تظهر دعامة من مركز العمليات.
4. RCM TAC debug cn أو سجلات RCM في وقت حدوث الإصدار. في بعض الحالات، يمكنك أيضا طلب سجلات من البداية عندما تكون POD قد ظهرت للتو.
5. حدد RCM الأساسي أو النسخة الاحتياطية. في حالة CN، قم بمشاركة المعلومات لكل من أزواج RCM.
6. قم بمشاركة التكوين الجاري تشغيله من مركز عمليات RCM من جميع المثيلات.
7. قم بتجميع إختبارات RCM SNMP.
8. بغض النظر عن فشل التحويل أو عدم الفشل، فمن الأفضل تجميع محرك أقراص SSD واحد نشط ومحرك أقراص SSD واحد في وضع الاستعداد.
9. يتم إستخدام أوامر إحصائيات وحدة التحكم في إدارة اللوحة الأساسية (RCM) و configmgr و Checkpoint Manager و switchover و switchover-verbose لذكر واجهة سطر الأوامر (CLI) بدقة.
   وحدة التحكم في الإحصائيات لإدارة عرض الوحدة (RCM)
   تكوين RCM show-statistics
   نقطة إختيار RCM show-statistics
   تحويل RCM show-statistics
   RCM show-statistics switchover-verbose
10. Syslog الخاصة بميزة "وحدة المعالجة المركزية (UPF)" أو RCM.
11. إذا كانت المشكلة مرتبطة بفشل التحويل، يلزم وجود محرك أقراص UPF SSD نشط جديد ومحركات أقراص مزودة بذاكرة مصنوعة من مكونات صلبة (SSD) نشطة UPF قديمة. في بعض الحالات، يعيد النشاط القديم بسبب التبديل. وفي هذه الحالة، يجب عليك إعادة إنتاج المشكلة، وقبل ذلك يجب عليك جمع محرك الأقراص القديم النشط UP SSD.
12. في حالة فشل تبديل، من المفيد أيضا تجميع سجلات تصحيح الأخطاء الخاصة بشبكة VPN و sMGR و sess-gr و sxdemux من الأنشطة القديمة والجديدة في نسخ المشكلة.
    تصحيح أخطاء مستوى SXDEMUX لمرشح التسجيل النشط 
    تصحيح أخطاء مستوى SGmgr لمرشح التسجيل النشط 
    تصحيح أخطاء مستوى SESS-GR لمرشح التسجيل النشط
    تصحيح أخطاء مستوى VPN لمرشح التسجيل النشط
13. يلزم وجود مراكز VPNMGR/Sesmgr في حالة حدوث خطأ/مشكلة في الخادم/vpnmgr. Sesmgr_instance_id هو المثيل الذي يتم فيه ملاحظة المشكلة. vpnmgr_instance_id هو السياق # من سياق RCM.
    مثيل مثيل <sesmgr_instance_id لمرفق المهمة الأساسية
    مثيل <vpnmgr_instance_id لمهام core facility vpnmgr>
14. في حالة حدوث مشكلة في RCM HA، شارك سجلات تصحيح أخطاء/قوائم التحكم في الوصول الخاصة ب RCM من كلا المثالين.

معلومات ذات صلة

• https://www.cisco.com/c/en/us/support/wireless/ultra-cloud-core-user-plane-function/products-installation-and-configuration-guides-list.html
• الدعم التقني والمستندات - Cisco Systems