المحتويات

المقدمة

معلومات أساسية

ما هو RCM؟

مكونات إدارة المكتبة

نموذج نشر RCM النموذجي

نظرة عامة على واجهة سطر الأوامر (CLI) ل RCM

عنوان IP الخاص بإدارة UPF

UPF Device Role IP

أوامر CLI المفيدة لاستكشاف أخطاء RCM وإصلاحها

التعرف على وحدة UPF الاحتياطية الحالية من مركز عمليات أنظمة تشغيل RCM

تم الإبلاغ عن مشكلة من قبل حالات فشل RCM على CNDP PODs

الحل

الحل

السجلات المطلوب تجميعها في حالة فشل UPF الذي يتسبب في تبديل

مستوى تسجيل الدخول إلى مركز عمليات RCM

تجميع البيانات خطوة بخطوة

معلومات ذات صلة

المقدمة

يصف هذا المستند الخطوات الأساسية لاستكشاف أخطاء الشبكة وإصلاحها على مدير تكوين التكرار (RCM) في حالة حدوث خطأ في الشبكة.

معلومات أساسية

ما هو RCM؟

RCM هو عقدة خاصة من Cisco أو وظيفة شبكة (NF) توفر تكرار لوظائف مستوى المستخدم (UPF) المستندة إلى StarOS.

توفر آلية التنسيق الإقليمي (RCM) تكرار N:M لمحولات التشغيل الموحدة (UPF) حيث يمثل N عددا من وحدات التشغيل الاحتياطية النشطة وأقل من 10، بينما يمثل M عددا من وحدات التشغيل الاحتياطية في مجموعة التكرار.

مكونات إدارة المكتبة

يتضمن آلية التنسيق الإقليمي المكونات التي تعمل على هيئة نقاط وصول في RCM VM:

- وحدة التحكم: تقوم بتوصيل القرارات الخاصة بالحدث مع جميع مجموعات تطوير البرامج الأخرى في وحدة إدارة الشبكة (RCM)

- مدير BFD (BFDMgr): يستخدم بروتوكول BFD لتحديد حالة مستوى البيانات

- مدير التكوين (ConfigMgr): يقوم بتحميل التكوين المطلوب إلى مستويات المستخدم (UPs)

- مدير التكرار (RedMGR): يسمى أيضا مدير نقطة التفتيش. يقوم بتخزين وإرسال بيانات نقطة التفتيش إلى UPF في وضع الاستعداد

- Keepalived: إنه يتصل بين RCM النشط والاحتياطي باستخدام VRRP

نموذج نشر RCM النموذجي

نظرة عامة على واجهة سطر الأوامر (CLI) ل RCM

في هذا المثال، هناك أربعة مراكز عمليات خاصة بإدارة نظم السجلات الملكية. لتأكيد ما يماثل RCM Kubernetes مركز عمليات RCM وبيئة تنفيذ RCM المشتركة (CEE)، يمكنك تسجيل الدخول إلى Kubernetes الخاصة ب RCM وسرد مساحات الأسماء:

cloud-user@up0300-aio-1-primary-1:~$ kubectl get namespace

NAME              STATUS   AGE

cee-rce31         Active   54d

default           Active   57d

istio-system      Active   57d

kube-node-lease   Active   57d

kube-public       Active   57d

kube-system       Active   57d

nginx-ingress     Active   57d

rcm-rm31          Active   54d

rcm-rm33          Active   54d

registry          Active   57d

smi-certs         Active   57d

smi-node-label    Active   57d

smi-vips          Active   57d

cloud-user@up300-aio-2-primary-1:~$ kubectl get namespace

NAME              STATUS   AGE

cee-rce32         Active   54d

default           Active   57d

istio-system      Active   57d

kube-node-lease   Active   57d

kube-public       Active   57d

kube-system       Active   57d

nginx-ingress     Active   57d

rcm-rm32          Active   54d

rcm-rm34          Active   54d

registry          Active   57d

smi-certs         Active   57d

smi-node-label    Active   57d

smi-vips          Active   57d

عنوان IP الخاص بإدارة UPF

عنوان IP هذا محدد ويرتبط ب VM أو UPF. وهو يستخدم في الاتصالات الأولية بين الصندوق الوطني للتوحيد القياسي وآلية التنسيق الإقليمي، حيث يقوم الصندوق بالتسجيل مع آلية التنسيق الإقليمي وآلية التنسيق الإقليمي بتكوين الصندوق الوطني للتوحيد القياسي ويعين أيضا دورا. يمكنك إستخدام عنوان IP هذا لتحديد UPF من مخرجات واجهة سطر الأوامر (CLI) الخاصة ب RCM.

UPF Device Role IP

مرتبط بدور (نشط/إحتياطي):

ينتقل عنوان IP هذا مع حدوث التحويل.

أوامر CLI المفيدة لاستكشاف أخطاء RCM وإصلاحها

يمكنك مراجعة أي مجموعة RCM هي UPF من مركز عمليات إدارة قاعدة بيانات المحول (RCM). احصل على عينة من نظام النشر الأصلي عبر السحابة (CNDP):

[local]UPF317# show rcm info

Redundancy Configuration Module:

-------------------------------------------------------------------------------

Context:                         rcm

Bind Address:                    10.10.9.81

Chassis State:                   Active

Session State:                   SockActive

Route-Modifier:                  32

RCM Controller Address:          10.10.9.179

RCM Controller Port:             9200

RCM Controller Connection State: Connected

Ready To Connect:                Yes

Management IP Address:           10.10.14.33

Host ID:                         UPF320

SSH IP Address:                  10.10.14.40 (Activated)

ملاحظة: معرف المضيف ليس هو نفس اسم مضيف UPF.

هنا يمكنك رؤية الحالة على مركز عمليات RCM:

[up300-aio-2/rm34] rcm# rcm show-status

message :

{"status":[" Thu Oct 21 10:45:21 UTC 2021 : State is primary"]}

[up300-aio-2/rm34] rcm# rcm show-statistics controller

message :

{

"keepalive_version": "65820a54450f930458c01e4049bd01f207bc6204e598f0ad3184c401174fd448",

"keepalive_timeout": "2s",

"num_groups": 2,

"groups": [

{

"groupid": 2,

"endpoints_configured": 7,

"standby_configured": 1,

"pause_switchover": false,

"active": 6,

"standby": 1,

"endpoints": [

{

"endpoint": "10.10.9.85",

"bfd_status": "STATE_UP",

"upf_registered": true,

"upf_connected": true,

"upf_state_received": "UpfMsgState_Active",

"bfd_state": "BFDState_UP",

"upf_state": "UPFState_Active",

"route_modifier": 32,

"pool_received": true,

"echo_received": 45359,

"management_ip": "10.10.14.41",

"host_id": "UPF322",

"ssh_ip": "10.10.14.44"

},

{

"endpoint": "10.10.9.86",

"bfd_status": "STATE_UP",

"upf_registered": true,

"upf_connected": true,

"upf_state_received": "UpfMsgState_Active",

"bfd_state": "BFDState_UP",

"upf_state": "UPFState_Active",

"route_modifier": 32,

"pool_received": true,

"echo_received": 4518,

"management_ip": "10.10.14.43",

"host_id": "UPF317",

"ssh_ip": "10.10.14.34"

},

{

"endpoint": "10.10.9.94",

"bfd_status": "STATE_UP",

"upf_registered": true,

"upf_connected": true,

"upf_state_received": "UpfMsgState_Active",

"bfd_state": "BFDState_UP",

"upf_state": "UPFState_Active",

"route_modifier": 32,

"pool_received": true,

"echo_received": 4518,

"management_ip": "10.10.14.59",

"host_id": "UPF318",

"ssh_ip": "10.10.14.36"

},

{

"endpoint": "10.10.9.81",

"bfd_status": "STATE_UP",

"upf_registered": true,

"upf_connected": true,

"upf_state_received": "UpfMsgState_Active",

"bfd_state": "BFDState_UP",

"upf_state": "UPFState_Active",

"route_modifier": 32,

"pool_received": true,

"echo_received": 45359,

"management_ip": "10.10.14.33",

"host_id": "UPF320",

"ssh_ip": "10.10.14.40"

},

{

"endpoint": "10.10.9.82",

"bfd_status": "STATE_UP",

"upf_registered": true,

"upf_connected": true,

"upf_state_received": "UpfMsgState_Standby",

"bfd_state": "BFDState_UP",

"upf_state": "UPFState_Standby",

"route_modifier": 50,

"pool_received": false,

"echo_received": 4505,

"management_ip": "10.10.14.35",

"host_id": "",

"ssh_ip": "10.10.14.60"

},

{

"endpoint": "10.10.9.83",

"bfd_status": "STATE_UP",

"upf_registered": true,

"upf_connected": true,

"upf_state_received": "UpfMsgState_Active",

"bfd_state": "BFDState_UP",

"upf_state": "UPFState_Active",

"route_modifier": 30,

"pool_received": true,

"echo_received": 4518,

"management_ip": "10.10.14.37",

"host_id": "UPF319",

"ssh_ip": "10.10.14.38"

},

{

"endpoint": "10.10.9.84",

"bfd_status": "STATE_UP",

"upf_registered": true,

"upf_connected": true,

"upf_state_received": "UpfMsgState_Active",

"bfd_state": "BFDState_UP",

"upf_state": "UPFState_Active",

"route_modifier": 32,

"pool_received": true,

"echo_received": 4518,

"management_ip": "10.10.14.39",

"host_id": "UPF321",

"ssh_ip": "10.10.14.42"

}

]

},

التعرف على وحدة UPF الاحتياطية الحالية من مركز عمليات أنظمة تشغيل RCM

من عمليات تشغيل إدارة قاعدة بيانات المحول (RCM)، يحدد المركز UPF في وضع الاستعداد باستخدام أمر وحدة التحكم في show-statistics ل RCM:

{

"endpoint": "10.10.9.82",

"bfd_status": "STATE_UP",

"upf_registered": true,

"upf_connected": true,

"upf_state_received": "UpfMsgState_Standby",

"bfd_state": "BFDState_UP",

"upf_state": "UPFState_Standby",

"route_modifier": 50,

"pool_received": false,

"echo_received": 4505,

"management_ip": "10.10.14.35",

"host_id": "",

"ssh_ip": "10.10.14.60"

},

سجل الدخول إلى UPF وافحص معلومات RCM:

[local]UPF318# show rcm info

Saturday November 06 13:29:59 UTC 2021

Redundancy Configuration Module:

-------------------------------------------------------------------------------

Context:                         rcm

Bind Address:                    10.10.9.82

Chassis State:                   Standby

Session State:                   SockStandby

Route-Modifier:                  50

RCM Controller Address:          10.10.9.179

RCM Controller Port:             9200

RCM Controller Connection State: Connected

Ready To Connect:                Yes

Management IP Address:           10.10.14.35

Host ID:

SSH IP Address:                  10.10.14.60 (Activated)

فيما يلي المعلومات المفيدة الأخرى الواردة من مركز عمليات أنظمة تشغيل RCM:

[up300-aio-2/rm34] rcm# rcm show-statistics

Possible completions:

bfdmgr          Show RCM BFDMgr Statistics information

checkpointmgr   Show RCM Checkpointmgr Statistics information

configmgr       Show RCM Configmgr Statistics information

controller      Show RCM Controller Statistics information

|               Output modifiers

<cr>

قم بتنزيل دليل RCM لإصدار 21. 24.

تم الإبلاغ عن مشكلة من قبل حالات فشل RCM على CNDP PODs

تم الإبلاغ عن المشكلة في إحدى عمليات UPF المتعلقة بالتنبيه UP_SX_SESS_ESTABLISHMENT_SR. يوضح هذا التنبيه أن معدل نجاح إنشاء جلسة العمل على واجهة SX قد انخفض تحت الحد الذي تم تكوينه.

إذا نظرت إلى حالات Grafana، فيتم ملاحظة انخفاض 5G/4G بسبب قطع الاتصال pdn_sess_create || حالات الفشل | UPF_FAILURE:

وهذا يؤكد أن pdn_sess_create || حالات الفشل || UPF_FAILURE بسبب UPF419:

[local]UPF419# show rcm info

Saturday November 06 14:01:30 UTC 2021

Redundancy Configuration Module:

-------------------------------------------------------------------------------

Context:                         rcm

Bind Address:                    10.10.11.83

Chassis State:                   Active

Session State:                   SockActive

Route-Modifier:                  30

RCM Controller Address:          10.10.11.179

RCM Controller Port:             9200

RCM Controller Connection State: Connected

Ready To Connect:                Yes

Management IP Address:           10.10.14.165

Host ID:                         DNUD0417

SSH IP Address:                  10.10.14.162 (Activated)

في SMF، يمكنك التحقق من تكوين UPF. في هذه الحالة، أنت ينبغي بحثت عن ال UPF N4 عنوان:

[smf/smf2] smf# show running-config profile network-element upf node-id n4-peer-UPF417

profile network-element upf upf19

node-id           n4-peer-UPF417

n4-peer-address ipv4 10.10.10.17

n4-peer-port      8805

upf-group-profile upf-group1

dnn-list          [ internet ]

capacity          10

priority          1

exit

بعد ذلك يمكنك تنفيذ استعلام Grafana للتعريف نحو ما يعرف عنوان UPF N4 هناك معظم حالات الفشل:

استعلام Grafana:

sum(increase(proto_udp_res_msg_total{namespace=~"$namespace"، message_name="session_establishment_res"، status="no_rsp_received_tx"} [15m]) by (message_name، status، peer_info)

التسمية: {{message_name}} || {{status}} || {{peer_info}}

غرافانا يجب أن يظهر أين تحدث الإخفاقات. وفي المثال، يتعلق بالاستعراض الدوري الشامل رقم 419.

عند الاتصال بالنظام، يمكنك تأكيد عدم تعيين جلسة العمل بشكل صحيح بعد تحويل RCM لأن العديد من مديري الجلسات ليسوا في حالة 'Actv Ready' المتوقعة.

[local]UPF419# show srp checkpoint statistics verbose

Tuesday November 02 17:24:01 UTC 2021

smgr     state  peer    recovery  pre-alloc  chk-point rcvd   chk-point sent

inst            conn    records   calls      full     micro   full     micro

----   -------  -----   -------   --------   -----    -----   -----     ----

1      Actv Ready         0          0    1108    34001   14721   1200158

2      Actv Ready         0          0    1086    33879   17563   1347298

3      Actv Ready         0          0    1114    34491   15622   1222592

4      Actv  Conn         0          0       5      923       0        0

5      Actv Ready         0          0    1106    34406   13872   1134403

6      Actv  Conn         0          0       5      917       0        0

7      Actv  Conn         0          0       5      920       0        0

8      Actv  Conn         0          0       1      905       0        0

9      Actv  Conn         0          0       5      916       0        0

10      Actv  Conn         0          0       5      917       0        0

11      Actv Ready         0          0    1099    34442   13821   1167011

12      Actv  Conn         0          0       5      916       0        0

13      Actv  Conn         0          0       5      917       0        0

14      Actv Ready         0          0    1085    33831   13910   1162759

15      Actv Ready         0          0    1085    33360   13367   1081370

16      Actv  Conn         0          0       4      921       0        0

17      Actv Ready         0          0    1100    35009   13789   1138089

18      Actv Ready         0          0    1092    33953   13980   1126028

19      Actv  Conn         0          0       5      916       0        0

20      Actv  Conn         0          0       5      918       0        0

21      Actv Ready         0          0    1098    33521   13636   1108875

22      Actv Ready         0          0    1090    34464   14529   1263419

الحل

هذا يتعلق cisco خلل تعقب نظام (CDETS) CSCvz9749. تم دمج الإصلاح في 21.22.ua4.82694 والإصدارات اللاحقة.

الحل

في UPF419، يجب إعادة تشغيل مثيلات مدير الجلسة التي لم تكن في Actv Ready مع مثيل جلسة عمل الأمر Task Kill Facility <> وهذا يحل الموقف.

[local]UPF419# show srp checkpoint statistics verbose

Wednesday November 03 16:44:57 UTC 2021

smgr     state  peer    recovery  pre-alloc  chk-point rcvd   chk-point sent

inst            conn    records   calls      full     micro   full     micro

----   -------  -----   -------   --------   -----    -----   -----     ----

1      Actv Ready         0          0    1108    34001   38319   2267162

2      Actv Ready         0          0    1086    33879   40524   2428315

3      Actv Ready         0          0    1114    34491   39893   2335889

4      Actv Ready         0          0       0        0   12275   1049616

5      Actv Ready         0          0    1106    34406   37240   2172748

6      Actv Ready         0          0       0        0   13302   1040480

7      Actv Ready         0          0       0        0   12636   1062146

8      Actv Ready         0          0       0        0   11446   976169

9      Actv Ready         0          0       0        0   11647   972715

10      Actv Ready         0          0       0        0   11131   950436

11      Actv Ready         0          0    1099    34442   36696   2225847

12      Actv Ready         0          0       0        0   10739   919316

13      Actv Ready         0          0       0        0   11140   970384

14      Actv Ready         0          0    1085    33831   37206   2226049

15      Actv Ready         0          0    1085    33360   38135   2225816

16      Actv Ready         0          0       0        0   11159   946364

17      Actv Ready         0          0    1100    35009   37775   2242427

18      Actv Ready         0          0    1092    33953   37469   2181043

19      Actv Ready         0          0       0        0   13066   1055662

20      Actv Ready         0          0       0        0   10441   938350

21      Actv Ready         0          0    1098    33521   37238   2165185

22      Actv Ready         0          0    1090    34464   38227   2399415

السجلات المطلوب تجميعها في حالة فشل UPF الذي يتسبب في تبديل

ملاحظة: تأكد من تمكين سجلات تصحيح الأخطاء في RCM (طلب الموافقة قبل تمكين أي سجل تصحيح). ارجع إلى توصيات التسجيل.

مستوى تسجيل الدخول إلى مركز عمليات RCM

logging level application debug

logging level transaction debug

logging level tracing off

logging name infra.config.core level application warn

logging name infra.config.core level transaction warn

logging name infra.resource_monitor.core level application warn

logging name infra.resource_monitor.core level transaction warn

تجميع البيانات خطوة بخطوة

1. ملخص المسألة: يجب أن يكون بيان المشكلة واضحا. حدد اسم/ip العقدة التي تمثل مشكلة بحيث يكون من السهل العثور على المعلومات الضرورية من السجلات. على سبيل المثال، في حالة وجود إصدار للتحويل، من المفيد إذا تم ذكر أن IP x.x.x.x هو المصدر UPF و x.x.x.y هي الوجهة UPF.

2. إذا كانت هناك طرق متعددة لإعادة إنتاج المشكلة، فقم بذكرها.

3. معلومات إصدار RCM: في حالة نشر RCM VM من RCM VM، يظهر cat/etc/smi/rcm-image-versionshow على الشاشة من مركز العمليات. في حالة نشر RCM CN، تظهر دعامة من مركز العمليات.

4. RCM TAC debug cn أو سجلات RCM في وقت حدوث الإصدار. في بعض الحالات، يمكنك أيضا طلب سجلات من البداية عندما تكون POD قد ظهرت للتو.

5. حدد RCM الأساسي أو النسخة الاحتياطية. في حالة CN، قم بمشاركة المعلومات لكل من أزواج RCM.

6. قم بمشاركة التكوين الجاري تشغيله من مركز عمليات RCM من جميع المثيلات.

7. قم بتجميع إختبارات RCM SNMP.

8. بغض النظر عن فشل التحويل أو عدم الفشل، فمن الأفضل تجميع محرك أقراص SSD واحد نشط ومحرك أقراص SSD واحد في وضع الاستعداد.

9. يتم إستخدام أوامر إحصائيات وحدة التحكم في إدارة اللوحة الأساسية (RCM) و configmgr و Checkpoint Manager و switchover و switchover-verbose لذكر واجهة سطر الأوامر (CLI) بدقة.

وحدة التحكم في الإحصائيات لإدارة عرض الوحدة (RCM)

تكوين RCM show-statistics

نقطة إختيار RCM show-statistics

تحويل RCM show-statistics

RCM show-statistics switchover-verbose

10. Syslog الخاصة بميزة "وحدة المعالجة المركزية (UPF)" أو RCM.

11. إذا كانت المشكلة مرتبطة بفشل التحويل، يلزم وجود محرك أقراص UPF SSD نشط جديد ومحركات أقراص مزودة بذاكرة مصنوعة من مكونات صلبة (SSD) نشطة UPF قديمة. في بعض الحالات، يعيد النشاط القديم بسبب التبديل. وفي هذه الحالة، يجب عليك إعادة إنتاج المشكلة، وقبل ذلك يجب عليك جمع محرك الأقراص القديم النشط UP SSD.

12. في حالة فشل تبديل، من المفيد أيضا تجميع سجلات تصحيح الأخطاء الخاصة بشبكة VPN و sMGR و sess-gr و sxdemux من الأنشطة القديمة والجديدة في نسخ المشكلة.

تصحيح أخطاء مستوى SXDEMUX لمرشح التسجيل النشط

تصحيح أخطاء مستوى SGmgr لمرشح التسجيل النشط

تصحيح أخطاء مستوى SESS-GR لمرشح التسجيل النشط

تصحيح أخطاء مستوى VPN لمرشح التسجيل النشط

13. يلزم وجود مراكز VPNMGR/Sesmgr في حالة حدوث خطأ/مشكلة في الخادم/vpnmgr. Sesmgr_instance_id هو المثيل الذي يتم فيه ملاحظة المشكلة. vpnmgr_instance_id هو السياق # من سياق RCM.

مثيل مثيل <sesmgr_instance_id لمرفق المهمة الأساسية

مثيل <vpnmgr_instance_id لمهام core facility vpnmgr>

14. في حالة حدوث مشكلة في RCM HA، شارك سجلات تصحيح أخطاء/قوائم التحكم في الوصول الخاصة ب RCM من كلا المثالين.

معلومات ذات صلة

- https://www.cisco.com/c/en/us/support/wireless/ultra-cloud-core-user-plane-function/products-installation-and-configuration-guides-list.html

- الدعم التقني والمستندات - Cisco Systems