أستكشاف أخطاء برنامج Cluster Manager VM PCRF وإصلاحها- OpenStack

المقدمة

يصف هذا المستند الخطوات اللازمة لاسترداد مثيلات وظيفة "سياسة Cisco الظاهرية وقواعد الشحن" (vPCRF) التي تم نشرها على نشر Ultra-M/OpenStack.

استكشاف الأخطاء وإصلاحها

تشغيل مدير نظام المجموعة من حالة إيقاف التشغيل

إذا كان هناك أي مثيل في حالة إيقاف التشغيل بسبب إيقاف التشغيل المخطط أو سبب آخر، فيرجى إستخدام هذا الإجراء لبدء المثيل وتمكين مراقبته في وحدة التحكم المرنة في الخدمات (ESC).

الخطوة 1. تحقق من حالة المثيل عبر OpenStack.

source /home/stack/destackovsrc-Pcrf
nova list --fields name,host,status | grep cm_0
| c5e4ebd4-803d-45c1-bd96-fd6e459b7ed6 | SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634 | destackovs-compute-2  | SHUTOFF|

الخطوة 2. تحقق مما إذا كان الكمبيوتر متوفرا وتأكد من أن الحالة قيد التشغيل. 

source /home/stack/destackovsrc
nova hypervisor-show destackovs-compute-2 | egrep ‘status|state’
| state                     | up                                       |
| status                    | enabled                                  |

الخطوة 3. قم بتسجيل الدخول إلى ESC Master كمستخدم مسؤول وتحقق من حالة المثيل في opdata.

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli get esc_datamodel/opdata | grep cm_0
SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634 VM_ERROR_STATE

الخطوة 4. قم بتشغيل المثيل من OpenStack.

source /home/stack/destackovsrc-Pcrf
nova start SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634

الخطوة 5. انتظر خمس دقائق حتى يتم تحميل المثيل ثم يأتي إلى الحالة النشطة.

source /home/stack/destackovsrc-Pcrf
nova list –fields name,status | grep cm_0
| c5e4ebd4-803d-45c1-bd96-fd6e459b7ed6 | SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634 | ACTIVE 

الخطوة 6. Eتعذر العثور على "مراقبة VM" في ESC بعد أن يكون المثيل في حالة نشطة.

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action ENABLE_MONITOR SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634

للحصول على مزيد من إسترداد تكوينات المثيل، ارجع إلى الإجراءات الخاصة بنوع المثيل الموفرة هنا.

إسترداد أي مثيل من حالة الخطأ

يمكن إستخدام هذا الإجراء إذا كانت حالة مثيل CPS في OpenStack خطأ:

الخطوة 1. تحقق من حالة المثيل في OpenStack.

source /home/stack/destackovsrc-Pcrf
nova list --fields name,host,status | grep cm_0
| c5e4ebd4-803d-45c1-bd96-fd6e459b7ed6 | SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634 | destackovs-compute-2  | ERROR|

الخطوة 2. تحقق مما إذا كان الكمبيوتر متوفرا وقم بالتشغيل بشكل جيد.

source /home/stack/destackovsrc
nova hypervisor-show destackovs-compute-2 | egrep ‘status|state’
| state                     | up                                       |
| status                    | enabled                                  |

الخطوة 3. قم بتسجيل الدخول إلى ESC Master كمستخدم مسؤول وتحقق من حالة المثيل في opdata.

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli get esc_datamodel/opdata | grep cm_0
SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634 VM_ERROR_STATE

الخطوة 4. قم بإعادة تعيين حالة المثيل لإجبار المثيل على العودة إلى حالة نشطة بدلا من حالة خطأ، بمجرد القيام بذلك، قم بإعادة تشغيل المثيل.

source /home/stack/destackovsrc-Pcrf
nova reset-state –active SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634
nova reboot –-hard  SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634

الخطوة 5. انتظر خمس دقائق حتى يتم تحميل المثيل ثم يأتي إلى الحالة النشطة.

source /home/stack/destackovsrc-Pcrf
nova list –fields name,status | grep cm_0
| c5e4ebd4-803d-45c1-bd96-fd6e459b7ed6 | SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634 | ACTIVE |

الخطوة 6. إذا قام "مدير نظام المجموعة" بتغيير الحالة إلى "نشط بعد إعادة التمهيد"، فقم بتمكين مراقبة VM في ESC بعد أن يكون مثيل "مدير نظام المجموعة" في حالة نشطة.

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action ENABLE_MONITOR SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634

ترحيل الاسترداد إلى حالة التشغيل/النشاط، ارجع إلى الإجراء الخاص بنوع المثيل لاسترداد التكوين/البيانات من النسخ الاحتياطي.

إعادة إنشاء "إدارة قطاعات CPS" من خلال Snapshot

إذا كانت مجموعة سياسات Cisco (CPS) عالقة في حالة الخطأ وغير قادرة على التشغيل من خلال الإجراءات الموضحة بالفعل والمثيل متوفر في OpenStack. من المقترح إعادة إنشاء المثيل من خلال صورة اللقطة. 

الخطوة 1. تأكد من أن لقطة آخر تكوين جيد وموجود كملف QCOW، أستخدم هذا الملف الذي تم إنشاؤه مسبقا أثناء النسخ الاحتياطي، و scp/sftp هو مرة أخرى إلى كمبيوتر OpenStack Platform-Director (OSPD). أستخدم هذا الإجراء لتحويله إلى صورة بنظرة سريعة:

source /home/stack/destackovsrc-Pcrf
glance image-create --name CPS_Cluman_13.1.1 --disk-format "qcow2" --container "bare" --file /var/Pcrf/cluman_snapshot.raw
 
Alternatively,
glance image-create --name rebuild_cluman --file /home/stack/cluman_snapshot.raw --disk-format qcow2 --container-format bare

الخطوة 2. أستخدم أمر Nova Rebuild على OSPD لإعادة إنشاء مثيل Cluman VM باستخدام اللقطة التي تم تحميلها كما هو موضح.

nova rebuild 
     
      
       
     

الخطوة 3. انتظر خمس دقائق حتى يتم تحميل المثيل ثم يأتي إلى الحالة النشطة.

source /home/stack/destackovsrc-Pcrf
nova list –fields name,status | grep cm
| c5e4ebd4-803d-45c1-bd96-fd6e459b7ed6 |cm_0_170d9c14-0221-4609-87e3-d752e636f57f| ACTIVE |

الخطوة 4. إذا قام "مدير نظام المجموعة" بتغيير الحالة إلى ACTIVE بعد إعادة الإنشاء، فتحقق من حالة المثيل في ESC وقم بتمكين مراقبة VM في ESC إذا لزم الأمر.

echo "show esc_datamodel opdata tenants tenant Pcrf deployments * state_machine | tab" | /opt/cisco/esc/confd/bin/confd_cli -u admin –C | grep cm
cm_0_170d9c14-0221-4609-87e3-d752e636f57f VM_ERROR_STATE
/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action ENABLE_MONITOR cm_0_170d9c14-0221-4609-87e3-d752e636f57f

الخطوة 5. تحقق من أن وحدة التخزين CINDER المرتبطة بصورة ISO الأصلية الخاصة بإدارة نظام المجموعة قد تم تحديثها مع الوقت الحالي بعد إعادة النشر:

cinder list | grep tmobile-pcrf-13.1.1-1.iso
| 2f6d7deb-60d6-40fa-926f-a88536cf98a3 | in-use    | tmobile-pcrf-13.1.1-1.iso | 3    | -           | true     | a3f3bc62-0195-483a-bbc0-692bccd37307 |
cinder show 2f6d7deb-60d6-40fa-926f-a88536cf98a3 | grep updated_at
| updated_at                     | 2018-06-18T08:54:59.000000

updated_at                     | 2018-06-18T08:54:59.000000

الخطوة 6. قم بإرفاق أقراص النسخ الاحتياطي أو أي وحدة تخزين أخرى من وحدة التخزين Cinder تم إرفاقها مسبقا بمثيل "مدير المجموعة" إذا لم تكن متصلة تلقائيا في الخطوات السابقة.

source /home/stack/destackovsrc-Pcrf

cinder list

+--------------------------------------+-----------+---------------------------+------+-------------+----------+--------------------------------------+
| ID                                   | Status    | Name                      | Size | Volume Type | Bootable | Attached to                          |
+--------------------------------------+-----------+---------------------------+------+-------------+----------+--------------------------------------+
| 0e7ec662-b59e-4e3a-91a9-35c4ed3f51d7 | available | pcrf-atp1-mongo02         | 3    | -           | false    |                                      |
| 2f6d7deb-60d6-40fa-926f-a88536cf98a3 | in-use    | tmobile-pcrf-13.1.1-1.iso | 3    | -           | true     | a3f3bc62-0195-483a-bbc0-692bccd37307 |
| 4c553948-df75-4f0b-bf7b-0e64127dfda3 | available | pcrf-atp1-svn01           | 3    | -           | false    |                                      |
| 594c052e-aaa3-4c82-867d-3b36162244b3 | available | tmobile-pcrf-13.1.1-2.iso | 3    | -           | true     |                                      |
| 64953713-de86-40d5-a0e5-07db22d692f2 | in-use    | tmobile-pcrf-13.1.1.iso   | 3    | -           | true     | 80a93e90-59e2-43bd-b67e-5d766d0a2f11 |
 
openstack server add volume 
     
      
      
        --device 
        
       
     

الخطوة 7. إذا كانت لقطة الخرقاء قديمة وتوفرت نسخة إحتياطية config_br.py من تاريخ أخذ لقطة ما بعد. قم باستيراد التكوين من النسخة الاحتياطية، وإذا لم تكن قد تخطت هذه الخطوة بعد ذلك.

ssh 
     
     
       config_br.py –a import --svn --etc --grafanadb --auth-htpasswd --haproxy /mnt/backup/ 
       
     

الخطوة 8. قم بإعادة إنشاء جميع صور الأجهزة الافتراضية (VM) من النسخة الاحتياطية من خلال config_br.py على مدير المجموعات:

/var/qps/install/current/scripts/build/build_all.sh

إعادة نشر برنامج Cluster Manager لإدارة قطاعات CPS من خلال تطبيق Snapshot

إذا تم فقد إدارة نظام المجموعة CPS VM (غير قادر على الاسترداد) وفشلت أيضا عملية إعادة الإنشاء (كما هو موضح في 2.3)، فيلزمك إعادة نشر المثيل من خلال ESC. يصف هذا الإجراء العملية لنفس الإجراء:

الخطوة 1. تأكد من وجود لقطة لآخر تكوين جيد معروف كملف QCOW، أستخدم هذا الملف الذي تم إنشاؤه مسبقا أثناء النسخ الاحتياطي، و scp/sftp هو مرة أخرى إلى كمبيوتر OSPD.

ls –ltr /var/Pcrf/cluman_snapshot.qcow
-rw-r--r--. 1 root root 328514100 May 18 16:59 cluman_snapshot.qcow

الخطوة 2. أستخدم هذا الإجراء لتحويله إلى صورة بنظرة سريعة.

source /home/stack/destackovsrc-Pcrf
glance image-create --name CPS_Cluman_13.1.1 --disk-format "qcow2" --container "bare" --file /var/Pcrf/cluman_snapshot.qcow

الخطوة 3. وبمجرد توفر الصورة، قم بتسجيل الدخول إلى ESC وتحقق من حالة مثيل "مدير المجموعة" في ESC OPDATA.

echo "show esc_datamodel opdata tenants tenant Pcrf deployments * state_machine | tab" | /opt/cisco/esc/confd/bin/confd_cli -u admin –C | grep cm
cm_0_170d9c14-0221-4609-87e3-d752e636f57f VM_ERROR_STATE

الخطوة 4. تأكد من أن ملف /home/admin/PCRF_config.xml موجود كنسخة إحتياطية في 2.1.1

الخطوة 5. الحصول على اسم النشر والمستأجر و vm_group لإدارة نظام المجموعة المراد إستردادها.

نموذج التعليمة البرمجية:

     
     
             
      
                
       
                   
        
          Pcrf 
                            ---------------- Name of the tenant           
        
          false 
                   
        
                      
         
                         
          
            DEP1 
                ---------------- Name of the Deployment ----- ----- -----              
          
                            
           
             cm 
                           --------------- Name of the vm_group                 
           pcrf-13.1.1.qcow2 ------------- Name of the Image used                 
           
             pcrf-cm 
                            
           
             600 
                            
           
             30 
            
           
          
         
        
       
     

الخطوة 6. تشغيل حذف برنامج إدارة نظام المجموعة VM من ESC:

تحذير: يجب أن يكون الأمر لإزالة المثيل من Opdata مكتملا، ويمكن للأمر غير المكتمل حذف النشر بالكامل. كن حذرا من فضلك. يجب أن يحتوي الأمر دائما على كافة المعلمة، أي اسم المستأجر واسم النشر واسم vm_group.

/opt/cisco/esc/confd/bin/confd_cli -u admin –C
esc-ha-01# config
esc-ha-01(config)# no esc_datamodel tenants tenant Pcrf deployments deployment DEP1 vm_group cm
esc-ha-01(config)# commit
esc-ha-01(config)# exit

  

يجب أن تقوم الخطوة أعلاه بإزالة المثيل من OpenStack بالإضافة إلى بيانات ESC. بعبارة أخرى، لم تعد "إدارة المجموعات" الآن جزءا من عملية النشر.

الخطوة 7. تحقق من إزالة مثيل مدير نظام المجموعة من النشر من Yangesc.log وescmanager.log في قائمة ESC و Nova في عقدة OSPD.

الخطوة 8.  قم بتعديل ملف PCRF_config.xml الذي تم نسخه إحتياطيا في الخطوة 2.1.1 وقم بتعديل اسم صورة مدير نظام المجموعة إلى الصورة التي تم إنشاؤها حديثا من لقطة في الخطوات أعلاه:

قبل التغيير	بعد التغيير
<vm_group>  <name>cm</name>  <image>pcrf-13.1.1.qcow2</image>	<vm_group>  <name>cm</name>  <image>CPS_CLUMAN_13.1.1</image>

الخطوة 9. قم بتعديل PCRF_config.xml وأزال ملف بيانات مستخدم السحابة الخاص بمجموعة vm الخاصة بمدير المجموعة. يتم عرض نموذج التعليمة البرمجية XML المطلوب إزالتها هنا:

    
     
     
                         
      
                            
       
         --user-data 
                            
       
         file:///opt/cisco/esc/cisco-cps/config/pcrf-cm_cloud.cfg 
                            
       
                               
        
          CLUSTER_ID 
                               
        
          P1 
                             
                            
       
                               
        
          CM_IP_ADDR_PVT 
                               
        
          192.168.1.107 
                             
                            
       
                               
        
          PREFIX 
                               
        
          vpc 
                             
                            
       
                               
        
          SEQ 
                               
        
          01 
                             
                            
       
                               
        
          SITE_ID 
                               
        
          DE 
                             
                          
                       
     

الخطوة 10. انسخ الملف PCRF_config.xml إلى /opt/cisco/esc/cisco-cps/config/folder حيث تكون جميع ملفات التكوين الأخرى موجودة.

الخطوة 11. تحميل دمج ملف التكوين الجديد إلى ESC OPDATA.

/opt/cisco/esc/confd/bin/confd_cli -u admin –C
esc-ha-01# config
esc-ha-01(config)# load merge /opt/cisco/esc/cisco-cps/config/PCRF_config.xml
esc-ha-01(config)# commit
esc-ha-01(config)# exit

الخطوة 12. مراقبة winesc.log وescmanager.log في قائمة ESC و Nova في OSPD للتحقق من نشر مدير المجموعة.

source /home/stack/destackovsrc-Pcrf
nova list --fields name,status| grep cm
| 96a5647e-9970-4e61-ab5c-5e7285543a09 | cm_0_a11a9068-df37-4974-9bd8-566f825d5e39    | ACTIVE

الخطوة 13. إذا قام "مدير نظام المجموعة" بتغيير الحالة إلى ACTIVE بعد إعادة الإنشاء، فتحقق من حالة المثيل في ESC وقم بتمكين مراقبة VM في ESC إذا لزم الأمر.

echo "show esc_datamodel opdata tenants tenant Pcrf deployments * state_machine | tab" | /opt/cisco/esc/confd/bin/confd_cli -u admin –C | grep cm
cm_0_170d9c14-0221-4609-87e3-d752e636f57f VM_ERROR_STATE
/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action ENABLE_MONITOR cm_0_170d9c14-0221-4609-87e3-d752e636f57f

الخطوة 14. قم بإرفاق أقراص النسخ الاحتياطي أو أي وحدة تخزين أخرى من وحدة التخزين Cinder تم إرفاقها من قبل بمثيل "مدير المجموعة" ولم يتم إرفاقها تلقائيا بواسطة ESC في الخطوة السابقة.

source /home/stack/destackovsrc-Pcrf
cinder list
+--------------------------------------+--------+------------------------+------+------------+---------+----------------------------------------+
| ID                                   | Status | Name                   | Size | Volume Type| Bootable| Attached to                            |
+--------------------------------------+--------+------------------------+------+------------+---------+----------------------------------------+
| 4c478cce-c746-455a-93f1-3f360acb87ce | in-use | CPS_14.0.0.release.iso | 3    | -           | true   | 96a5647e-9970-4e61-ab5c-5e7285543a09   |
| 7e5573d9-29bc-4ea0-b046-c666bb1f7e06 | in-use | PCRF_backup            | 1024 | -           | false  |                                        |
| d5ab1991-3e09-41f2-89f5-dd1cf8a9e172 | in-use | svn01                  | 2    | -           | false  | 09f4bafa-dfb6-457f-9af5-69196eb31b13   |
| d74988a7-1f59-4241-9777-fc4f2d4f3e78 | in-use | svn02                  | 2    | -           | false  | 86ea448d-09bc-4d2f-81a3-de05884f1e05   |
+--------------------------------------+--------+------------------------+------+------------+---------+----------------------------------------+
openstack server add volume 
     
      
      
        --device 
        
       
     

الخطوة 15. إذا كانت لقطة الخرقاء قديمة وتوفرت نسخة إحتياطية config_br.py من تاريخ أخذ لقطة ما بعد. قم باستيراد التكوين من النسخة الاحتياطية، إذا لم تكن قد تخطت هذه الخطوة بعد ذلك.

ssh 
     
     
       config_br.py –a import --svn --etc --grafanadb --users --auth-htpasswd --haproxy /mnt/backup/ 
       
     

الخطوة 16. قم بإعادة إنشاء جميع صور الأجهزة الافتراضية (VM) من النسخة الاحتياطية من خلال config_br.py على مدير المجموعات:

/var/qps/install/current/scripts/build/build_all.sh

التحقق من الصحة

• يتم إختبار اتصال IP الخاص بمدير نظام المجموعة لضمان تشغيل الاتصال.
• SSH مدير نظام المجموعة للتحقق من إمكانية الوصول.
• تحقق من التشخيصات من "إدارة المجموعة" لضمان عدم تأثر حالة صحة الأجهزة الافتراضية (VMs) الأخرى الخاصة ب CPS.