إجراء الاسترداد لفشل مجموعة Ultra-M AutoVNF - vEPC

المقدمة

يصف هذا المستند الخطوات المطلوبة لاسترداد خدمات الأتمتة الفائقة (UAS) أو فشل مجموعة AutoVNF في إعداد Ultra-M الذي يستضيف وظائف الشبكة الظاهرية (VNF) لنظام التشغيل StarOS.

معلومات أساسية

Ultra-M هو حل أساسي لحزم الأجهزة المحمولة تم تجميعه في حزم مسبقا والتحقق من صحته افتراضيا تم تصميمه من أجل تبسيط نشر شبكات VNF.

يتكون الحل Ultra-M من أنواع الأجهزة الافتراضية الموجهة (VM):

• تقنية المعلومات التلقائية 
• النشر التلقائي
• UAS أو AutoVNF
• مدير العناصر (EM)
• وحدة التحكم المرنة في الخدمات (ESC)
• دالة التحكم (CF)
• وظيفة جلسة العمل (SF)

تم توضيح البنية المعمارية عالية المستوى لتقنية Ultra-M والمكونات المعنية في هذه الصورة:

بنية UltraM

يستهدف هذا المستند موظفي Cisco الملمين بنظام Cisco Ultra-M الأساسي.

ملاحظة: يتم النظر في الإصدار Ultra M 5.1.x لتحديد الإجراءات الواردة في هذا المستند.

المختصرات

VNF	وظيفة الشبكة الظاهرية
سي إف	دالة التحكم
SF	وظيفة الخدمة
ESC	وحدة التحكم المرنة في الخدمة
ممسحة	طريقة إجرائية
OSD	أقراص تخزين الكائنات
محرك الأقراص الثابتة	محرك الأقراص الثابتة
محرك أقراص مزود بذاكرة مصنوعة من مكونات صلبة	محرك أقراص في الحالة الصلبة
فيم	مدير البنية الأساسية الظاهرية
VM	جهاز ظاهري
إم	مدير العناصر
UAS	خدمات أتمتة Ultra
uID	المعرف الفريد العالمي

سير عمل مذكرة التفاهم

القضية 1. إسترداد فشل واحد لمجموعة UAS

فحص الحالة

1. يقوم Ultra-M Manager بفحص سلامة عقدة Ultra-M. انتقل إلى دليل التقارير /var/log/cisco/ultram-health/GREP لتقرير UAS.

• [stack@pod1-ospd ultram-health]$ more ultram_health_uas.report
  
  ---------------------------------------------------------------------------------------------------------
   VNF ID           | UAS Node | Status   | Error Info, if any        
  ---------------------------------------------------------------------------------------------------------
   172.21.201.122   | autovnf  | XXX      | AutoVNF Cluster FAILED : Node: 172.16.180.12, Status: error, Role: NA
   172.21.201.122   | vnf-em   | :-)      |
   172.21.201.122   | esc      | :-)      |
  --------------------------------------------------------------------------------------------------------- 

2 - وستكون الحالة المتوقعة لمجموعة الطائرات بدون طيار كما هي مبينة، حيث لا تزال هذه الطائرات الثلاث على قيد الحياة. 

[stack@pod1-ospd ~]# ssh ubuntu@10.1.1.1
password:

ubuntu@autovnf1-uas:~$ ncs_cli -u admin -C

autovnf1-uas-0#show uas 
uas version 1.0.1-1
uas state ha-active
uas ha-vip 172.16.181.101
INSTANCE IP STATE ROLE 
------------------------------------
172.16.180.3 alive CONFD-MASTER 
172.16.180.7 alive CONFD-SLAVE 
172.16.180.12 alive NA

فشل الاتصال بخادم الإرساء عند محاولة الاتصال بالوحدات الطرفية

1. في بعض الحالات، لن تتمكن من الاتصال بخادم الإرساء.

ubuntu@autovnf1-uas-0:/opt/cisco/usp/uas/manager$ confd_cli -u admin -C
Failed to connect to server

 2. التحقق من حالة عملية ربط UAS.

ubuntu@autovnf1-uas-0:/opt/cisco/usp/uas/manager$ sudo initctl status uas-confd
uas-confd stop/waiting

3. إذا لم يتم تشغيل خادم الإرساء، قم بإعادة تشغيل الخدمة.

ubuntu@autovnf1-uas-0:/opt/cisco/usp/uas/manager$ sudo initctl start uas-confd
uas-confd start/running, process 7970
ubuntu@autovnf1-uas-0:/opt/cisco/usp/uas/manager$ confd_cli -u admin -C
Welcome to the ConfD CLI
admin connected from 172.16.180.9 using ssh on autovnf1-uas-0

إسترداد UAS من حالة الخطأ

 1. في حالة فشل AutoVNF واحد بين المجموعة، تظهر مجموعة UAS واحدة من UAS في حالة الخطأ .

[stack@pod1-ospd ~]# ssh ubuntu@10.1.1.1
password:

ubuntu@autovnf1-uas:~$ ncs_cli -u admin -C

autovnf1-uas-0#show uas 
uas version 1.0.1-1
uas state ha-active
uas ha-vip 172.16.181.101
INSTANCE IP STATE ROLE 
------------------------------------
172.16.180.3 alive CONFD-MASTER 
172.16.180.7 alive CONFD-SLAVE 
172.16.180.12 alive error

2. انسخ ملف corerc (rc الخاص ب VNF) من /home/stack في خادم OSPD إلى "النشر التلقائي" وتصدره. 

3. تحقق من حالة UAS/AutoVNF باستخدام البرنامج النصي uas-check.py . autoVNF1 هو اسم AutoVNF. 

ubuntu@auto-deploy-iso-590-uas-0:~$ /opt/cisco/usp/apps/auto-it/scripts/uas-check.py auto-vnf autovnf1
2017-11-17 14:52:20,186 - INFO: Check of AutoVNF cluster started
2017-11-17 14:52:22,172 - INFO: Found 2 AutoVNF instance(s), 3 expected
2017-11-17 14:52:22,172 - INFO: Instance 'autovnf1-uas-2' is missing
2017-11-17 14:52:22,172 - INFO: Check completed, AutoVNF cluster has recoverable errors

4. استرد UAS باستخدام الكلمة الأساسية uas-check.py script and add-fix.

ubuntu@auto-deploy-iso-590-uas-0:~$ /opt/cisco/usp/apps/auto-it/scripts/uas-check.py auto-vnf autovnf1 --fix
2017-11-17 14:52:27,493 - INFO: Check of AutoVNF cluster started
2017-11-17 14:52:29,215 - INFO: Found 2 AutoVNF instance(s), 3 expected
2017-11-17 14:52:29,215 - INFO: Instance 'autovnf1-uas-2' is missing
2017-11-17 14:52:29,215 - INFO: Check completed, AutoVNF cluster has recoverable errors
2017-11-17 14:52:29,386 - INFO: Creating instance 'autovnf1-uas-2' and attaching volume 'autovnf1-uas-vol-2'
2017-11-17 14:52:47,600 - INFO: Created instance 'autovnf1-uas-2'

5. سترى أن الطائرات دون طيار المنشأة حديثا لا تزال حية وجزء من المجموعة.

autovnf1-uas-0#show uas 
uas version 1.0.1-1
uas state ha-active
uas ha-vip 172.16.181.101
INSTANCE IP STATE ROLE 
------------------------------------
172.16.180.3 alive CONFD-MASTER 
172.16.180.7 alive CONFD-SLAVE 
172.16.180.13 alive NA

القضية 2. الوحدات النمطية الثلاثة (AutoVNF) جميعها في حالة خطأ

1. يقوم Ultra-M Manager بفحص سلامة عقدة Ultra-M.

[stack@pod1-ospd ultram-health]$ more ultram_health_uas.report

---------------------------------------------------------------------------------------------------------

 VNF ID           | UAS Node | Status   | Error Info, if any        

---------------------------------------------------------------------------------------------------------

 172.21.201.122   | autovnf  | XXX      | AutoVNF Cluster FAILED : Node: 172.16.180.12, Status: error, Role: NA,Node: 172.16.180.9, Status: error, Role: NA,Node: 172.16.180.10, Status: error, Role: NA

 172.21.201.122   | vnf-em   | :-)      |

 172.21.201.122   | esc      | :-)      |

---------------------------------------------------------------------------------------------------------

2. كما هو موضح في الناتج، يفيد Ultra-M Manager بوجود عطل في AutoVNF ويظهر أن جميع وحدات UAS الثلاث في المجموعة في حالة خطأ. 

تحقق من صحة UAS باستخدام UAS-check.py Script

1. سجل الدخول إلى النشر التلقائي وتحقق مما إذا كان يمكنك الوصول إلى وحدات UAS الخاصة ب AutoVNF والحصول على الحالة.

ubuntu@auto-deploy-iso-590-uas-0:~$ /opt/cisco/usp/apps/auto-it/scripts$ ./uas-check.py auto-vnf autovnf1 --os-tenant-name core

2017-12-05 11:41:09,834 - INFO: Check of AutoVNF cluster started
2017-12-05 11:41:11,342 - INFO: Found 3 ACTIVE AutoVNF instances
2017-12-05 11:41:11,343 - INFO: Check completed, AutoVNF cluster is fine

2. من النشر التلقائي، يعمل بروتوكول Secure Shell (SSH) إلى عقدة AutoVNF ويدخل إلى وضع الإرساء. تحقق من الحالة باستخدام show uas.

ubuntu@auto-deploy-iso-590-uas-0:~$ ssh ubuntu@172.16.180.9
password:
autovnf1-uas-1#show uas
uas version 1.0.1-1
uas state ha-active
uas ha-vip 172.16.181.101
INSTANCE IP    STATE  ROLE 

----------------------------

172.16.180.9   error  NA   
172.16.180.10  error  NA   
172.16.180.12  error  NA   

3 - ويوصى بالتحقق من الحالة في جميع العقد الثلاث الخاصة بالوحدات الجوية بدون طيار.

تحقق من حالة الأجهزة الظاهرية (VMs) على مستوى OpenStack

تحقق من حالة شبكات VM الخاصة ب AutoVNF في قائمة نوفا. عند الحاجة، قم بإجراء بدء تشغيل مستعر لبدء تشغيل تشغيل برنامج Shutoff VM.

[stack@pod1-ospd ultram-health]$ nova list | grep autovnf

| 83870eed-b4e9-47b3-976d-cc3eddecf866 | autovnf1-uas-0                                                 | ACTIVE | -          | Running     | orchestr=172.16.180.12; mgmt=172.16.181.6                                                                                                                  
| 201d9ce5-538c-42f7-a46c-fc8cdef1eabf | autovnf1-uas-1                                                 | ACTIVE | -          | Running     | orchestr=172.16.180.10; mgmt=172.16.181.5                                                                                                                    
| 6c6d25cd-21b6-42b9-87ff-286220faa2ff | autovnf1-uas-2                                                 | ACTIVE | -          | Running     | orchestr=172.16.180.9; mgmt=172.16.181.13                                                     

تحقق من طريقة عرض "حارس الحديقة"

1. تحقق من حالة برنامج حماية الحيوان للتحقق من الوضع كقائد.

ubuntu@autovnf1-uas-0:/var/log/upstart$ /opt/cisco/usp/packages/zookeeper/current/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/cisco/usp/packages/zookeeper/current/bin/../conf/zoo.cfg
Mode: leader

2. من الطبيعي أن يكون حارس الحديقة صاحيا.

أستكشاف أخطاء AutoVNF وإصلاحها - العمليات والمهام

1. حدد سبب حالة الخطأ للعقد. لتشغيل AutoVNF، هناك مجموعة من العمليات يجب أن تكون قيد التشغيل كما هو موضح:

AutoVNF

uws-ae

uas-confd

cluster_manager

uas_manager

ubuntu@autovnf1-uas-0:~$ sudo initctl list  | grep uas 

uas-confd stop/waiting ====> this is not good, the uas-confd process is not running

uas_manager start/running, process 2143

root@autovnf1-uas-1:/home/ubuntu# sudo initctl list 
....
uas-confd start/running, process 1780
....
autovnf start/running, process 1908
....
....
uws-ae start/running, process 1909
....
....
cluster_manager start/running, process 1827
....
.....
uas_manager start/running, process 1697
......
......

2. تأكد من أن عمليات بايثون هذه تعمل:

uas_manager.py

cluster_manager.py

usp_autovnf.py

  

root@autovnf1-uas-1:/home/ubuntu# ps -aef | grep pyth
root      1819  1697  0 Jun13 ?        00:00:50 python /opt/cisco/usp/uas/manager/uas_manager.py
root      1858  1827  0 Jun13 ?        00:09:21 python /opt/cisco/usp/uas/manager/cluster_manager.py
root      1908     1  0 Jun13 ?        00:01:00 python /opt/cisco/usp/uas/autovnf/usp_autovnf.py
root     25662 24750  0 13:16 pts/7    00:00:00 grep --color=auto pyth

3. إذا لم يكن أي من العمليات المتوقعة في حالة بدء/تشغيل، قم بإعادة تشغيل العملية وتحقق من الحالة. إذا كان لا يزال يظهر في حالة الخطأ بعد ذلك اتبع الإجراء المذكور في القسم التالي لإصلاح هذه المشكلة.

إصلاح وحدات UAS متعددة في حالة الخطأ

1. Nova — إعادة التشغيل الصعبة < اسم VM>من OSPD، امنح بعض الوقت لاسترداد VM هذا قبل أن تنتقل إلى وحدة UAS التالية. قم بذلك على جميع الأجهزة الافتراضية الخاصة بالوحدات اللاسلكية. 

 أو

2.سجل الدخول إلى كل وحدة من وحدات التخزين الموحدة واستخدم إعادة تمهيد Sudo. انتظر الاسترداد ثم انتقل إلى أجهزة UAS VMs الأخرى.

بالنسبة لسجلات الحركة، تحقق:

/var/log/upstart/autovnf.log

show logs xxx | display xml

سيقوم هذا بإصلاح المشكلة واسترداد UAS من حالة الخطأ. 

1. تحقق من ذلك باستخدام تقرير ultram_health_check.

[stack@pod1-ospd ultram-health]$ more ultram_health_uas.report

---------------------------------------------------------------------------------------------------------

 VNF ID           | UAS Node | Status   | Error Info, if any        

---------------------------------------------------------------------------------------------------------

 172.21.201.122   | autovnf  | :-)      | 

 172.21.201.122   | vnf-em   | :-)      |

 172.21.201.122   | esc      | :-)      |

---------------------------------------------------------------------------------------------------------