المحتويات

المقدمة

معلومات أساسية

المختصرات

أستكشاف أخطاء المكونات وإصلاحها RMA - عقدة الحوسبة/OSD-compute

الخطوة 1. إيقاف تشغيل يتسم بالهدوء

التعرف على الأجهزة الافتراضية المستضافة في عقدة الحوسبة/الحوسبة عبر نظام التشغيل OSD

إيقاف تشغيل VM بشكل رائع ل Cluster Manager

بالنسبة للتشغيل النشط ل PD/LoadBalanced VM إيقاف التشغيل السلس

لإيقاف التشغيل السلس ل PD/LoadBalancedCER VM في وضع الاستعداد

إيقاف التشغيل السلس ل PS/QNS VM

لإيقاف تشغيل OAM/PCRFclient VM بشكل رائع

من أجل المحكم

الخطوة 2. النسخ الاحتياطي لقاعدة بيانات ESC.

الخطوة 3. ترحيل ESC إلى وضع الاستعداد.

الخطوة 4. استبدل المكون المعيب من عقدة الحوسبة/OSD-compute.

الخطوة 5. قم باستعادة الأجهزة الافتراضية.

إسترداد VM من ESC

إسترداد ESC VM

معالجة فشل إسترداد ESC

أستكشاف أخطاء المكون RMA وإصلاحها - عقدة وحدة التحكم

الخطوة 1. وحدة التحكم - التصحيحات المسبقة

الخطوة 2. نقل مجموعة وحدات التحكم إلى وضع الصيانة.

الخطوة 3. إستبدال المكون المعيب من عقدة وحدة التحكم.

الخطوة 4. قم بتشغيل الخادم.

المقدمة

يصف هذا المستند الخطوات المطلوبة لاستبدال المكونات المعيبة المذكورة هنا في خادم نظام الحوسبة الموحدة (UCS) من Cisco في إعداد Ultra-M الذي يستضيف وظائف شبكة Cisco Policy Suite (CPS) الظاهرية (VNFs).

- MOP البديل لوحدة الذاكرة المزدوجة المدمجة (DIMM)

- فشل وحدة التحكم FlexFlash

- فشل محرك الأقراص في الحالة الصلبة (SSD)

- فشل الوحدة النمطية للنظام الأساسي الموثوق به (TPM)

- فشل ذاكرة التخزين المؤقت ل RAID

- عطل وحدة التحكم RAID/ مهايئ الناقل الساخن (HBA)

- فشل قاعدة بطاقة PCI

- مهايئ PCIe فشل Intel X520 10G

- فشل في اللوحة الأم (MLOM) لشبكة LAN النمطية

- درج المروحة RMA

- فشل وحدة المعالجة المركزية

تمت المساهمة بواسطة Nitesh Bansal، خدمات Cisco المتقدمة.

معلومات أساسية

Ultra-M هو حل افتراضي تم تجميعه في حزم مسبقا والتحقق من صحته مصمم لتبسيط عملية نشر شبكات VNF. OpenStack هو مدير البنية الأساسية الظاهرية (VIM) ل Ultra-M ويتكون من أنواع العقد التالية:

- حوسبة

- قرص تخزين الكائنات - الحوسبة (OSD - الحوسبة)

- ضابط

- النظام الأساسي OpenStack - المدير (OSPD)

- يتم إعتبار إصدار Ultra M 5.1.x لتحديد الإجراءات الواردة في هذا المستند.

- هذا المستند مخصص لأفراد Cisco المطلعين على نظام Cisco Ultra-M الأساسي وهو يفصل الخطوات المطلوبة ليتم تنفيذها على مستوى OpenStack و CPS VNF في وقت إستبدال المكون في الخادم.

قبل إستبدال مكون معيب، من المهم التحقق من الحالة الحالية لبيئة النظام الأساسي ل Red Hat Open Stack. يوصى بالتحقق من الحالة الحالية لتجنب المضاعفات عند تشغيل عملية الاستبدال.

في حالة الاسترداد، توصي Cisco بإجراء النسخ الاحتياطي لقاعدة بيانات OSPD بمساعدة الخطوات التالية:

[root@director ~]# mysqldump --opt --all-databases > /root/undercloud-all-databases.sql

[root@director ~]# tar --xattrs -czf undercloud-backup-`date +%F`.tar.gz /root/undercloud-all-databases.sql

/etc/my.cnf.d/server.cnf /var/lib/glance/images /srv/node /home/stack

tar: Removing leading `/' from member names

تضمن هذه العملية إمكانية إستبدال عقدة دون التأثير على توفر الأمثلة.

ملاحظة: إذا كان الخادم عقدة وحدة تحكم، يرجى المتابعة إلى القسم، وإلا يرجى المتابعة مع القسم التالي.

المختصرات

VNF

وظيفة الشبكة الظاهرية

نقطة المنتج

مدير السياسة (موازن التحميل)

PS

خادم النهج ( pcrfclient )

ESC

وحدة التحكم المرنة في الخدمة

ممسحة

طريقة إجرائية

OSD

أقراص تخزين الكائنات

محرك الأقراص الثابتة

محرك الأقراص الثابتة

محرك أقراص مزود بذاكرة مصنوعة من مكونات صلبة

محرك أقراص في الحالة الصلبة

فيم

مدير البنية الأساسية الظاهرية

VM

جهاز ظاهري

غواصة

مدير جلسة العمل

qns

خادم اسم الكم

uID

المعرف الفريد العالمي

أستكشاف أخطاء المكونات وإصلاحها RMA - عقدة الحوسبة/OSD-compute

الخطوة 1. إيقاف تشغيل يتسم بالهدوء

التعرف على الأجهزة الافتراضية المستضافة في عقدة الحوسبة/الحوسبة عبر نظام التشغيل OSD

قد يستضيف جهاز الكمبيوتر/برنامج OSD-Compute أنواعا متعددة من الأجهزة الافتراضية. حدد جميع الخطوات الفردية مع عقدة Baremetal المحددة ومتابعتها وبالنسبة لأسماء الأجهزة الافتراضية المستضافة على هذا الكمبيوتر:

[stack@director ~]$ nova list --field name,host | grep compute-10

| 49ac5f22-469e-4b84-badc-031083db0533 |  SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634     |

pod1-compute-10.localdomain    |

| 49ac5f22-469e-4b84-badc-031083db0533 |  SVS1-tmo_sm-s3_0_05966301-bd95-4071-817a-0af43757fc88     |

pod1-compute-10.localdomain    |

إيقاف تشغيل VM بشكل رائع ل Cluster Manager

الخطوة 1. قم بإنشاء لقطة وملف FTP إلى مكان آخر خارج الخادم أو خارج الحامل نفسه إن أمكن.

openstack image create --poll

الخطوة 2. إيقاف VM من ESC.

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action STOP < CM vm-name>

الخطوة 3. تحقق مما إذا تم إيقاف الجهاز الظاهري.

[admin@esc ~]$ cd /opt/cisco/esc/esc-confd/esc-cli

[admin@esc ~]$ ./esc_nc_cli get esc_datamodel | egrep --color "<state>|<vm_name>|<vm_id>|<deployment_name>"

<snip>

<state>SERVICE_ACTIVE_STATE</state>

SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634

VM_SHUTOFF_STATE

بالنسبة للتشغيل النشط ل PD/LoadBalanced VM إيقاف التشغيل السلس

الخطوة 1. تسجيل الدخول إلى Active LB ووقف الخدمات كما يلي

- تبديل ال lb من نشط إلى إستعداد

service corosync restart

- إيقاف الخدمات في وضع الاستعداد lb

service monit stop

service qns stop

الخطوة 2. من مدير مركز الأنظمة الإلكترونية (ESC).

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action STOP < Standby PD vm-name>

الخطوة 3.  تحقق مما إذا تم إيقاف الجهاز الظاهري.

admin@esc ~]$ cd /opt/cisco/esc/esc-confd/esc-cli

[admin@esc ~]$ ./esc_nc_cli get esc_datamodel | egrep --color "

|

|

|

"

SERVICE_ACTIVE_STATE

SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634                     VM_SHUTOFF_STATE

لإيقاف التشغيل السلس ل PD/LoadBalancedCER VM في وضع الاستعداد

الخطوة 1. تسجيل الدخول إلى LB في وضع الاستعداد ووقف الخدمات.

service monit stop

service qns stop

الخطوة 2. من مدير مركز الأنظمة الإلكترونية (ESC).

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action STOP < Standby PD vm-name>

الخطوة 3. تحقق مما إذا تم إيقاف الجهاز الظاهري.

[admin@esc ~]$ cd /opt/cisco/esc/esc-confd/esc-cli

[admin@esc ~]$ ./esc_nc_cli get esc_datamodel | egrep --color "

|

|

|

"

SERVICE_ACTIVE_STATE

SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634                     VM_SHUTOFF_STATE

إيقاف التشغيل السلس ل PS/QNS VM

الخطوة 1. إيقاف الخدمة:

service monit stop

service qns stop

الخطوة 2. من مدير مركز الأنظمة الإلكترونية (ESC).

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action STOP < PS vm-name>

الخطوة 3.  تحقق مما إذا تم إيقاف الجهاز الظاهري.

[dmin@esc ~]$ cd /opt/cisco/esc/esc-confd/esc-cli

[dmin@esc ~]$ ./esc_nc_cli get esc_datamodel | egrep --color "

|

|

|

"

SERVICE_ACTIVE_STATE

SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634                     VM_SHUTOFF_STATE

لإيقاف تشغيل SM VM بشكل رائع

الخطوة 1. إيقاف كافة خدمات Mongo الموجودة في جلسة العمل.

[root@sessionmg01 ~]# cd /etc/init.d

[root@sessionmg01 init.d]# ls -l sessionmgr*

[root@sessionmg01 ~]# /etc/init.d/sessionmgr-27717 stop Stopping mongod: [  OK  ]

[root@ sessionmg01 ~]# /etc/init.d/sessionmgr-27718 stop Stopping mongod: [  OK  ]

[root@ sessionmg01 ~]# /etc/init.d/sessionmgr-27719 stop Stopping mongod: [  OK  ]

الخطوة 2. من مدير مركز الأنظمة الإلكترونية (ESC).

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action STOP < PS vm-name>

الخطوة 3. تحقق مما إذا تم إيقاف الجهاز الظاهري.

[admin@esc ~]$ cd /opt/cisco/esc/esc-confd/esc-cli

[admin@esc ~]$ ./esc_nc_cli get esc_datamodel | egrep --color "

|

|

|

"

SERVICE_ACTIVE_STATE

SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634                     VM_SHUTOFF_STATE

لإيقاف تشغيل OAM/PCRFclient VM بشكل رائع

الخطوة 1. تحقق مما إذا كان نهج SVN متزامن من خلال هذه الأوامر، في حالة إرجاع قيمة، تكون SVN متزامنة بالفعل ولا تحتاج إلى مزامنتها من PCRFCLIENT02. يجب تخطي "الاسترداد" من آخر عملية نسخ إحتياطي يمكن إستخدامها إذا لزم الأمر.

/usr/bin/svn propget svn:sync-from-url --revprop -r0 http://pcrfclient01/repos

الخطوة 2. إعادة إنشاء مزامنة مدير/تابع SVN بين PCRFCLIENT01 و pcrfclient02 مع pcrfclient01 كمدير من خلال تنفيذ سلسلة الأوامر على PCRFCLIENT01.

/bin/rm -fr /var/www/svn/repos

/usr/bin/svnadmin create /var/www/svn/repos

/usr/bin/svn propset --revprop -r0 svn:sync-last-merged-rev 0

http://pcrfclient02/repos-proxy-sync

/usr/bin/svnadmin setuuid /var/www/svn/repos/ "Enter the UUID captured in step 2"

/etc/init.d/vm-init-client

/var/qps/bin/support/recover_svn_sync.sh

الخطوة 3.  قم بإجراء عملية نسخ إحتياطي لشبكة SVN في مدير المجموعة.

config_br.py -a export --svn /mnt/backup/svn_backup_pcrfclient.tgz

الخطوة 4.  قم بإيقاف تشغيل الخدمات في pcrfclient.

service monit stop

service qns stop

الخطوة 5.  من مدير مركز الأنظمة الإلكترونية:

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action STOP < pcrfclient vm-name>

الخطوة 6.  تحقق مما إذا تم إيقاف الجهاز الظاهري.

[admin@esc ~]$ cd /opt/cisco/esc/esc-confd/esc-cli

[admin@esc ~]$ ./esc_nc_cli get esc_datamodel | egrep --color "

|

|

|

"

SERVICE_ACTIVE_STATE

SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634                     VM_SHUTOFF_STATE

من أجل المحكم

الخطوة 1. تسجيل الدخول إلى أداة التحكم وإيقاف تشغيل الخدمات.

[root@SVS1OAM02 init.d]# ls -lrt sessionmgr*

-rwxr-xr-x 1 root root 4382 Jun 21 07:34 sessionmgr-27721

-rwxr-xr-x 1 root root 4406 Jun 21 07:34 sessionmgr-27718

-rwxr-xr-x 1 root root 4407 Jun 21 07:34 sessionmgr-27719

-rwxr-xr-x 1 root root 4429 Jun 21 07:34 sessionmgr-27717

-rwxr-xr-x 1 root root 4248 Jun 21 07:34 sessionmgr-27720

service monit stop

service qns stop

/etc/init.d/sessionmgr-[portno.] stop , where port no is the db port in the arbiter.

الخطوة 2.من مدير ESC.

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action STOP < pcrfclient vm-name>

الخطوة 3. تحقق مما إذا تم إيقاف الجهاز الظاهري.

[admin@esc ~]$ cd /opt/cisco/esc/esc-confd/esc-cli

[admin@esc ~]$ ./esc_nc_cli get esc_datamodel | egrep --color "

|

|

|

"

SERVICE_ACTIVE_STATE

SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634                     VM_SHUTOFF_STATE

لوحدة التحكم المرنة في الخدمات (ESC)

الخطوة 1. يجب إجراء نسخ إحتياطي للتكوينات الموجودة في هيكل خوادم ESC-HA شهريا، قبل/بعد أي عملية توسعة أو خفض مع جدار الحماية الخاص الظاهرية (VNF) وقبل/بعد تغييرات التكوين في معيار ESC. ويجب دعم هذا الأمر لإجراء عملية إستعادة البيانات بعد الكوارث بطريقة فعالة عبر تقنية ESC

1. قم بتسجيل الدخول إلى ESC باستخدام بيانات اعتماد المسؤول وتصدير Opdata إلى XML.

/opt/cisco/esc/confd/bin/netconf-console --host 127.0.0.1 --port 830 -u

-p

--get-config > /home/admin/ESC_config.xml

2. قم بتنزيل هذا الملف إلى الكمبيوتر المحلي الخاص بك من FTP/SFTP إلى خادم خارج السحابة.

الخطوة 2. إجراء نسخ إحتياطي لتكوين سحابة PCRF جميع البرامج النصية وملفات بيانات المستخدم المشار إليها في XMLs للنشر.

1. ابحث عن كل ملفات بيانات المستخدم المشار إليها في XMLs الخاصة بنشر جميع شبكات VNF من البيانات المصدرة في الخطوة السابقة.نموذج إخراج.

file://opt/cisco/esc/cisco-cps/config/gr/cfg/std/pcrf-cm_cloud.cfg

file://opt/cisco/esc/cisco-cps/config/gr/cfg/std/pcrf-oam_cloud.cfg

file://opt/cisco/esc/cisco-cps/config/gr/cfg/std/pcrf-pd_cloud.cfg

file://opt/cisco/esc/cisco-cps/config/gr/cfg/std/pcrf-qns_cloud.cfg

file://opt/cisco/esc/cisco-cps/config/gr/cfg/std/pcrf-sm_cloud.cfg

2. البحث عن كافة البرامج النصية لنشر مادة النشر المستخدمة لإرسال واجهة برمجة تطبيقات CPS الخاصة بتنسيق API.

3. عينة من نشر برنامج نصي في ESC opdata.

النموذج 1:

PCRF_POST_DEPLOYMENT

LCS::POST_DEPLOY_ALIVE

FINISH_PCRF_INSTALLATION

SCRIPT

----------

script_filename

/opt/cisco/esc/cisco-cps/config/gr/tmo/cfg/../cps_init.py

script_timeout

3600

نموذج 2:

PCRF_POST_DEPLOYMENT

LCS::POST_DEPLOY_ALIVE

FINISH_PCRF_INSTALLATION

SCRIPT

CLUMAN_MGMT_ADDRESS

10.174.132.46

CLUMAN_YAML_FILE

/opt/cisco/esc/cisco-cps/config/vpcrf01/ cluman_orch_config.yaml

script_filename

/opt/cisco/esc/cisco-cps/config/vpcrf01/vpcrf_cluman_post_deployment.py

wait_max_timeout

3600

إذا كانت Deployment ESC Opdata (المستخرجة في الخطوة السابقة) تحتوي على أي من الملفات المبرزة، فقم بإجراء النسخ الاحتياطي.

نموذج أمر النسخ الاحتياطي:

tar –zcf esc_files_backup.tgz /opt/cisco/esc/cisco-cps/config/

قم بتنزيل هذا الملف إلى الكمبيوتر المحلي الخاص بك من FTP/SFTP إلى خادم خارج السحابة.

Note:- Although opdata is synced between ESC master and slave, directories containing user-data, xml and post deploy scripts are not synced across both instances. It is suggested that customers can push the contents of directory containing these files using scp or sftp, these files should be constant across ESC-Master and ESC-Standby in order to recover a deployment when ESC VM which was master during deployment is not available do to any unforeseen circumstances.

الخطوة 2. النسخ الاحتياطي لقاعدة بيانات ESC.

الخطوة 1. قم بجمع السجلات من كل من ESC VMs ونسخها إحتياطيا.

$ collect_esc_log.sh

$ scp /tmp/

@

:

الخطوة 2. قم بإجراء نسخ إحتياطي لقاعدة البيانات من عقدة ECS الرئيسية.

الخطوة 3. قم بالتبديل إلى المستخدم الجذري وفحص حالة ESC الأساسية وتحقق من أن قيمة الإخراج هي الرئيسية.

$ sudo bash

$ escadm status

Set ESC to maintenance mode & verify

$ sudo escadm op_mode set --mode=maintenance

$ escadm op_mode show

الخطوة 4. أستخدم متغير لضبط اسم الملف وتضمين معلومات التاريخ واتصل بأداة النسخ الاحتياطي وقم بتوفير متغير اسم الملف من الخطوة السابقة.

fname=esc_db_backup_$(date -u +"%y-%m-%d-%H-%M-%S")

$ sudo /opt/cisco/esc/esc-scripts/esc_dbtool.py backup -- file /tmp/atlpod-esc-master-$fname.tar

الخطوة 5. تحقق من ملف النسخ الاحتياطي في وحدة تخزين النسخ الاحتياطي وتأكد من وجود الملف.

الخطوة 6. قم بإعادة ESC الرئيسي إلى وضع التشغيل العادي.

$ sudo escadm op_mode set --mode=operation

في حالة فشل الأداة المساعدة للنسخ الاحتياطي، قم بتطبيق الحل البديل التالي مرة واحدة في عقدة ESC. ثم كرر الخطوة 6.

$ sudo sed -i "s,'pg_dump,'/usr/pgsql-9.4/bin/pg_dump,"

/opt/cisco/esc/esc-scripts/esc_dbtool.py

الخطوة 3. ترحيل ESC إلى وضع الاستعداد.

الخطوة 1. قم بتسجيل الدخول إلى ESC المستضاف في العقدة وتحقق مما إذا كان في الحالة الرئيسية. إذا كانت الإجابة بنعم، فقم بتبديل ESC إلى وضع الاستعداد.

[admin@VNF2-esc-esc-0 esc-cli]$ escadm status

0 ESC status=0 ESC Master Healthy

[admin@VNF2-esc-esc-0 ~]$ sudo service keepalived stop Stopping keepalived:

[  OK  ]

[admin@VNF2-esc-esc-0 ~]$ escadm status

1 ESC status=0 In SWITCHING_TO_STOP state. Please check status after a while.

[admin@VNF2-esc-esc-0 ~]$ sudo reboot

Broadcast message from admin@vnf1-esc-esc-0.novalocal

(/dev/pts/0) at 13:32 ...

The system is going down for reboot NOW!

الخطوة 2. ما إن VM يكون ESC إستعداد، إيقاف عمل ال VM بالقمر: إيقاف عمل -r الآن

ملاحظة: إذا كان يجب إستبدال المكون المعيب في عقدة OSD-Compute، فقم بوضع CEPH في "الصيانة" على الخادم قبل متابعة إستبدال المكون.

[admin@osd-compute-0 ~]$ sudo ceph osd set norebalance

set norebalance

[admin@osd-compute-0 ~]$ sudo ceph osd set noout

set noout

[admin@osd-compute-0 ~]$ sudo ceph status

cluster eb2bb192-b1c9-11e6-9205-525400330666

health HEALTH_WARN

noout,norebalance,sortbitwise,require_jewel_osds flag(s) set

monmap e1: 3 mons at {tb3-ultram-pod1-controller-0=11.118.0.40:6789/0,tb3-ultram-pod1-controller-1=11.118.0.41:6789/0,tb3-ultram-pod1-controller-2=11.118.0.42:6789/0}

election epoch 58, quorum 0,1,2 tb3-ultram-pod1-controller-0,tb3-ultram-pod1-controller-1,tb3-ultram-pod1-controller-2

osdmap e194: 12 osds: 12 up, 12 in

flags noout,norebalance,sortbitwise,require_jewel_osds

pgmap v584865: 704 pgs, 6 pools, 531 GB data, 344 kobjects

1585 GB used, 11808 GB / 13393 GB avail

704 active+clean

client io 463 kB/s rd, 14903 kB/s wr, 263 op/s rd, 542 op/s wr

الخطوة 4. استبدل المكون المعيب من عقدة الحوسبة/OSD-compute.

قم بإيقاف تشغيل الخادم المحدد. يمكن الإشارة إلى الخطوات الخاصة باستبدال مكون معيب على خادم UCS C240 M4 من:

إستبدال مكونات الخادم

راجع التسجيل المستمر في الإجراء أدناه والتنفيذ حسب الحاجة

الخطوة 5. قم باستعادة الأجهزة الافتراضية.

إسترداد VM من ESC

1. ال VM يكون في حالة خطأ في قائمة نوفا.

[stack@director  ~]$ nova list |grep VNF2-DEPLOYM_s9_0_8bc6cc60-15d6-4ead-8b6a-10e75d0e134d

| 49ac5f22-469e-4b84-badc-031083db0533 | VNF2-DEPLOYM_s9_0_8bc6cc60-15d6-4ead-8b6a-10e75d0e134d     | ERROR  | -          | NOSTATE     |

2. إستردت ال VMs من ال ESC.

[admin@VNF2-esc-esc-0 ~]$ sudo /opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli recovery-vm-action DO VNF2-DEPLOYM_s9_0_8bc6cc60-15d6-4ead-8b6a-10e75d0e134d

[sudo] password for admin:

Recovery VM Action

/opt/cisco/esc/confd/bin/netconf-console --port=830 --host=127.0.0.1 --user=admin --privKeyFile=/root/.ssh/confd_id_dsa --privKeyType=dsa --rpc=/tmp/esc_nc_cli.ZpRCGiieuW

3. مراقبة يانغسك لوغ

admin@VNF2-esc-esc-0 ~]$ tail -f /var/log/esc/yangesc.log

…

14:59:50,112 07-Nov-2017 WARN  Type: VM_RECOVERY_COMPLETE

14:59:50,112 07-Nov-2017 WARN  Status: SUCCESS

14:59:50,112 07-Nov-2017 WARN  Status Code: 200

14:59:50,112 07-Nov-2017 WARN  Status Msg: Recovery: Successfully recovered VM [VNF2-DEPLOYM_s9_0_8bc6cc60-15d6-4ead-8b6a-10e75d0e134d].

4. تحقق من جميع الخدمات الموجودة في الأجهزة الافتراضية التي يتم بدء تشغيلها.

إسترداد ESC VM

1. قم بتسجيل الدخول إلى ESC عبر وحدة التحكم والتحقق من الحالة.

2. بدء العمليات إذا لم تكن قد بدأت بالفعل

[admin@esc ~]$ sudo service keepalived start

[admin@esc ~]$ escadm status 0 ESC status=0 ESC Slave Healthy

معالجة فشل إسترداد ESC

في الحالات التي يفشل فيها ESC في بدء تشغيل VM بسبب حالة غير متوقعة، توصي Cisco بتنفيذ تبديل ESC من خلال إعادة تمهيد ESC الرئيسي. ستستغرق عملية التبديل ESC حوالي دقيقة. قم بتشغيل البرنامج النصي "health.sh" على ESC الرئيسي الجديد للتحقق مما إذا كانت الحالة قيد التشغيل. مدير ESC لبدء تشغيل VM وإصلاح حالة VM. ستستغرق مهمة الاسترداد هذه ما يصل إلى 5 دقائق لإكمالها.

يمكنك مراقبة /var/log/esc/yangesc.log و/var/log/esc/escmanager.log. إذا لم يظهر لديك الجهاز الظاهري الذي تم إسترداده بعد 5 إلى 7 دقائق، فسيحتاج المستخدم إلى الذهاب وإجراء عملية الاسترداد اليدوي للأجهزة الافتراضية (الأجهزة الافتراضية) المتأثرة.

في حالة عدم إسترداد الجهاز الظاهري ESC، اتبع إجراء نشر جهاز ESC VM جديد. اتصل بدعم Cisco للإجراء.

أستكشاف أخطاء المكون RMA وإصلاحها - عقدة وحدة التحكم

الخطوة 1. وحدة التحكم - التصحيحات المسبقة

من OSPD، يتم تسجيل الدخول إلى وحدة التحكم والتحقق من أن أجهزة الكمبيوتر في حالة جيدة - حيث تظهر وحدات التحكم الثلاثة جميعها على الإنترنت وجاليرا وحدات التحكم الثلاث كرئيسية.

ملاحظة: تتطلب المجموعة السليمة وجود وحدتي تحكم نشيطتين للتحقق من أن وحدتي التحكم المتبقيتين متصلتان ونشيطتان.

heat-admin@pod1-controller-0 ~]$ sudo pcs status

Cluster name: tripleo_cluster

Stack: corosync

Current DC: pod1-controller-2 (version 1.1.15-11.el7_3.4-e174ec8) - partition with quorum

Last updated: Mon Dec  4 00:46:10 2017                        Last change: Wed Nov 29 01:20:52 2017 by hacluster via crmd on pod1-controller-0

3 nodes and 22 resources configured

Online: [ pod1-controller-0 pod1-controller-1 pod1-controller-2 ]

Full list of resources:

ip-11.118.0.42  (ocf::heartbeat:IPaddr2):           Started pod1-controller-1

ip-11.119.0.47  (ocf::heartbeat:IPaddr2):           Started pod1-controller-2

ip-11.120.0.49  (ocf::heartbeat:IPaddr2):           Started pod1-controller-1

ip-192.200.0.102          (ocf::heartbeat:IPaddr2):           Started pod1-controller-2

Clone Set: haproxy-clone [haproxy]

Started: [ pod1-controller-0 pod1-controller-1 pod1-controller-2 ]

Master/Slave Set: galera-master [galera]

Masters: [ pod1-controller-0 pod1-controller-1 pod1-controller-2 ]

ip-11.120.0.47  (ocf::heartbeat:IPaddr2):           Started pod1-controller-2

Clone Set: rabbitmq-clone [rabbitmq]

Started: [ pod1-controller-0 pod1-controller-1 pod1-controller-2 ]

Master/Slave Set: redis-master [redis]

Masters: [ pod1-controller-2 ]

Slaves: [ pod1-controller-0 pod1-controller-1 ]

ip-10.84.123.35            (ocf::heartbeat:IPaddr2):           Started pod1-controller-1

openstack-cinder-volume          (systemd:openstack-cinder-volume):            Started pod1-controller-2

my-ipmilan-for-pod1-controller-0        (stonith:fence_ipmilan):  Started pod1-controller-0

my-ipmilan-for-pod1-controller-1        (stonith:fence_ipmilan):  Started pod1-controller-0

my-ipmilan-for-pod1-controller-2        (stonith:fence_ipmilan):  Started pod1-controller-0

Daemon Status:

corosync: active/enabled

pacemaker: active/enabled

pcsd: active/enabled

الخطوة 2. نقل مجموعة وحدات التحكم إلى وضع الصيانة.

1. ضع مجموعة أجهزة الكمبيوتر على وحدة التحكم التي يتم تحديثها في وضع الاستعداد.

[heat-admin@pod1-controller-0 ~]$ sudo pcs cluster standby

2. تحقق من حالة أجهزة الكمبيوتر مرة أخرى وتأكد من توقف مجموعة أجهزة الكمبيوتر الشخصية على هذه العقدة.

[heat-admin@pod1-controller-0 ~]$ sudo pcs status

Cluster name: tripleo_cluster

Stack: corosync

Current DC: pod1-controller-2 (version 1.1.15-11.el7_3.4-e174ec8) - partition with quorum

Last updated: Mon Dec  4 00:48:24 2017                        Last change: Mon Dec  4 00:48:18 2017 by root via crm_attribute on pod1-controller-0

3 nodes and 22 resources configured

Node pod1-controller-0: standby

Online: [ pod1-controller-1 pod1-controller-2 ]

Full list of resources:

ip-11.118.0.42  (ocf::heartbeat:IPaddr2):           Started pod1-controller-1

ip-11.119.0.47  (ocf::heartbeat:IPaddr2):           Started pod1-controller-2

ip-11.120.0.49  (ocf::heartbeat:IPaddr2):           Started pod1-controller-1

ip-192.200.0.102          (ocf::heartbeat:IPaddr2):           Started pod1-controller-2

Clone Set: haproxy-clone [haproxy]

Started: [ pod1-controller-1 pod1-controller-2 ]

Stopped: [ pod1-controller-0 ]

Master/Slave Set: galera-master [galera]

Masters: [ pod1-controller-1 pod1-controller-2 ]

Slaves: [ pod1-controller-0 ]

ip-11.120.0.47  (ocf::heartbeat:IPaddr2):           Started pod1-controller-2

Clone Set: rabbitmq-clone [rabbitmq]

Started: [ pod1-controller-0 pod1-controller-1 pod1-controller-2 ]

Master/Slave Set: redis-master [redis]

Masters: [ pod1-controller-2 ]

Slaves: [ pod1-controller-1 ]

Stopped: [ pod1-controller-0 ]

ip-10.84.123.35            (ocf::heartbeat:IPaddr2):           Started pod1-controller-1

openstack-cinder-volume          (systemd:openstack-cinder-volume):            Started pod1-controller-2

my-ipmilan-for-pod1-controller-0        (stonith:fence_ipmilan):  Started pod1-controller-1

my-ipmilan-for-pod1-controller-1        (stonith:fence_ipmilan):  Started pod1-controller-1

my-ipmilan-for-pod1-controller-2        (stonith:fence_ipmilan):  Started pod1-controller-2

Daemon Status:

corosync: active/enabled

pacemaker: active/enabled

pcsd: active/enabled

3. كما يجب أن تظهر حالة أجهزة الكمبيوتر الشخصي (PCs) على وحدتي التحكم الأخريين العقدة على أنها جاهزة.

الخطوة 3. إستبدال المكون المعيب من عقدة وحدة التحكم.

قم بإيقاف تشغيل الخادم المحدد. يمكن الإشارة إلى الخطوات الخاصة باستبدال مكون معيب على خادم UCS C240 M4 من:

إستبدال مكونات الخادم

الخطوة 4. قم بتشغيل الخادم.

1. قم بتشغيل الخادم والتحقق من ظهور الخادم.

[stack@tb5-ospd ~]$ source stackrc

[stack@tb5-ospd ~]$ nova list |grep pod1-controller-0

| 1ca946b8-52e5-4add-b94c-4d4b8a15a975 | pod1-controller-0  | ACTIVE | -          | Running     | ctlplane=192.200.0.112 |

2. تسجيل الدخول إلى وحدة التحكم المتأثرة، قم بإزالة وضع الاستعداد عن طريق إعداد غير الاستعداد. تحقق من أن وحدة التحكم تأتي عبر الإنترنت مزودة بنظام المجموعة ويظهر برنامج Galera وحدات التحكم الثلاث جميعها كوحدات تحكم رئيسية. قد يستغرق هذا بضع دقائق.

[heat-admin@pod1-controller-0 ~]$ sudo pcs cluster unstandby

[heat-admin@pod1-controller-0 ~]$ sudo pcs status

Cluster name: tripleo_cluster

Stack: corosync

Current DC: pod1-controller-2 (version 1.1.15-11.el7_3.4-e174ec8) - partition with quorum

Last updated: Mon Dec  4 01:08:10 2017                        Last change: Mon Dec  4 01:04:21 2017 by root via crm_attribute on pod1-controller-0

3 nodes and 22 resources configured

Online: [ pod1-controller-0 pod1-controller-1 pod1-controller-2 ]

Full list of resources:

ip-11.118.0.42  (ocf::heartbeat:IPaddr2):           Started pod1-controller-1

ip-11.119.0.47  (ocf::heartbeat:IPaddr2):           Started pod1-controller-2

ip-11.120.0.49  (ocf::heartbeat:IPaddr2):           Started pod1-controller-1

ip-192.200.0.102          (ocf::heartbeat:IPaddr2):           Started pod1-controller-2

Clone Set: haproxy-clone [haproxy]

Started: [ pod1-controller-0 pod1-controller-1 pod1-controller-2 ]

Master/Slave Set: galera-master [galera]

Masters: [ pod1-controller-0 pod1-controller-1 pod1-controller-2 ]

ip-11.120.0.47  (ocf::heartbeat:IPaddr2):           Started pod1-controller-2

Clone Set: rabbitmq-clone [rabbitmq]

Started: [ pod1-controller-0 pod1-controller-1 pod1-controller-2 ]

Master/Slave Set: redis-master [redis]

Masters: [ pod1-controller-2 ]

Slaves: [ pod1-controller-0 pod1-controller-1 ]

ip-10.84.123.35            (ocf::heartbeat:IPaddr2):           Started pod1-controller-1

openstack-cinder-volume          (systemd:openstack-cinder-volume):            Started pod1-controller-2

my-ipmilan-for-pod1-controller-0        (stonith:fence_ipmilan):  Started pod1-controller-1

my-ipmilan-for-pod1-controller-1        (stonith:fence_ipmilan):  Started pod1-controller-1

my-ipmilan-for-pod1-controller-2        (stonith:fence_ipmilan):  Started pod1-controller-2

Daemon Status:

corosync: active/enabled

pacemaker: active/enabled

pcsd: active/enabled

3. قد تقوم بفحص بعض خدمات أجهزة المراقبة مثل CEPH التي في حالة صحية.

[heat-admin@pod1-controller-0 ~]$ sudo ceph -s

cluster eb2bb192-b1c9-11e6-9205-525400330666

health HEALTH_OK

monmap e1: 3 mons at {pod1-controller-0=11.118.0.10:6789/0,pod1-controller-1=11.118.0.11:6789/0,pod1-controller-2=11.118.0.12:6789/0}

election epoch 70, quorum 0,1,2 pod1-controller-0,pod1-controller-1,pod1-controller-2

osdmap e218: 12 osds: 12 up, 12 in

flags sortbitwise,require_jewel_osds

pgmap v2080888: 704 pgs, 6 pools, 714 GB data, 237 kobjects

2142 GB used, 11251 GB / 13393 GB avail

704 active+clean

client io 11797 kB/s wr, 0 op/s rd, 57 op/s wr