المحتويات

المقدمة

كيف يتم تحميل مخططات بيانات HX على ESXi؟

كل المسارات لأسفل

وصف المشكلة

أستكشاف أخطاء سير العمل وإصلاحها

عمليات الفحص في خادم vCenter:

فحص جميع StCtlVMs:

STctlVM: برنامج STctlVM لمضيف ESXi متضرر

عمليات الفحص في مضيف ESXi:

المقدمة

يمنحك هذا المستند خطوات سريعة للفهم واستكشاف الأخطاء وإصلاحها يمكن تنفيذها من أجل تقييم مصدر المشكلة إذا رأيت رسالة خطأ "NFS لكافة المسارات الموجودة" في vCenter والتي يتم دمج نظام مجموعة HyperFlex بها.

كيف يتم تحميل مخططات بيانات HX على ESXi؟

- يتم تركيب مخططات البيانات HyperFlex على أجهزة ESXi المضيفة أثناء تحميل NFS، ومن أجل تحميل مخزن بيانات NFS، نحتاج إلى عنوان IP لخادم NFS الذي هو في حالتنا الواجهة العائمة الظاهرية ETH1:0.

- تعمل مجموعة HyperFlex على زيادة إستخدام IP العائم الظاهري للإدارة (eth0:mgmtip) وبيانات التخزين (eth1:0) التي سيتم تعيين كل IP عليها إلى جهاز تحكم تخزين vm واحد محدد (StCtlVM). يرجى ملاحظة أن هذه الأجهزة قد تنتهي إلى إستخدام أجهزة StCtlVM مختلفة.

- تكمن أهمية هذا الأمر في أن IP لبيانات تخزين نظام المجموعة (eth1:0) هو المستخدم لتحميل datastore(آت) التي تم إنشاؤها في نظام تجميع HyperFlex. وبالتالي، من الضروري أن يتم تعيينها وإمكانية الوصول إليها من جميع عقد نظام المجموعة.

- الرجاء ملاحظة أنه في حالة فشل StCtlVM الذي يمتلك حاليا بروتوكول IP الظاهري من النوع ETH1:0، يجب أن "يقوم بالترحيل" إلى آخر متوفر وهو StCtlVM يعمل بطريقة مشابهة لبروتوكول FHRP (بروتوكول تكرار الخطوة الأولى).

كل المسارات لأسفل

- تعني APD أن المضيف لا يمكنه الوصول إلى التخزين ولا يوجد رمز SCSI لفقدان الجهاز الدائم (PDL) مرتجع من صفيف التخزين.

- ونظرا لأنها لا تعرف ما إذا كان الفقد مؤقتا أم لا، فسوف تستمر في محاولة إنشاء اتصال لأكثر من 140 ثانية بشكل افتراضي (المهلة) + 3 دقائق (التأخير لتجاوز الفشل) يبدأ مضيف ESXi في فشل أي حركة مرور غير افتراضية للإدخال/الإخراج بالجهاز يتم إرسالها إلى جهاز التخزين.

- لمزيد من التفاصيل حول APD في بيئة vSphere 6.x، ارجع إلى VMware KB Article Permanent Device Loss (PDL) و All-Paths-Down (APD) في vSphere 5.x و 6.x

- توضح الصورة أدناه كل مرحلة متقطعة:

ستكون رسالة الخطأ النموذجية في vCenter كما يلي.

وصف المشكلة

بمجرد مشاهدة تنبيهات APD على الأجهزة المضيفة، قم بالحصول على المعلومات التالية لفهم وصف المشكلة بشكل أفضل:

- إذا تأثرت مضيفة واحدة/عدة/جميع البيئات المضيفة، وإذا تأثرت بعض هذه البيئات المضيفة المحددة

- إذا تم إجراء أي تغييرات مسبقا (التكوين/الترقية/ما إلى ذلك)

- الطابع الزمني الذي يتم عنده ملاحظة المشكلة لأول مرة وإذا كانت المشكلة متكررة

أستكشاف أخطاء سير العمل وإصلاحها

من أجل أستكشاف أخطاء APD وإصلاحها، يجب أن ننظر في 3 مكونات - مضيف vCenter و SCVM و ESXi.

هذه الخطوات هي سير عمل مقترح من أجل تحديد أو تضييق مصدر كل المسارات التي تظهر على الشاشة. يرجى ملاحظة أنه لا يتعين اتباع هذا الطلب بدقة وقد تكفي وفقا للأعراض المحددة التي تلاحظ في بيئة العميل.

عمليات الفحص في خادم vCenter:

قم بالاتصال بخادم vCenter (VCS) وانتقل إلى مضيف متأثر

1. الكائنات ذات الصلة -> الأجهزة الظاهرية وتأكيد أن برنامج StCTLvm يعمل بكفاءة

2. الكائنات ذات الصلة -> مخططات البيانات وتأكيد ما إذا كانت مخططات بيانات NFS تظهر "يتعذر الوصول إليها". إذا كانت مخططات البيانات تبدو قابلة للوصول إليها وحالة يمكن المحاولة على علامة التبويب الملخص إلى "إعادة التعيين إلى Green" لحدث APD والتحقق لاحقا مما إذا كان التنبيه يندفع مرة أخرى لاحقا

3. مدرب -> مشاكل ومدرب -> أحداث يجب أن توفر معلومات حول وقت اكتشاف واجهة برمجة تطبيقات (APD) لأول مرة.

فحص جميع StCtlVMs:

اتصل بجميع شبكات StCtlVMs وتحقق من المؤشرات التالية، يمكنك إستخدام موبا إكسيمل البرامج.

1. تحقق مما إذا كانت جميع أجهزة StCtlVMs لديها نفس الوقت باستخدام التاريخ أو NTPQ -p. قد يؤدي الانحراف الزمني على StCtlVM إلى حدوث مشاكل في مزامنة قاعدة بيانات برنامج Zookeeper، وبالتالي فمن الأهمية بمكان أن تتم مزامنتها بين كافة StCtlVMs.

- تشير إشارة المرور النجمية لخادم NTP إلى مزامنة NTP الخاص ب SCVM.
root@SpringpathControllerPZTMTRSH7K:~# date

Tue May 28 12:47:27 PDT 2019

root@SpringpathControllerPZTMTRSH7K:~# ntpq -p -4

remote refid st t when poll reach delay offset jitter

==============================================================================

*abcdefghij .GNSS. 1 u 429 1024 377 225.813 -1.436 0.176

2. إذا حدثت APD أثناء الترقية فقد تفكر في التحقق من نوع CtlVMs الذي لم يتم ترقيته بالكامل والتعرف بشكل خاص على آخر عملية فشل. من المحتمل أن يكون هو الذي يحمل ETH1:0 سابقا

- أستخدم dpkg -l | GREP -i springpath للتعرف على StCtlVMs التي لم تتم ترقيتها بشكل كامل حيث أنها ستحتوي على حزم Springpath مختلطة الإصدار.
root@SpringpathControllerPZTMTRSH7K:~# dpkg -l | grep -i springpath

ii storfs-appliance 4.0.1a-33028            amd64 Springpath Appliance

ii storfs-asup 4.0.1a-33028                 amd64 Springpath ASUP and SCH

ii storfs-core 4.0.1a-33028                 amd64 Springpath Distributed Filesystem

ii storfs-fw 4.0.1a-33028                   amd64 Springpath Appliance

ii storfs-mgmt 4.0.1a-33028                 amd64 Springpath Management Software

ii storfs-mgmt-cli 4.0.1a-33028             amd64 Springpath Management Software

ii storfs-mgmt-hypervcli 4.0.1a-33028       amd64 Springpath Management Software

ii storfs-mgmt-ui 4.0.1a-33028              amd64 Springpath Management UI Module

ii storfs-mgmt-vcplugin 4.0.1a-33028        amd64 Springpath Management UI and vCenter Plugin

ii storfs-misc 4.0.1a-33028                 amd64 Springpath Configuration

ii storfs-pam 4.0.1a-33028                  amd64 Springpath PAM related modules

ii storfs-replication-services 4.0.1a-33028 amd64 Springpath Replication Services

ii storfs-restapi 4.0.1a-33028              amd64 Springpath REST Api's

ii storfs-robo 4.0.1a-33028                 amd64 Springpath Appliance

ii storfs-support 4.0.1a-33028              amd64 Springpath Support

ii storfs-translations 4.0.1a-33028         amd64 Springpath Translations

3. تحقق مما إذا كانت جميع الخدمات ذات الصلة قيد التشغيل service_status.sh:

- بعض الخدمات الرئيسية هي Springpath File System (STORFS) أو عميل SCVM (SCVMclient) أو خدمة إدارة النظام (stMGR) أومراقبة IP لنظام المجموعة (CIP-Monitor).
root@SpringpathController5L0GTCR8SA:~# service_status.sh

Springpath File System                 ... Running

SCVM Client                            ... Running

System Management Service              ... Running

HyperFlex Connect Server               ... Running

HyperFlex Platform Agnostic Service    ... Running

HyperFlex HyperV Service               ... Not Running

HyperFlex Connect WebSocket Server     ... Running

Platform Service                       ... Running

Replication Services                   ... Running

Data Service                           ... Running

Cluster IP Monitor                     ... Running

Replication Cluster IP Monitor         ... Running

Single Sign On Manager                 ... Running

Stats Cache Service                    ... Running

Stats Aggregator Service               ... Running

Stats Listener Service                 ... Running

Cluster Manager Service                ... Running

Self Encrypting Drives Service         ... Not Running

Event Listener Service                 ... Running

HX Device Connector                    ... Running

Web Server                             ... Running

Reverse Proxy Server                   ... Running

Job Scheduler                          ... Running

DNS and Name Server Service            ... Running

Stats Web Server                       ... Running

4. إذا لم يتم تشغيل أي من هذه الخدمات أو غيرها من الخدمات ذات الصلة، ابدأ إستخدام <serviceName>eg:ابدأ تخزين

- يمكنك الرجوع إلى البرنامج النصي service_status.sh للحصول على أسماء الخدمات . قم بإجراء عملية نصب تذكاري -n25 /bin/service_status.sh وحدد الاسم الحقيقي للخدمة.
root@SpringpathController5L0GTCR8SA:~# head -n25 /bin/service_status.sh

#!/bin/bash

declare -a upstart_services=("Springpath File System:storfs"\

"SCVM Client:scvmclient"\

"System Management Service:stMgr"\

"HyperFlex Connect Server:hxmanager"\

"HyperFlex Platform Agnostic Service:hxSvcMgr"\

"HyperFlex HyperV Service:hxHyperVSvcMgr"\

"HyperFlex Connect WebSocket Server:zkupdates"\

"Platform Service:stNodeMgr"\

"Replication Services:replsvc"\

"Data Service:stDataSvcMgr"\

"Cluster IP Monitor:cip-monitor"\

"Replication Cluster IP Monitor:repl-cip-monitor"\

"Single Sign On Manager:stSSOMgr"\

"Stats Cache Service:carbon-cache"\

"Stats Aggregator Service:carbon-aggregator"\

"Stats Listener Service:statsd"\

"Cluster Manager Service:exhibitor"\

"Self Encrypting Drives Service:sedsvc"\

"Event Listener Service:storfsevents"\

"HX Device Connector:hx_device_connector");

declare -a other_services=("Web Server:tomcat8"\

"Reverse Proxy Server:nginx"\

"Job Scheduler:cron"\

"DNS and Name Server Service:resolvconf");

5. حدد أي STctlVM يحتوي على مجموعة التخزين IP (ETH1:0) باستخدام ifconfig -a

- إذا لم يحتوي StCtlVM على IP، فمن المحتمل أن وحدات التخزين لا تعمل على عقدة واحدة أو أكثر.
root@help:~# ifconfig

eth0:mgmtip Link encap:Ethernet HWaddr 00:50:56:8b:4c:90

inet addr:10.197.252.83 Bcast:10.197.252.95 Mask:255.255.255.224

UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1

6. تحقق مما إذا كان StCtlVM على اتصال ب CRMMaster وما إذا كانت خدمة Zookeeper قيد التشغيل أم لا

- صدى صدى | NC localhost 2181 وتحقق مما إذا كان الوضع هو Leader أو Follow أو Standalone وإذا كانت الاتصالات > 0
root@help:~# echo srvr | nc localhost 2181

Zookeeper version: 3.4.12-d708c3f034468a4da767791110332281e04cf6af, built on 11/19/2018 21:16 GMT

Latency min/avg/max: 0/0/137

Received: 229740587

Sent: 229758548

Connections: 13

Outstanding: 0

Zxid: 0x140000526c

Mode: leader

Node count: 3577

- حالة عارض الخدمات أو PS-EF | GREP -i العارض
root@help:~# service exhibitor status

exhibitor start/running, process 12519

root@help:~# ps -ef | grep -i exhibitor

root 9765 9458 0 13:19 pts/14 00:00:00 grep --color=auto -i exhibitor

root 12519 1 0 May19 ? 00:05:49 exhibitor

- في حالة حدوث أي خطأ أو عدم تشغيل الخدمة، يمكنك التحقق من السجلات أدناه ومحاولة بدء تشغيل خدمة Zookeeper

- /var/log/springpath/exhibitor.log و /var/log/springpath/stMgr.log

- العارض يبدأ في تشغيل خدمة حارس الحيوان

7. التحقق من إمكانية الوصول إلى VC من جميع StCtlVMs

- معلومات نظام المجموعة STCLI | grep -i "url" لإظهار عنوان URL المستخدم الذي يحتوي على FQDN أو IP الخاص ب VC. التحقق من الاتصال ب VC باستخدام إختبار الاتصال <VC>
root@help:~# stcli cluster info | grep -i "url"

vCenterUrl: https://10.197.252.101

vCenterURL: 10.197.252.101

root@help:~# ping 10.197.252.101

PING 10.197.252.101 (10.197.252.101) 56(84) bytes of data.

64 bytes from 10.197.252.101: icmp_seq=1 ttl=64 time=0.435 ms

8. تأكيد ما إذا كان DNS قابلا للوصول في حالة نظام المجموعة باستخدام FQDN

- يظهر STCLI Services DNS لسرد الخوادم التي تم تكوينها ل DNS على StCtlVM. إختبار الاتصال والدقة بخوادم DNS باستخدام إختبار الاتصال <DNS_IP>والمضيف <FQDN> <DNS_IP>
root@help:~# stcli services dns show

1.1.128.140

root@help:~# ping 1.1.128.140

PING 1.1.128.140 (1.1.128.140) 56(84) bytes of data.

64 bytes from 1.1.128.140: icmp_seq=1 ttl=244 time=1.82 ms

9. تأكيد ما إذا كانت كافة StCtlVMs تحتوي على نفس مقدار إدخالات IPTABLES: iptables -L | wc -l. في حالة عدم التطابق، يرجى فتح حالة مركز المساعدة الفنية.

- root@SpringpathControllerI51U7U6QZX:~# iptables -L | wc -l

48

10. ما هي حالة المجموعة وصحتها الحالية

- معلومات نظام المجموعة STCLI | معلومات نظام المجموعة الأقل أو الأقل | GREP -i "نشط\|الحالة\|غير متوفر" إذا حاولت العثور على العقد المحددة التي تظهر مع عدم توفر التخزين.
root@SpringpathControllerI51U7U6QZX:~# stcli cluster info | grep -i "active\|state\|unavailable"

locale: English (United States)

state: online

upgradeState: ok

healthState: healthy

state: online

state: 1

activeNodes: 3

state: online

- ملخص تخزين مجموعة STCLI —تفاصيل للحصول على تفاصيل نظام التخزين
root@SpringpathControllerI51U7U6QZX:~# stcli cluster storage-summary --detail

address: 10.197.252.106

name: HX-Demo

state: online

uptime: 185 days 12 hours 48 minutes 42 seconds

activeNodes: 3 of 3

compressionSavings: 85.45%

deduplicationSavings: 0.0%

freeCapacity: 4.9T

healingInfo:

inProgress: False

resiliencyDetails:

current ensemble size:3

# of caching failures before cluster shuts down:3

minimum cache copies remaining:3

minimum data copies available for some user data:3

minimum metadata copies available for cluster metadata:3

# of unavailable nodes:0

# of nodes failure tolerable for cluster to be available:1

health state reason:storage cluster is healthy.

# of node failures before cluster shuts down:3

# of node failures before cluster goes into readonly:3

# of persistent devices failures tolerable for cluster to be available:2

# of node failures before cluster goes to enospace warn trying to move the existing data:na

# of persistent devices failures before cluster shuts down:3

# of persistent devices failures before cluster goes into readonly:3

# of caching failures before cluster goes into readonly:na

# of caching devices failures tolerable for cluster to be available:2

resiliencyInfo:

messages:

Storage cluster is healthy.

state: 1

nodeFailuresTolerable: 1

cachingDeviceFailuresTolerable: 2

persistentDeviceFailuresTolerable: 2

zoneResInfoList: None

spaceStatus: normal

totalCapacity: 5.0T

totalSavings: 85.45%

usedCapacity: 85.3G

zkHealth: online

clusterAccessPolicy: lenient

dataReplicationCompliance: compliant

dataReplicationFactor: 3

11. ما هي مخططات البيانات التي يتم تحميلها وتوافرها

- root@bsv-hxaf220m5-sc-4-3:~# stcli datastore list

----------------------------------------

virtDatastore:

status:

EntityRef(idtype=None, confignum=None, type=6, id='235ea35f-6c85-9448-bec7-06f03b5adf16', name='bsv-hxaf220m5-hv-4-3.cisco.com'):

accessible: True

mounted: True

EntityRef(idtype=None, confignum=None, type=6, id='d124203c-3d9a-ba40-a229-4dffbe96ae13', name='bsv-hxaf220m5-hv-4-2.cisco.com'):

accessible: True

mounted: True

EntityRef(idtype=None, confignum=None, type=6, id='e85f1980-b3c7-a440-9f1e-20d7a1110ae6', name='bsv-hxaf220m5-hv-4-1.cisco.com'):

accessible: True

mounted: True

12. في حالة ما إذا كانت أوامر STCLI تستغرق وقتا طويلا جدا أو إذا فشلت فقد تقوم بتجربة أوامر sysmtool التالية(لا تستخدم إذا كان STCLI يعمل)

1. SYSMTOOL —مجموعة ns — معلومات cmd

2. SYSMTOOL — مجموعة ns — تفاصيل صحية cmd

3. sysmtool —ns datastore— قائمة cmd

STctlVM: برنامج STctlVM لمضيف ESXi متضرر

الاتصال بمضيف StCtlVM الخاص بمضيف ESXi المتضرر

1. تحقق من الاتصال ب IP الخاص بمجموعة التخزين (ETH1:0) وبالخوادم الأخرى على شبكة التخزين (ETH1 على StCtlVMs)

- تشغيل معلومات نظام المجموعة STCLI | GREP -i -b 1 "stctl\|hypervisor" للتعرف على جميع عناوين IP الخاصة بإدارة ESXi و StCtlVM0 (Mgmt) و StCtlVM ETH1 (بيانات التخزين) المشاركة في نظام المجموعة على التوالي

- اختبر الاتصال ping -I th1 [-M do -S 8972] <عنوان IP الهدف>، واختبار الإطارات الكبيرة بين ESXI VMK1 و SCVM ETH1.

2. إذا لم يتم تحديد المشكلة بعد، فقد تقوم بالنظر في السجلات التالية

- /var/log/springpath/debug-storfs.log

- تحقق من وجود أي ذعر أو عطل في المقطع أو أحداث خطيرة - ai "التجزئة\|حرج\|ذعر" debug-storfs.log

- /var/log/springpath/stmgr.log

- تحقق ما إذا كانت مشكلة نفاد الذاكرة موجودة GREP -i "OOM\|خارج نطاق الذاكرة" /var/log/kern.log

3. في نهاية المطاف، قد تحاول إعادة تمهيد StCtlVM الخاص بالعقدة التي لا تزال تواجه المشكلة والتحقق من إستمرار المشكلة.

عمليات الفحص في مضيف ESXi:

يمكنك الاتصال بمضيف ESXi متأثر عبر بروتوكول SSH وتنفيذ الإجراءات التالية:

1. قائمة NFS لوحدة التخزين eXCLI أوESXCFG-NAS -l لسرد مخططات بيانات NFS المثبتة حاليا وإذا كان الوصول إليها ممكنا

- [root@bsv-hx220m5-hv-4-3:~] esxcli storage nfs list

Volume Name  Host                                     Share                 Accessible  Mounted  Read-Only   isPE  Hardware Acceleration

-----------  ---------------------------------------  --------------------  ----------  -------  ---------  -----  ---------------------

test         8352040391320713352-8294044827248719091  192.168.4.1:test            true     true      false  false  Supported

sradzevi     8352040391320713352-8294044827248719091  192.168.4.1:sradzevi        true     true      false  false  Supported

[root@bsv-hx220m5-hv-4-3:~] esxcfg-nas -l

test is 192.168.4.1:test from 8352040391320713352-8294044827248719091 mounted available

sradzevi is 192.168.4.1:sradzevi from 8352040391320713352-8294044827248719091 mounted available

- يمكنك أيضا تأكيد من /etc/vmware/esx.conf للتحقق من التناسق في تكوين ESXi على مخططات البيانات التي تم تحميلها على NFS، باستخدام الأمر cat /etc/vmware/esx.conf | GREP -NAS

2. تحقق من /var/log/vmkernel.log وابحث على سبيل المثال عن حالة الفشل أو تحميل المشاكل أو الخطأ حول الطابع الزمني المحدد في الخطوات السابقة

3. التحقق من حالة وكيل IOVisor/NFS/SCVMClient

- التحقق من تشغيل الخدمة على ESXi باستخدام الأمر /etc/init.d/scvmclient status

- [إختياري] يمكنك التحقق من وجود أي إتصالات مفتوحة باستخدام قائمة اتصال IP الخاصة بشبكة eXCLI | GREP -i "proto\|scvmclient"

- تأكيد ما إذا كان SCVMClient VIB هو نفس إصدار نظام مجموعة HX، قائمة الملفات الخاصة ببرنامج Esxcli | GREP -i الربيع

- [root@bsv-hx220m5-hv-4-3:~] esxcli software vib list | grep -i spring

scvmclient                     3.5.1a-31118                         Springpath          VMwareAccepted    2018-12-13

stHypervisorSvc                3.5.1a-31118                         Springpath          VMwareAccepted    2018-12-06

vmware-esx-STFSNasPlugin       1.0.1-21                             Springpath          VMwareAccepted    2018-11-16

- تحقق من /var/log/scvmclient.log لمعرفة ما إذا كانت هناك أية أخطاء موجودة، وهي "تعذر الحصول على خريطة العقد"

- يمكنك إعادة تشغيل خدمة SCVMClient إذا لزم الأمر من خلال etc/init.d/scvmClientStart

4. تحقق من اتصال الشبكة مع أجهزة ESXi المضيفة الأخرى على شبكة VMK1، وخاصة إلى مجموعة التخزين IP ETH1:0

- esxcfg-vmknic -l للحصول على معلومات حول تفاصيل بطاقة واجهة الشبكة (NIC) الخاصة ب VMK، مثل IP والقناع ووحدة الحد الأقصى للنقل (MTU)

- vmkping -i VMK1 [-v -s 8972] -d <عنوان IP الهدف> ل tإمكانية اتصال [بشكل إختياري مع إطارات كبيرة الحجم] بين الأجهزة المضيفة ل ESXi على شبكة بيانات وحدة التحكم

5. يحصل النظام الأساسي للأجهزة ESXcli على SN للخادم الذي يتم إستخدامه على اسم StCtlVm وقد يساعدك على التعرف بسرعة على المضيف الذي يعمل عليه StCtlVM معين.