أستكشاف أخطاء HyperFlex Storage NFS في جميع المسارات المعطلة (APD) وإصلاحها

المقدمة

يمنحك هذا المستند خطوات سريعة للفهم واستكشاف الأخطاء وإصلاحها يمكن تنفيذها من أجل تقييم مصدر المشكلة إذا رأيت رسالة خطأ "NFS لكافة المسارات الموجودة" في vCenter والتي يتم دمج نظام مجموعة HyperFlex بها.

كيف يتم تحميل مخططات بيانات HX على ESXi؟

• يتم تركيب مخططات البيانات HyperFlex على أجهزة ESXi المضيفة أثناء تحميل NFS، ومن أجل تحميل مخزن بيانات NFS، نحتاج إلى عنوان IP لخادم NFS الذي هو في حالتنا الواجهة العائمة الظاهرية ETH1:0.
• تعمل مجموعة HyperFlex على زيادة إستخدام IP العائم الظاهري للإدارة (eth0:mgmtip) وبيانات التخزين (eth1:0) التي سيتم تعيين كل IP عليها إلى جهاز تحكم تخزين vm واحد محدد (StCtlVM). يرجى ملاحظة أن هذه الأجهزة قد تنتهي إلى إستخدام أجهزة StCtlVM مختلفة.
• تكمن أهمية هذا الأمر في أن IP لبيانات تخزين نظام المجموعة (eth1:0) هو المستخدم لتحميل datastore(آت) التي تم إنشاؤها في نظام تجميع HyperFlex. وبالتالي، من الضروري أن يتم تعيينها وإمكانية الوصول إليها من جميع عقد نظام المجموعة.
• الرجاء ملاحظة أنه في حالة فشل StCtlVM الذي يمتلك حاليا بروتوكول IP الظاهري من النوع ETH1:0، يجب أن "يقوم بالترحيل" إلى آخر متوفر وهو StCtlVM يعمل بطريقة مشابهة لبروتوكول FHRP (بروتوكول تكرار الخطوة الأولى).

كل المسارات لأسفل

• تعني APD أن المضيف لا يمكنه الوصول إلى التخزين ولا يوجد رمز SCSI لفقدان الجهاز الدائم (PDL) مرتجع من صفيف التخزين.
• ونظرا لأنها لا تعرف ما إذا كان الفقد مؤقتا أم لا، فسوف تستمر في محاولة إنشاء اتصال لأكثر من 140 ثانية بشكل افتراضي (المهلة) + 3 دقائق (التأخير لتجاوز الفشل) يبدأ مضيف ESXi في فشل أي حركة مرور غير افتراضية للإدخال/الإخراج بالجهاز يتم إرسالها إلى جهاز التخزين.
• لمزيد من التفاصيل حول APD في بيئة vSphere 6.x، ارجع إلى VMware KB Article Permanent Device Loss (PDL) و All-Paths-Down (APD) في vSphere 5.x و 6.x
• توضح الصورة أدناه كل مرحلة متقطعة:

ستكون رسالة الخطأ النموذجية في vCenter كما يلي.

وصف المشكلة

بمجرد مشاهدة تنبيهات APD على الأجهزة المضيفة، قم بالحصول على المعلومات التالية لفهم وصف المشكلة بشكل أفضل:

• إذا تأثرت مضيفة واحدة/عدة/جميع البيئات المضيفة، وإذا تأثرت بعض هذه البيئات المضيفة المحددة
• إذا تم إجراء أي تغييرات مسبقا (التكوين/الترقية/ما إلى ذلك)
• الطابع الزمني الذي يتم عنده ملاحظة المشكلة لأول مرة وإذا كانت المشكلة متكررة

أستكشاف أخطاء سير العمل وإصلاحها

من أجل أستكشاف أخطاء APD وإصلاحها، يجب أن ننظر في 3 مكونات - مضيف vCenter و SCVM و ESXi.

هذه الخطوات هي سير عمل مقترح من أجل تحديد أو تضييق مصدر كل المسارات التي تظهر على الشاشة. يرجى ملاحظة أنه لا يتعين اتباع هذا الطلب بدقة وقد تكفي وفقا للأعراض المحددة التي تلاحظ في بيئة العميل.

عمليات الفحص في خادم vCenter:

قم بالاتصال بخادم vCenter (VCS) وانتقل إلى مضيف متأثر

1. الكائنات ذات الصلة -> الأجهزة الظاهرية وتأكيد أن برنامج StCTLvm يعمل بكفاءة
2. الكائنات ذات الصلة -> مخططات البيانات وتأكيد ما إذا كانت مخططات بيانات NFS تظهر "يتعذر الوصول إليها". إذا كانت مخططات البيانات تبدو قابلة للوصول إليها وحالة يمكن المحاولة على علامة التبويب الملخص إلى "إعادة التعيين إلى Green" لحدث APD والتحقق لاحقا مما إذا كان التنبيه يندفع مرة أخرى لاحقا
3. مدرب -> مشاكل ومدرب -> أحداث يجب أن توفر معلومات حول وقت اكتشاف واجهة برمجة تطبيقات (APD) لأول مرة.

فحص جميع StCtlVMs:

اتصل بجميع شبكات StCtlVMs وتحقق من المؤشرات التالية، يمكنك إستخدام موبا إكسيمل البرامج.

1. تحقق مما إذا كانت جميع أجهزة StCtlVMs لديها نفس الوقت باستخدام التاريخ أو NTPQ -p. قد يؤدي الانحراف الزمني على StCtlVM إلى حدوث مشاكل في مزامنة قاعدة بيانات برنامج Zookeeper، وبالتالي فمن الأهمية بمكان أن تتم مزامنتها بين كافة StCtlVMs.
   • تشير إشارة المرور النجمية لخادم NTP إلى مزامنة NTP الخاص ب SCVM.

     root@SpringpathControllerPZTMTRSH7K:~# date
     Tue May 28 12:47:27 PDT 2019
     
     root@SpringpathControllerPZTMTRSH7K:~# ntpq -p -4
     remote refid st t when poll reach delay offset jitter
     ==============================================================================
     *abcdefghij .GNSS. 1 u 429 1024 377 225.813 -1.436 0.176

2. إذا حدثت APD أثناء الترقية فقد تفكر في التحقق من نوع CtlVMs الذي لم يتم ترقيته بالكامل والتعرف بشكل خاص على آخر عملية فشل. من المحتمل أن يكون هو الذي يحمل ETH1:0 سابقا
   • أستخدم dpkg -l | GREP -i springpath للتعرف على StCtlVMs التي لم تتم ترقيتها بشكل كامل حيث أنها ستحتوي على حزم Springpath مختلطة الإصدار.

     root@SpringpathControllerPZTMTRSH7K:~# dpkg -l | grep -i springpath
     ii storfs-appliance 4.0.1a-33028            amd64 Springpath Appliance
     ii storfs-asup 4.0.1a-33028                 amd64 Springpath ASUP and SCH
     ii storfs-core 4.0.1a-33028                 amd64 Springpath Distributed Filesystem
     ii storfs-fw 4.0.1a-33028                   amd64 Springpath Appliance
     ii storfs-mgmt 4.0.1a-33028                 amd64 Springpath Management Software
     ii storfs-mgmt-cli 4.0.1a-33028             amd64 Springpath Management Software
     ii storfs-mgmt-hypervcli 4.0.1a-33028       amd64 Springpath Management Software
     ii storfs-mgmt-ui 4.0.1a-33028              amd64 Springpath Management UI Module
     ii storfs-mgmt-vcplugin 4.0.1a-33028        amd64 Springpath Management UI and vCenter Plugin
     ii storfs-misc 4.0.1a-33028                 amd64 Springpath Configuration
     ii storfs-pam 4.0.1a-33028                  amd64 Springpath PAM related modules
     ii storfs-replication-services 4.0.1a-33028 amd64 Springpath Replication Services
     ii storfs-restapi 4.0.1a-33028              amd64 Springpath REST Api's
     ii storfs-robo 4.0.1a-33028                 amd64 Springpath Appliance
     ii storfs-support 4.0.1a-33028              amd64 Springpath Support
     ii storfs-translations 4.0.1a-33028         amd64 Springpath Translations

3. تحقق مما إذا كانت جميع الخدمات ذات الصلة قيد التشغيل service_status.sh:
   • بعض الخدمات الرئيسية هي Springpath File System (STORFS) أو عميل SCVM (SCVMclient) أو خدمة إدارة النظام (stMGR) أومراقبة IP لنظام المجموعة (CIP-Monitor).

     root@SpringpathController5L0GTCR8SA:~# service_status.sh
     Springpath File System                 ... Running
     SCVM Client                            ... Running
     System Management Service              ... Running
     HyperFlex Connect Server               ... Running
     HyperFlex Platform Agnostic Service    ... Running
     HyperFlex HyperV Service               ... Not Running
     HyperFlex Connect WebSocket Server     ... Running
     Platform Service                       ... Running
     Replication Services                   ... Running
     Data Service                           ... Running
     Cluster IP Monitor                     ... Running
     Replication Cluster IP Monitor         ... Running
     Single Sign On Manager                 ... Running
     Stats Cache Service                    ... Running
     Stats Aggregator Service               ... Running
     Stats Listener Service                 ... Running
     Cluster Manager Service                ... Running
     Self Encrypting Drives Service         ... Not Running
     Event Listener Service                 ... Running
     HX Device Connector                    ... Running
     Web Server                             ... Running
     Reverse Proxy Server                   ... Running
     Job Scheduler                          ... Running
     DNS and Name Server Service            ... Running
     Stats Web Server                       ... Running

4. إذا لم يتم تشغيل أي من هذه الخدمات أو غيرها من الخدمات ذات الصلة، ابدأ إستخدام <serviceName>eg:ابدأ تخزين
   • يمكنك الرجوع إلى البرنامج النصي service_status.sh للحصول على أسماء الخدمات . قم بإجراء عملية نصب تذكاري -n25 /bin/service_status.sh وحدد الاسم الحقيقي للخدمة. 

     root@SpringpathController5L0GTCR8SA:~# head -n25 /bin/service_status.sh
     #!/bin/bash
     declare -a upstart_services=("Springpath File System:storfs"\
                                  "SCVM Client:scvmclient"\
                                  "System Management Service:stMgr"\
                                  "HyperFlex Connect Server:hxmanager"\
                                  "HyperFlex Platform Agnostic Service:hxSvcMgr"\
                                  "HyperFlex HyperV Service:hxHyperVSvcMgr"\
                                  "HyperFlex Connect WebSocket Server:zkupdates"\
                                  "Platform Service:stNodeMgr"\
                                  "Replication Services:replsvc"\
                                  "Data Service:stDataSvcMgr"\
                                  "Cluster IP Monitor:cip-monitor"\
                                  "Replication Cluster IP Monitor:repl-cip-monitor"\
                                  "Single Sign On Manager:stSSOMgr"\
                                  "Stats Cache Service:carbon-cache"\
                                  "Stats Aggregator Service:carbon-aggregator"\
                                  "Stats Listener Service:statsd"\
                                  "Cluster Manager Service:exhibitor"\
                                  "Self Encrypting Drives Service:sedsvc"\
                                  "Event Listener Service:storfsevents"\
                                  "HX Device Connector:hx_device_connector");
     declare -a other_services=("Web Server:tomcat8"\
                                "Reverse Proxy Server:nginx"\
                                "Job Scheduler:cron"\
                                "DNS and Name Server Service:resolvconf");

5. حدد أي STctlVM يحتوي على مجموعة التخزين IP (ETH1:0) باستخدام ifconfig -a
   • إذا لم يحتوي StCtlVM على IP، فمن المحتمل أن وحدات التخزين لا تعمل على عقدة واحدة أو أكثر.

     root@help:~# ifconfig
     eth0:mgmtip Link encap:Ethernet HWaddr 00:50:56:8b:4c:90
     inet addr:10.197.252.83 Bcast:10.197.252.95 Mask:255.255.255.224
     UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1

6. تحقق مما إذا كان StCtlVM على اتصال ب CRMMaster وما إذا كانت خدمة Zookeeper قيد التشغيل أم لا
   • صدى صدى | NC localhost 2181 وتحقق مما إذا كان الوضع هو Leader أو Follow أو Standalone وإذا كانت الاتصالات > 0  

     root@help:~# echo srvr | nc localhost 2181
     Zookeeper version: 3.4.12-d708c3f034468a4da767791110332281e04cf6af, built on 11/19/2018 21:16 GMT
     Latency min/avg/max: 0/0/137
     Received: 229740587
     Sent: 229758548
     Connections: 13
     Outstanding: 0
     Zxid: 0x140000526c
     Mode: leader
     Node count: 3577

   • حالة عارض الخدمات أو PS-EF | GREP -i العارض

     root@help:~# service exhibitor status
     exhibitor start/running, process 12519
     root@help:~# ps -ef | grep -i exhibitor
     root 9765 9458 0 13:19 pts/14 00:00:00 grep --color=auto -i exhibitor
     root 12519 1 0 May19 ? 00:05:49 exhibitor

   • في حالة حدوث أي خطأ أو عدم تشغيل الخدمة، يمكنك التحقق من السجلات أدناه ومحاولة بدء تشغيل خدمة Zookeeper

     • /var/log/springpath/exhibitor.log و /var/log/springpath/stMgr.log

     • العارض يبدأ في تشغيل خدمة حارس الحيوان
7. التحقق من إمكانية الوصول إلى VC من جميع StCtlVMs
   • معلومات نظام المجموعة STCLI | grep -i "url" لإظهار عنوان URL المستخدم الذي يحتوي على FQDN أو IP الخاص ب VC. التحقق من الاتصال ب VC باستخدام إختبار الاتصال <VC>

     root@help:~# stcli cluster info | grep -i "url"
     vCenterUrl: https://10.197.252.101
     vCenterURL: 10.197.252.101
     root@help:~# ping 10.197.252.101
     PING 10.197.252.101 (10.197.252.101) 56(84) bytes of data.
     64 bytes from 10.197.252.101: icmp_seq=1 ttl=64 time=0.435 ms

8. تأكيد ما إذا كان DNS قابلا للوصول في حالة نظام المجموعة باستخدام FQDN
   • يظهر STCLI Services DNS لسرد الخوادم التي تم تكوينها ل DNS على StCtlVM. إختبار الاتصال والدقة بخوادم DNS باستخدام إختبار الاتصال <DNS_IP>والمضيف <FQDN> <DNS_IP>

     root@help:~# stcli services dns show
     1.1.128.140
     root@help:~# ping 1.1.128.140
     PING 1.1.128.140 (1.1.128.140) 56(84) bytes of data.
     64 bytes from 1.1.128.140: icmp_seq=1 ttl=244 time=1.82 ms

9. تأكيد ما إذا كانت كافة StCtlVMs تحتوي على نفس مقدار إدخالات IPTABLES: iptables -L | wc -l. في حالة عدم التطابق، يرجى فتح حالة مركز المساعدة الفنية.

   • root@SpringpathControllerI51U7U6QZX:~# iptables -L | wc -l
     48

10. ما هي حالة المجموعة وصحتها الحالية
    • معلومات نظام المجموعة STCLI | معلومات نظام المجموعة الأقل أو الأقل | GREP -i "نشط\|الحالة\|غير متوفر" إذا حاولت العثور على العقد المحددة التي تظهر مع عدم توفر التخزين.

      root@SpringpathControllerI51U7U6QZX:~# stcli cluster info | grep -i "active\|state\|unavailable"
      locale: English (United States)
      state: online
      upgradeState: ok
      healthState: healthy
      state: online
      state: 1
      activeNodes: 3
      state: online

    • ملخص تخزين مجموعة STCLI —تفاصيل للحصول على تفاصيل نظام التخزين

      root@SpringpathControllerI51U7U6QZX:~# stcli cluster storage-summary --detail
      address: 10.197.252.106
      name: HX-Demo
      state: online
      uptime: 185 days 12 hours 48 minutes 42 seconds
      activeNodes: 3 of 3
      compressionSavings: 85.45%
      deduplicationSavings: 0.0%
      freeCapacity: 4.9T
      healingInfo:
      inProgress: False
      resiliencyDetails:
      current ensemble size:3
      # of caching failures before cluster shuts down:3
      minimum cache copies remaining:3
      minimum data copies available for some user data:3
      minimum metadata copies available for cluster metadata:3
      # of unavailable nodes:0
      # of nodes failure tolerable for cluster to be available:1
      health state reason:storage cluster is healthy.
      # of node failures before cluster shuts down:3
      # of node failures before cluster goes into readonly:3
      # of persistent devices failures tolerable for cluster to be available:2
      # of node failures before cluster goes to enospace warn trying to move the existing data:na
      # of persistent devices failures before cluster shuts down:3
      # of persistent devices failures before cluster goes into readonly:3
      # of caching failures before cluster goes into readonly:na
      # of caching devices failures tolerable for cluster to be available:2
      resiliencyInfo:
      messages:
      Storage cluster is healthy.
      state: 1
      nodeFailuresTolerable: 1
      cachingDeviceFailuresTolerable: 2
      persistentDeviceFailuresTolerable: 2
      zoneResInfoList: None
      spaceStatus: normal
      totalCapacity: 5.0T
      totalSavings: 85.45%
      usedCapacity: 85.3G
      zkHealth: online
      clusterAccessPolicy: lenient
      dataReplicationCompliance: compliant
      dataReplicationFactor: 3

11. ما هي مخططات البيانات التي يتم تحميلها وتوافرها

    • root@bsv-hxaf220m5-sc-4-3:~# stcli datastore list
      ----------------------------------------
      virtDatastore:
          status:
              EntityRef(idtype=None, confignum=None, type=6, id='235ea35f-6c85-9448-bec7-06f03b5adf16', name='bsv-hxaf220m5-hv-4-3.cisco.com'):
                  accessible: True
                  mounted: True
              EntityRef(idtype=None, confignum=None, type=6, id='d124203c-3d9a-ba40-a229-4dffbe96ae13', name='bsv-hxaf220m5-hv-4-2.cisco.com'):
                  accessible: True
                  mounted: True
              EntityRef(idtype=None, confignum=None, type=6, id='e85f1980-b3c7-a440-9f1e-20d7a1110ae6', name='bsv-hxaf220m5-hv-4-1.cisco.com'):
                  accessible: True
                  mounted: True

12. في حالة ما إذا كانت أوامر STCLI تستغرق وقتا طويلا جدا أو إذا فشلت فقد تقوم بتجربة أوامر sysmtool التالية(لا تستخدم إذا كان STCLI يعمل)
    1. SYSMTOOL —مجموعة ns — معلومات cmd 
    2. SYSMTOOL — مجموعة ns — تفاصيل صحية cmd 
    3. sysmtool —ns datastore— قائمة cmd 

STctlVM: برنامج STctlVM لمضيف ESXi متضرر

الاتصال بمضيف StCtlVM الخاص بمضيف ESXi المتضرر 

1. تحقق من الاتصال ب IP الخاص بمجموعة التخزين (ETH1:0) وبالخوادم الأخرى على شبكة التخزين (ETH1 على StCtlVMs)
   
   • تشغيل معلومات نظام المجموعة STCLI | GREP -i -b 1 "stctl\|hypervisor" للتعرف على جميع عناوين IP الخاصة بإدارة ESXi و StCtlVM0 (Mgmt) و StCtlVM ETH1 (بيانات التخزين) المشاركة في نظام المجموعة على التوالي
   • اختبر الاتصال ping -I th1 [-M do -S 8972] <عنوان IP الهدف>، واختبار الإطارات الكبيرة بين ESXI VMK1 و SCVM ETH1.
2. إذا لم يتم تحديد المشكلة بعد، فقد تقوم بالنظر في السجلات التالية
   • /var/log/springpath/debug-storfs.log
     • تحقق من وجود أي ذعر أو عطل في المقطع أو أحداث خطيرة - ai "التجزئة\|حرج\|ذعر" debug-storfs.log
   • /var/log/springpath/stmgr.log

   • تحقق ما إذا كانت مشكلة نفاد الذاكرة موجودة GREP -i "OOM\|خارج نطاق الذاكرة" /var/log/kern.log

3. في نهاية المطاف، قد تحاول إعادة تمهيد StCtlVM الخاص بالعقدة التي لا تزال تواجه المشكلة والتحقق من إستمرار المشكلة.

عمليات الفحص في مضيف ESXi:

يمكنك الاتصال بمضيف ESXi متأثر عبر بروتوكول SSH وتنفيذ الإجراءات التالية:

1. قائمة NFS لوحدة التخزين eXCLI أوESXCFG-NAS -l لسرد مخططات بيانات NFS المثبتة حاليا وإذا كان الوصول إليها ممكنا

   • [root@bsv-hx220m5-hv-4-3:~] esxcli storage nfs list
     Volume Name  Host                                     Share                 Accessible  Mounted  Read-Only   isPE  Hardware Acceleration
     -----------  ---------------------------------------  --------------------  ----------  -------  ---------  -----  ---------------------
     test         8352040391320713352-8294044827248719091  192.168.4.1:test            true     true      false  false  Supported
     sradzevi     8352040391320713352-8294044827248719091  192.168.4.1:sradzevi        true     true      false  false  Supported
     [root@bsv-hx220m5-hv-4-3:~] esxcfg-nas -l
     test is 192.168.4.1:test from 8352040391320713352-8294044827248719091 mounted available
     sradzevi is 192.168.4.1:sradzevi from 8352040391320713352-8294044827248719091 mounted available

   • يمكنك أيضا تأكيد من /etc/vmware/esx.conf للتحقق من التناسق في تكوين ESXi على مخططات البيانات التي تم تحميلها على NFS، باستخدام الأمر cat /etc/vmware/esx.conf | GREP -NAS
2. تحقق من /var/log/vmkernel.log وابحث على سبيل المثال عن حالة الفشل أو تحميل المشاكل أو الخطأ حول الطابع الزمني المحدد في الخطوات السابقة
3. التحقق من حالة وكيل IOVisor/NFS/SCVMClient
   • التحقق من تشغيل الخدمة على ESXi باستخدام الأمر /etc/init.d/scvmclient status
     • [إختياري] يمكنك التحقق من وجود أي إتصالات مفتوحة باستخدام قائمة اتصال IP الخاصة بشبكة eXCLI | GREP -i "proto\|scvmclient"
   • تأكيد ما إذا كان SCVMClient VIB هو نفس إصدار نظام مجموعة HX، قائمة الملفات الخاصة ببرنامج Esxcli | GREP -i الربيع

     • [root@bsv-hx220m5-hv-4-3:~] esxcli software vib list | grep -i spring
       scvmclient                     3.5.1a-31118                         Springpath          VMwareAccepted    2018-12-13
       stHypervisorSvc                3.5.1a-31118                         Springpath          VMwareAccepted    2018-12-06
       vmware-esx-STFSNasPlugin       1.0.1-21                             Springpath          VMwareAccepted    2018-11-16

   • تحقق من /var/log/scvmclient.log لمعرفة ما إذا كانت هناك أية أخطاء موجودة، وهي "تعذر الحصول على خريطة العقد"
   • يمكنك إعادة تشغيل خدمة SCVMClient إذا لزم الأمر من خلال etc/init.d/scvmClientStart
     

4. تحقق من اتصال الشبكة مع أجهزة ESXi المضيفة الأخرى على شبكة VMK1، وخاصة إلى مجموعة التخزين IP ETH1:0

   • esxcfg-vmknic -l للحصول على معلومات حول تفاصيل بطاقة واجهة الشبكة (NIC) الخاصة ب VMK، مثل IP والقناع ووحدة الحد الأقصى للنقل (MTU)

   • vmkping -i VMK1 [-v -s 8972] -d <عنوان IP الهدف> ل tإمكانية اتصال [بشكل إختياري مع إطارات كبيرة الحجم] بين الأجهزة المضيفة ل ESXi على شبكة بيانات وحدة التحكم
5. يحصل النظام الأساسي للأجهزة ESXcli على SN للخادم الذي يتم إستخدامه على اسم StCtlVm وقد يساعدك على التعرف بسرعة على المضيف الذي يعمل عليه StCtlVM معين.