Inhoud

Inleiding

Hoe worden HX Datastores op ESXI gezet?

Alle paden omlaag

Beschrijving van probleem

Werkstroom voor probleemoplossing

Controles in vCenter Server:

Controles in alle StCtlVMs:

StCtlVM: StCtlVM van een aangetaste ESXi-host

Controles in ESXi-host:

Inleiding

Dit document geeft u snel begrip en probleemoplossing stappen die kunnen worden uitgevoerd om de bron van het probleem te beoordelen als u "NFS alle paden onderaan"-foutmelding in vCenter ziet waarin Hyperflex-cluster is geïntegreerd.

Hoe worden HX Datastores op ESXI gezet?

- Hyperflex Datastores worden als NFS-montage op de ESXI-hosts gemonteerd, om een NFS-datastore te kunnen installeren, hebben we de NFS Server IP nodig, wat in ons geval de eth1:0 virtuele drijvende interface is.

- Hyperflex-cluster benut het gebruik van virtuele zwevende IP zowel voor het beheer (eth0:mtip) als voor opslaggegevens (eth1:0) waarop elke IP wordt toegewezen aan één specifieke opslagcontroller VM (StCtlVM). Merk op dat ze in verschillende StCtlVM's kunnen eindigen.

- Het belang hiervan is dat de IP-opslaggegevens van het cluster (eth1:0) dezelfde zijn die worden gebruikt om de datastore(en) te monteren die in het Hyperflex-cluster is gecreëerd. Het is dus van essentieel belang dat het toegewezen en bereikbaar is vanaf alle knooppunten van de cluster.

- Als de StCtlVM, die momenteel de virtuele IP van eth1:0 bezit, niet functioneert, moet zij "migreren" naar een andere beschikbare StCtlVM die op dezelfde manier werkt als een FHRP (First Hop Redundancy Protocol).

Alle paden omlaag

- APD betekent dat de host de opslag niet kan bereiken en dat er geen PDL-SCSI (Permanent Apparaatverlies) is dat uit de opslagarray wordt teruggegeven.

- Aangezien de bank niet weet of het verlies tijdelijk of niet is, zal zij blijven proberen om communicatie voor meer 140s standaard (timeout) + 3min (Vertraging voor failover) in te stellen dat de ESXi Host elk niet-virtueel machine I/O-verkeer dat naar het opslagapparaat wordt verzonden, begint te begeven.

- Raadpleeg voor meer informatie over APD in vSphere 6.x-omgeving een artikel in Vmware KB over permanent apparaatverlies (PDL) en All-Paths-Down (APD) in vSphere 5.x en 6.x

- Op de afbeelding staat elke intermitterende fase:

Er verschijnt een typische foutmelding in vCenter.

Beschrijving van probleem

Zodra u APD-waarschuwingen op uw hosts ziet, dient u de volgende informatie te verkrijgen om de probleembeschrijving beter te begrijpen:

- Als één/meerdere/alle gastheren beïnvloedde en als sommige van die specifieke gastheren beïnvloedden

- Indien wijzigingen eerder zijn uitgevoerd (configuratie/upgrade/enz.)

- De tijdstempel op het moment dat het probleem voor het eerst werd waargenomen en of het probleem zich opnieuw voordoet

Werkstroom voor probleemoplossing

Om een APD voor probleemoplossing te kunnen oplossen moeten we 3 componenten bekijken - vCenter, SCVM en ESXi host.

Deze stappen zijn een suggereerde werkschema om de bron van het waargenomen Alle Paden Down symptoom vast te stellen of te vernauwen. Let erop dat deze opdracht niet nauwkeurig hoeft te worden gevolgd en u kunt deze aanpassen aan de hand van de specifieke symptomen die in de omgeving van de klant zijn waargenomen.

Controles in vCenter Server:

Connect met vCenter Server (VCS) en navigeer naar een getroffen host

1. Verwante objecten -> Virtuele machines en bevestig dat StCtlVM actief is

2. Gerelateerde objecten -> Datastores en bevestig of NFS-datastores "ontoegankelijk" tonen. Als datastores toegankelijk lijken te zijn en status kunt u proberen op het tabblad Summary om de APD-gebeurtenis "Reset to Green" te zetten en later controleren of de melding later terugverschijnt

3. Monitor -> Problemen en monitor -> Evenementen dienen informatie te bevatten over het moment dat de APD voor het eerst wordt gespot.

Controles in alle StCtlVMs:

Aansluiten op alle StCtlVM’s en de volgende items controleren, kunt u gebruiken MobaXterm in Cisco IOS®-software.

1. Controleer of alle StCtlVMs dezelfde tijd hebben met gebruik van date of ntpq-p. Een tijdscheefheid op StCtlVM kan leiden tot problemen met een zoökeeper database sync en daarom is het van het grootste belang om deze sync te hebben voor alle StCtlVM's.

- De striktere gebarentaal informatie van de ntp server geeft aan dat de NTP van uw SCVM is gesynchroniseerd.
root@SpringpathControllerPZTMTRSH7K:~# date

Tue May 28 12:47:27 PDT 2019

root@SpringpathControllerPZTMTRSH7K:~# ntpq -p -4

remote refid st t when poll reach delay offset jitter

==============================================================================

*abcdefghij .GNSS. 1 u 429 1024 377 225.813 -1.436 0.176

2. Als APD tijdens een upgrade is opgetreden kunt u overwegen om te controleren welke StCtlVMs niet volledig zijn bijgewerkt en met name welke volledig is mislukt. Het is mogelijk dat het de firma was die voorheen de eth1:0 vasthield

- Gebruik dpkg -l | grep -i springpath om de StCtlVM's te identificeren die niet volledig zijn aangepast, aangezien zij gemengde verzetpakketten hebben.
root@SpringpathControllerPZTMTRSH7K:~# dpkg -l | grep -i springpath

ii storfs-appliance 4.0.1a-33028            amd64 Springpath Appliance

ii storfs-asup 4.0.1a-33028                 amd64 Springpath ASUP and SCH

ii storfs-core 4.0.1a-33028                 amd64 Springpath Distributed Filesystem

ii storfs-fw 4.0.1a-33028                   amd64 Springpath Appliance

ii storfs-mgmt 4.0.1a-33028                 amd64 Springpath Management Software

ii storfs-mgmt-cli 4.0.1a-33028             amd64 Springpath Management Software

ii storfs-mgmt-hypervcli 4.0.1a-33028       amd64 Springpath Management Software

ii storfs-mgmt-ui 4.0.1a-33028              amd64 Springpath Management UI Module

ii storfs-mgmt-vcplugin 4.0.1a-33028        amd64 Springpath Management UI and vCenter Plugin

ii storfs-misc 4.0.1a-33028                 amd64 Springpath Configuration

ii storfs-pam 4.0.1a-33028                  amd64 Springpath PAM related modules

ii storfs-replication-services 4.0.1a-33028 amd64 Springpath Replication Services

ii storfs-restapi 4.0.1a-33028              amd64 Springpath REST Api's

ii storfs-robo 4.0.1a-33028                 amd64 Springpath Appliance

ii storfs-support 4.0.1a-33028              amd64 Springpath Support

ii storfs-translations 4.0.1a-33028         amd64 Springpath Translations

3. Controleer of alle relevante services actief zijn op service_status.sh:

- Een aantal van de belangrijkste services zijn Springpath File System (opslagsystemen), SCVM Client (scvmclient), System Management Service (stMgr) of Cluster IP Monitor (CIP-monitor).
root@SpringpathController5L0GTCR8SA:~# service_status.sh

Springpath File System                 ... Running

SCVM Client                            ... Running

System Management Service              ... Running

HyperFlex Connect Server               ... Running

HyperFlex Platform Agnostic Service    ... Running

HyperFlex HyperV Service               ... Not Running

HyperFlex Connect WebSocket Server     ... Running

Platform Service                       ... Running

Replication Services                   ... Running

Data Service                           ... Running

Cluster IP Monitor                     ... Running

Replication Cluster IP Monitor         ... Running

Single Sign On Manager                 ... Running

Stats Cache Service                    ... Running

Stats Aggregator Service               ... Running

Stats Listener Service                 ... Running

Cluster Manager Service                ... Running

Self Encrypting Drives Service         ... Not Running

Event Listener Service                 ... Running

HX Device Connector                    ... Running

Web Server                             ... Running

Reverse Proxy Server                   ... Running

Job Scheduler                          ... Running

DNS and Name Server Service            ... Running

Stats Web Server                       ... Running

4. Als een van deze of andere relevante service niet op uw computer is gestart, start de service met <serviceName>bijvoorbeeld:start opslagapparaten

- U kunt het Service_status.sh script gebruiken om de servicenamen te krijgen. Voer een kop-n25 /bin/service_status.sh uit en identificeer de echte servicenaam.
root@SpringpathController5L0GTCR8SA:~# head -n25 /bin/service_status.sh

#!/bin/bash

declare -a upstart_services=("Springpath File System:storfs"\

"SCVM Client:scvmclient"\

"System Management Service:stMgr"\

"HyperFlex Connect Server:hxmanager"\

"HyperFlex Platform Agnostic Service:hxSvcMgr"\

"HyperFlex HyperV Service:hxHyperVSvcMgr"\

"HyperFlex Connect WebSocket Server:zkupdates"\

"Platform Service:stNodeMgr"\

"Replication Services:replsvc"\

"Data Service:stDataSvcMgr"\

"Cluster IP Monitor:cip-monitor"\

"Replication Cluster IP Monitor:repl-cip-monitor"\

"Single Sign On Manager:stSSOMgr"\

"Stats Cache Service:carbon-cache"\

"Stats Aggregator Service:carbon-aggregator"\

"Stats Listener Service:statsd"\

"Cluster Manager Service:exhibitor"\

"Self Encrypting Drives Service:sedsvc"\

"Event Listener Service:storfsevents"\

"HX Device Connector:hx_device_connector");

declare -a other_services=("Web Server:tomcat8"\

"Reverse Proxy Server:nginx"\

"Job Scheduler:cron"\

"DNS and Name Server Service:resolvconf");

5. Identificeer welke StCtlVM de storage cluster IP (eth1:0) bevat met behulp van iffig -a

- Als geen StCtlVM die IP bevat, kunnen de opslaglocaties niet op één of meer knooppunten actief zijn.
root@help:~# ifconfig

eth0:mgmtip Link encap:Ethernet HWaddr 00:50:56:8b:4c:90

inet addr:10.197.252.83 Bcast:10.197.252.95 Mask:255.255.255.224

UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1

6. Controleer of StCtlVM in contact is met CRMaster en of zoökeeper service operationeel is

- echo-srvr | nc localhost 2181 en controleer of de modus Leader, Follower of Standalone is en of de verbindingen > 0
root@help:~# echo srvr | nc localhost 2181

Zookeeper version: 3.4.12-d708c3f034468a4da767791110332281e04cf6af, built on 11/19/2018 21:16 GMT

Latency min/avg/max: 0/0/137

Received: 229740587

Sent: 229758548

Connections: 13

Outstanding: 0

Zxid: 0x140000526c

Mode: leader

Node count: 3577

- status van of ps -ef | grip-i exposant
root@help:~# service exhibitor status

exhibitor start/running, process 12519

root@help:~# ps -ef | grep -i exhibitor

root 9765 9458 0 13:19 pts/14 00:00:00 grep --color=auto -i exhibitor

root 12519 1 0 May19 ? 00:05:49 exhibitor

- Als er een fout of geen service wordt uitgevoerd, kunt u de onderstaande stammen controleren en proberen de dierentuin-service te starten

- /var/log/springpath/exhibitor.log en /var/log/springpath/stMgr.log

- exposant start dierentuin

7. Controleer of VC van alle StCtlVMs bereikbaar is

- stcli-cluster info | grep -i "url" om de gebruikte URL weer te geven die FQDN of IP van VC bevat. Controleer de connectiviteit aan VC met ping <VC>
root@help:~# stcli cluster info | grep -i "url"

vCenterUrl: https://10.197.252.101

vCenterURL: 10.197.252.101

root@help:~# ping 10.197.252.101

PING 10.197.252.101 (10.197.252.101) 56(84) bytes of data.

64 bytes from 10.197.252.101: icmp_seq=1 ttl=64 time=0.435 ms

8. Bevestig of DNS bereikbaar is in het geval van cluster met FQDN

- stcli services dns tonen aan dat de DNS-geconfigureerde servers op StCtlVM moeten worden vermeld. Test connectiviteit en resolutie op DNS-servers met ping <DNS_IP>en host <FQDN> <DNS_IP>
root@help:~# stcli services dns show

1.1.128.140

root@help:~# ping 1.1.128.140

PING 1.1.128.140 (1.1.128.140) 56(84) bytes of data.

64 bytes from 1.1.128.140: icmp_seq=1 ttl=244 time=1.82 ms

9. Controleer of alle StCtlVM's dezelfde hoeveelheid ingangen hebben:   iptafels -L | wc -l. Als ze niet overeenkomen, opent u een TAC-case.

- root@SpringpathControllerI51U7U6QZX:~# iptables -L | wc -l

48

10. Wat zijn de huidige clusterstatus en gezondheid

- stcli-cluster info | minder of stcli cluster info | grep -i "active\|state\|niet beschikbaar" indien getracht wordt te vinden welke specifieke knooppunten met opslag niet beschikbaar zijn.
root@SpringpathControllerI51U7U6QZX:~# stcli cluster info | grep -i "active\|state\|unavailable"

locale: English (United States)

state: online

upgradeState: ok

healthState: healthy

state: online

state: 1

activeNodes: 3

state: online

- stcli-cluster opslag-samenvatting —details om de opslagclustergegevens te verkrijgen
root@SpringpathControllerI51U7U6QZX:~# stcli cluster storage-summary --detail

address: 10.197.252.106

name: HX-Demo

state: online

uptime: 185 days 12 hours 48 minutes 42 seconds

activeNodes: 3 of 3

compressionSavings: 85.45%

deduplicationSavings: 0.0%

freeCapacity: 4.9T

healingInfo:

inProgress: False

resiliencyDetails:

current ensemble size:3

# of caching failures before cluster shuts down:3

minimum cache copies remaining:3

minimum data copies available for some user data:3

minimum metadata copies available for cluster metadata:3

# of unavailable nodes:0

# of nodes failure tolerable for cluster to be available:1

health state reason:storage cluster is healthy.

# of node failures before cluster shuts down:3

# of node failures before cluster goes into readonly:3

# of persistent devices failures tolerable for cluster to be available:2

# of node failures before cluster goes to enospace warn trying to move the existing data:na

# of persistent devices failures before cluster shuts down:3

# of persistent devices failures before cluster goes into readonly:3

# of caching failures before cluster goes into readonly:na

# of caching devices failures tolerable for cluster to be available:2

resiliencyInfo:

messages:

Storage cluster is healthy.

state: 1

nodeFailuresTolerable: 1

cachingDeviceFailuresTolerable: 2

persistentDeviceFailuresTolerable: 2

zoneResInfoList: None

spaceStatus: normal

totalCapacity: 5.0T

totalSavings: 85.45%

usedCapacity: 85.3G

zkHealth: online

clusterAccessPolicy: lenient

dataReplicationCompliance: compliant

dataReplicationFactor: 3

11. Welke datastores zijn gemonteerd en beschikbaar

- root@bsv-hxaf220m5-sc-4-3:~# stcli datastore list

----------------------------------------

virtDatastore:

status:

EntityRef(idtype=None, confignum=None, type=6, id='235ea35f-6c85-9448-bec7-06f03b5adf16', name='bsv-hxaf220m5-hv-4-3.cisco.com'):

accessible: True

mounted: True

EntityRef(idtype=None, confignum=None, type=6, id='d124203c-3d9a-ba40-a229-4dffbe96ae13', name='bsv-hxaf220m5-hv-4-2.cisco.com'):

accessible: True

mounted: True

EntityRef(idtype=None, confignum=None, type=6, id='e85f1980-b3c7-a440-9f1e-20d7a1110ae6', name='bsv-hxaf220m5-hv-4-1.cisco.com'):

accessible: True

mounted: True

12. Heeft stCLI-opdrachten te lang geduurd of falen, dan kunt u de volgende sysmaakopdrachten proberen (gebruik niet als stcli werkt)

1. sysmtool —ns cluster —cmd info

2. sysmtool —ns-cluster —cmd-gezondheidsdetails

3. sysmtool —ns datastore —cmd-lijst

StCtlVM: StCtlVM van een aangetaste ESXi-host

Aansluiten op de StCtlVM van de aangedane ESXi-host

1. Controleer de connectiviteit met de IP-opslagcluster (eth1:0) en met andere servers op het opslagnetwerk (eth1 op StCtlVMs)

- Stcli-clusterinformatie uitvoeren | grep -i -B 1 "stctl\|hypersupervisor" om alle ESXi Management IP, StCtlVM eth0 (Mgmt) en StCtlVM eth1 (opslaggegevens) die respectievelijk aan de cluster deelnemen, te identificeren

- Test de connectiviteit ping -I eth1 [-M do-s 8972] <target IP-adres>, Jumbo-frames test tussen ESXI VMK1 en SCVM eth1.

2. Als problemen nog niet zijn gesignaleerd, kunt u de volgende weblogs bekijken

- /var/log/springpath/debug-storfs.log

- Controleer of er zich paniek, fouten of kritieke gebeurtenissen voordoen tussen "segmentatie\|kritisch\|paniek" debug-storfs.log

- /var/log/springpath/stmgr.log

- Controleer of uit het geheugenprobleem vet - i "oom\|out van machine" /var/log/kern.log

3. Uiteindelijk kunt u proberen om de StCtlVM van het knooppunt dat de kwestie nog ervaart, opnieuw op te starten en na te gaan of het probleem blijft bestaan.

Controles in ESXi-host:

Aansluiten op een aangetaste ESXi-host via SSH en de volgende handelingen uitvoeren:

1. esxcli - lijst van opslagnfs ofEsxcfg-nas-l om de momenteel gemonteerde NFS-datastores op te noemen en of ze toegankelijk zijn

- [root@bsv-hx220m5-hv-4-3:~] esxcli storage nfs list

Volume Name  Host                                     Share                 Accessible  Mounted  Read-Only   isPE  Hardware Acceleration

-----------  ---------------------------------------  --------------------  ----------  -------  ---------  -----  ---------------------

test         8352040391320713352-8294044827248719091  192.168.4.1:test            true     true      false  false  Supported

sradzevi     8352040391320713352-8294044827248719091  192.168.4.1:sradzevi        true     true      false  false  Supported

[root@bsv-hx220m5-hv-4-3:~] esxcfg-nas -l

test is 192.168.4.1:test from 8352040391320713352-8294044827248719091 mounted available

sradzevi is 192.168.4.1:sradzevi from 8352040391320713352-8294044827248719091 mounted available

- U kunt ook bevestigen vanaf /etc/vmware/esx.conf om de consistentie in ESXi-configuratie op de NFS gemonteerde datastores te verifiëren, met behulp van commando cat /etc/vmware/esx.conf | grep I nas

2. Controleer /var/log/vmkernel.log en kijk bijvoorbeeld naar de mislukte staat, stel problemen of fout in rond de tijdstempel die in vorige stappen is geïdentificeerd

3. Controleer de status van IOVisor/NFS Proxy/SCVMClient

- Controleer of er service op ESXi wordt uitgevoerd met behulp van opdracht /etc/init.d/scvmclient-status

- [Optioneel] U kunt controleren of er openstaande verbindingen zijn met behulp van de IP-verbindingslijst van het netwerk | grep -i "proto\|scvmclient"

- Controleer of SCVMClient VIB dezelfde versie is als uw HX-cluster en lijst met Esxcli-software | grep-i lente

- [root@bsv-hx220m5-hv-4-3:~] esxcli software vib list | grep -i spring

scvmclient                     3.5.1a-31118                         Springpath          VMwareAccepted    2018-12-13

stHypervisorSvc                3.5.1a-31118                         Springpath          VMwareAccepted    2018-12-06

vmware-esx-STFSNasPlugin       1.0.1-21                             Springpath          VMwareAccepted    2018-11-16

- Controleer /var/log/scvmclient.log om te zien of er fouten aanwezig zijn, namelijk "niet in staat om clustermap te verkrijgen"

- U kunt de SCVMClient-service indien nodig opnieuw opstarten via etc/init.d/SCM-systeemvernieuwing

4. Controleer de netwerkconnectiviteit met andere ESXi-hosts op vmk1-netwerk, in het bijzonder met betrekking tot de opslagcluster IP eth1:0

- esxcfg-vmknic -l om informatie te verkrijgen over de vmk-details, bijvoorbeeld IP, masker en MTU

- vmkping-I vmk1 [-v-s 8972] -d <target-IP-adres> naarbest connectiviteit [optioneel met jumboframes] tussen ESXi-hosts op een datanetwerk van de controller

5. ESXCLI-hardwareplatform krijgt server-SN die wordt gebruikt op naam van de StCtlVm en kan u helpen snel te identificeren op welke host een specifieke StCtlVM wordt uitgevoerd.