Inhoud

Inleiding

Gebruikte acroniem

HyperFlex VMware VMNIC die bestelt

Vooraf 3.5 Bestellen

Post 3.5 Bestellen

SCVM op geconvergeerd knooppunt versus computingsknooppunt

geconvergeerd knooppunt

CPU-resourcemanagement

Reservaties van geheugenbronnen

Compact knooppunt

Ongezonde Cluster Scenarios

Scenario 1: Knooppunt

Scenario 2: Schijf omlaag

Scenario 3: Noch knooppunt, noch diskette

Hoe u een SED-cluster kunt controleren met behulp van de opdrachtregel-interface (CLI)

HX-onderhoudsmodus versus ESXi-onderhoudsmodus

Veelgestelde vragen

Waar zijn de SCVM’s geïnstalleerd op Cisco HyperFlex M4- en M5-servers?

Hoeveel mislukte knooppunten kan een cluster verdragen?

Clusters met 5 of meer knooppunten

Clusters met 3 en 4 knooppunten

Wat gebeurt er als een van de SCVM's wordt afgesloten? Blijven VM's functioneren?

De VMware hardwareversie op de SCVM is bijgewerkt. Wat nu?

Inleiding

Dit document beschrijft algemene kennis van Cisco HyperFlex (HX) die beheerders binnen hun handbereik moeten hebben.

Gebruikte acroniem

SCVM = Storage Controller virtuele machine

VMNIC = Virtual Machine Network Interface-kaart

VNIC = Virtual Network Interface Card

SED = Drive voor zelfversleuteling

VM = virtuele machine

HX = HyperFlex

HyperFlex VMware VMNIC die bestelt

VMNIC-plaatsing is herzien in HX versie 3.5 en hoger.

Vooraf 3.5 Bestellen

Vóór versie 3.5 werden de VNIC’s toegewezen op basis van de VNIC-nummers.

VNIC

Virtuele switch (vSwitch)

VNIC 0 en VNIC 1

vSwitch-hx-inband-mt

VNIC 2 & VNIC 3

vSwitch-hx-opslag-gegevens

VNIC 4 & VNIC 5

vSwitch-hx-vm-netwerk

VNIC 6 en VNIC 7

vMotion

Post 3.5 Bestellen

In versie 3.5 en later worden de VNIC’s toegewezen op basis van het MAC-adres (Media Access Control). Daarom is er geen specifieke volgorde van toewijzing.

Als een upgrade van een versie ouder dan 3.5 tot 3.5 of hoger wordt uitgevoerd, blijft VMNIC bestellen behouden.

Opmerking: Voor HX Hyper-V is dit niet van toepassing aangezien Hyper-V gebruik maakt van consistente apparaatnamen (CDN).

SCVM op geconvergeerd knooppunt versus computingsknooppunt

SCVM's bevinden zich op zowel geconvergeerde als computing knooppunten en er zijn verschillen tussen deze knooppunten.

geconvergeerd knooppunt

CPU-resourcemanagement

Aangezien de SCVM's kritische functionaliteit van het Cisco HX Distributed Data Platform bieden, zal de HyperFlex-installateur CPU-bronreserveringen voor de controller-VM's configureren. Deze reservering garandeert dat de VM's van de centrale verwerkingseenheid (CPU’s) op een minimaal niveau zullen beschikken in situaties waarin de fysieke CPU-middelen van de ESXi-hypervisorhost sterk door de gastVM’s worden verbruikt. Dit is een zachte garantie, hetgeen betekent dat de SCVM's in de meeste situaties niet alle gereserveerde CPU-middelen gebruiken, zodat de gast-VM's deze kunnen gebruiken. In de volgende tabel wordt nader ingegaan op de CPU-middelenreservering van de VM's van opslagcontrollers:

Aantal vCPU’s

Aandelen

Voorbehoud

Limiet

8

Laag

1.080 MHZ

Onbeperkt

Reservaties van geheugenbronnen

Aangezien de SCVM's kritische functionaliteit van het Cisco HX Distributed Data Platform bieden, zal de HyperFlex-installateur geheugenmiddelenreserveringen voor de controller-VM's configureren. Deze reservering garandeert dat de controller-VM's over minimaal geheugen zullen beschikken, in situaties waarin de fysieke geheugenbronnen van de ESXi-hypervisorhost sterk worden verbruikt door de gast-VM's. In de volgende tabel wordt de reservering van de geheugenbronnen van de opslagcontroller voor VM's beschreven:

servermodellen

Hoeveelheid Guest Geheugen

Reserve-al-guldengeheugen

HX220c-M5 SX

HXAF 220c-M5 SX

HX220c-M4S switch

HXAF-220c-M4S router

48 GB

Ja

HX240c-M5 SX

HXAF 240c-M5 SX

HX240c-M4SX

HXAF-240c-M4SX

72 GB

Ja

HX240c-M5L

78 GB

Ja

Compact knooppunt

De alleen-computerknooppunten hebben een lichtgewicht SCVM. Deze wordt ingesteld met slechts 1 vCPU van 1024 MHz en 512 MB aan geheugenreservering.

Het doel van het hebben van het computerknooppunt is voornamelijk het onderhoud van de instellingen van vCluster Distributed Resource Scheduler™ (DRS), om ervoor te zorgen dat DRS de gebruiker VM's niet terugzet naar geconvergeerde knooppunten.

Ongezonde Cluster Scenarios

Een HX-cluster kan in de volgende scenario's ongezond worden gemaakt.

Scenario 1: Knooppunt

Een cluster gaat in een ongezonde staat wanneer een knooppunt omlaag gaat. Er wordt verwacht dat een knooppunt tijdens een clusterupgrade valt of wanneer een server in de onderhoudsmodus wordt gezet.

root@SpringpathController:~# stcli cluster storage-summary --detail

<snip>

current ensemble size:3

# of caching failures before cluster shuts down:2

minimum cache copies remaining:2

minimum data copies available for some user data:2

current healing status:rebuilding/healing is needed, but not in progress yet. warning: insufficient node or space resources may prevent healing. storage node 10.197.252.99is either down or initializing disks.

minimum metadata copies available for cluster metadata:2

# of unavailable nodes:1

# of nodes failure tolerable for cluster to be available:0

health state reason:storage cluster is unhealthy. storage node 10.197.252.99 is unavailable.

# of node failures before cluster shuts down:2

# of node failures before cluster goes into readonly:2

# of persistent devices failures tolerable for cluster to be available:1

# of node failures before cluster goes to enospace warn trying to move the existing data:na

# of persistent devices failures before cluster shuts down:2

# of persistent devices failures before cluster goes into readonly:2

# of caching failures before cluster goes into readonly:na

# of caching devices failures tolerable for cluster to be available:1

resiliencyInfo:

messages:

----------------------------------------

Storage cluster is unhealthy.

----------------------------------------

Storage node 10.197.252.99 is unavailable.

----------------------------------------

state: 2

nodeFailuresTolerable: 0

cachingDeviceFailuresTolerable: 1

persistentDeviceFailuresTolerable: 1

zoneResInfoList: None

spaceStatus: normal

totalCapacity: 3.0T

totalSavings: 5.17%

usedCapacity: 45.9G

zkHealth: online

clusterAccessPolicy: lenient

dataReplicationCompliance: non_compliant

dataReplicationFactor: 3

Scenario 2: Schijf omlaag

Een cluster gaat in een ongezonde toestand wanneer een schijf niet beschikbaar is. De conditie dient te worden gewist wanneer de gegevens aan andere schijven worden verdeeld.

root@SpringpathController:~# stcli cluster storage-summary --detail

<snip>

current ensemble size:3

# of caching failures before cluster shuts down:2

minimum cache copies remaining:2

minimum data copies available for some user data:2

current healing status:rebuilding/healing is needed, but not in progress yet. warning: insufficient node or space resources may prevent healing. storage node is either down or initializing disks.

minimum metadata copies available for cluster metadata:2

# of unavailable nodes:1

# of nodes failure tolerable for cluster to be available:0

health state reason:storage cluster is unhealthy. persistent device disk [5000c5007e113d8b:0000000000000000] on node 10.197.252.99 is unavailable.

# of node failures before cluster shuts down:2

# of node failures before cluster goes into readonly:2

# of persistent devices failures tolerable for cluster to be available:1

# of node failures before cluster goes to enospace warn trying to move the existing data:na

# of persistent devices failures before cluster shuts down:2

# of persistent devices failures before cluster goes into readonly:2

# of caching failures before cluster goes into readonly:na

# of caching devices failures tolerable for cluster to be available:1

resiliencyInfo:

messages:

----------------------------------------

Storage cluster is unhealthy.

----------------------------------------

Persistent Device Disk [5000c5007e113d8b:0000000000000000] on node 10.197.252.99 is unavailable.

----------------------------------------

state: 2

nodeFailuresTolerable: 0

cachingDeviceFailuresTolerable: 1

persistentDeviceFailuresTolerable: 1

zoneResInfoList: None

spaceStatus: normal

totalCapacity: 3.0T

totalSavings: 8.82%

usedCapacity: 45.9G

zkHealth: online

clusterAccessPolicy: lenient

dataReplicationCompliance: non_compliant

dataReplicationFactor: 3

Scenario 3: Noch knooppunt, noch diskette

Een cluster kan in een ongezonde toestand gaan als er geen knooppunt of schijf is. Deze conditie treedt op als de herbouw bezig is.

root@SpringpathController:~# stcli cluster storage-summary --detail

<snip>

resiliencyDetails:

current ensemble size:5

# of caching failures before cluster shuts down:3

minimum cache copies remaining:3

minimum data copies available for some user data:2

current healing status:rebuilding is in progress, 98% completed.         minimum metadata copies available for cluster metadata:2

time remaining before current healing operation finishes:7 hr(s), 15 min(s), and 34 sec(s)

# of unavailable nodes:0

# of nodes failure tolerable for cluster to be available:1

health state reason:storage cluster is unhealthy.

# of node failures before cluster shuts down:2

# of node failures before cluster goes into readonly:2

# of persistent devices failures tolerable for cluster to be available:1

# of node failures before cluster goes to enospace warn trying to move the existing data:na

# of persistent devices failures before cluster shuts down:2

# of persistent devices failures before cluster goes into readonly:2

# of caching failures before cluster goes into readonly:na

# of caching devices failures tolerable for cluster to be available:2

resiliencyInfo:

messages:

Storage cluster is unhealthy.

state: 2

nodeFailuresTolerable: 1

cachingDeviceFailuresTolerable: 2

persistentDeviceFailuresTolerable: 1

zoneResInfoList: None

spaceStatus: normal

totalCapacity: 225.0T

totalSavings: 42.93%

usedCapacity: 67.7T

clusterAccessPolicy: lenient

dataReplicationCompliance: non_compliant

dataReplicationFactor: 3

Hoe u een SED-cluster kunt controleren met behulp van de opdrachtregel-interface (CLI)

Als geen toegang tot HX Connect beschikbaar is, kan de CLI worden gebruikt om te controleren of het cluster SED is.

# Check if the cluster is SED capable

root@SpringpathController:~# cat /etc/springpath/sed_capability.conf

sed_capable_cluster=False

# Check if the cluster is SED enabled

root@SpringpathController:~# cat /etc/springpath/sed.conf

sed_encryption_state=unknown

root@SpringpathController:~# /usr/share/springpath/storfs-appliance/sed-client.sh -l

WWN,Slot,Supported,Enabled,Locked,Vendor,Model,Serial,Size

5002538c40a42d38,1,0,0,0,Samsung,SAMSUNG_MZ7LM240HMHQ-00003,S3LKNX0K406548,228936

5000c50030278d83,25,1,1,0,MICRON,S650DC-800FIPS,ZAZ15QDM0000822150Z3,763097

500a07511d38cd36,2,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38CD36,915715

500a07511d38efbe,4,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38EFBE,915715

500a07511d38f350,7,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38F350,915715

500a07511d38eaa6,3,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38EAA6,915715

500a07511d38ce80,6,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38CE80,915715

500a07511d38e4fc,5,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38E4FC,915715

HX-onderhoudsmodus versus ESXi-onderhoudsmodus

Wanneer onderhoudsactiviteiten moeten worden uitgevoerd op een server die deel uitmaakt van een HX-cluster, moet de HX-onderhoudsmodus worden gebruikt in plaats van de ESXi-onderhoudsmodus. De SCVM wordt bewust uitgeschakeld wanneer de HX-onderhoudsmodus wordt gebruikt terwijl deze abrupt wordt afgesloten wanneer de ESXi-onderhoudsmodus wordt gebruikt.

Wanneer een knooppunt zich in de onderhoudsmodus bevindt, wordt er rekening mee gehouden dat het 1 knooppunt heeft gefaald.

Zorg ervoor dat de cluster voldoende gezond is voordat u een ander knooppunt naar de onderhoudsmodus verplaatst.

root@SpringpathController:~# stcli cluster storage-summary --detail

<snip>

current ensemble size:3

# of caching failures before cluster shuts down:3

minimum cache copies remaining:3

minimum data copies available for some user data:3

minimum metadata copies available for cluster metadata:3

# of unavailable nodes:0

# of nodes failure tolerable for cluster to be available:1

health state reason:storage cluster is healthy.

# of node failures before cluster shuts down:3

# of node failures before cluster goes into readonly:3

# of persistent devices failures tolerable for cluster to be available:2

# of node failures before cluster goes to enospace warn trying to move the existing data:na

# of persistent devices failures before cluster shuts down:3

# of persistent devices failures before cluster goes into readonly:3

# of caching failures before cluster goes into readonly:na

# of caching devices failures tolerable for cluster to be available:2

resiliencyInfo:

messages:

Storage cluster is healthy.

state: 1

nodeFailuresTolerable: 1

cachingDeviceFailuresTolerable: 2

<snip>

Veelgestelde vragen

Waar zijn de SCVM’s geïnstalleerd op Cisco HyperFlex M4- en M5-servers?

De SCVM locatie is verschillend tussen Cisco Hyperflex M4 en M5 servers. De onderstaande tabel geeft een overzicht van de locatie van de SCVM en biedt andere nuttige informatie.

Cisco HX-server

ESXi

SCVM

sda

Caching Solid State Drive (SSD)

Huishoudelijke SSD

sdb1 en sdb2

HX 220 M4-software

Secure digitaal (SD-kaarten)

3,5G op SD-kaarten

2 sleuven

1 sleuf

HX240 M4-software

SD-kaarten

Bij door PCH gecontroleerde SSD (esxi heeft de controle over deze stof)

1 sleuf

Met PCH-gecontroleerde SSD

HX 220 M5

M.2-station

M.2-station

2 sleuven

1 sleuf

HX 240 M5

M.2-station

M.2-station

SSD voor achtersleuf

1 sleuf

Hoeveel mislukte knooppunten kan een cluster verdragen?

Het aantal fouten dat een cluster kan tolereren is afhankelijk van de factor van de replicatie en het toegangsbeleid.

Clusters met 5 of meer knooppunten

Wanneer de punt van de replicatie (RF) 3 is en het beleid van de Toegang aan Leent wordt ingesteld, als 2 knopen het breken van de cluster nog in een Lees/schrijf staat. Als 3 knooppunten failliet zouden gaan, dan zal de cluster sluiten.

replicatiefactor

Toegangsbeleid

Aantal mislukte knooppunten

Lezen/schrijven

Alleen lezen

Shutdown

3

buigzaam

2

—

3

3

strikt

1

2

3

2

buigzaam

1

—

2

2

strikt

—

1

2

Clusters met 3 en 4 knooppunten

Wanneer de RF 3 is en het Toegangsbeleid op Leent of Streng wordt ingesteld, als één knooppunt faalt, is de cluster nog in een Lees-schrijfstaat. Als 2 knooppunten falen, sluit de cluster af.

replicatiefactor

Toegangsbeleid

Aantal mislukte knooppunten

Lezen/schrijven

Alleen lezen

Shutdown

3

Lenient of streng

1

—

2

2

buigzaam

1

—

2

2

strikt

—

1

2

Voorbeeld van een 3-knooppunt-cluster (RF: 3, Toegangsbeleid: verzachtend)

Graphical User Interface (GUI)-voorbeeld

CLI-voorbeeld

root@SpringpathController:~# stcli cluster storage-summary --detail

<snip>

current ensemble size:3

# of caching failures before cluster shuts down:3

minimum cache copies remaining:3

minimum data copies available for some user data:3

minimum metadata copies available for cluster metadata:3

# of unavailable nodes:0

# of nodes failure tolerable for cluster to be available:1

health state reason:storage cluster is healthy.

# of node failures before cluster shuts down:3

# of node failures before cluster goes into readonly:3

# of persistent devices failures tolerable for cluster to be available:2

# of node failures before cluster goes to enospace warn trying to move the existing data:na

# of persistent devices failures before cluster shuts down:3

# of persistent devices failures before cluster goes into readonly:3

# of caching failures before cluster goes into readonly:na

# of caching devices failures tolerable for cluster to be available:2

resiliencyInfo:

messages:

Storage cluster is healthy.

state: 1

<snip>

clusterAccessPolicy: lenient

Wat gebeurt er als een van de SCVM's wordt afgesloten? Blijven VM's functioneren?

Waarschuwing: Dit is geen ondersteunde operatie op een SCVM. Dit is alleen voor demonstratiedoeleinden.

Opmerking: Zorg ervoor dat er slechts één SCVM tegelijk is uitgevallen. Zorg er ook voor dat de cluster gezond is voordat een SCVM wordt uitgeschakeld. Dit scenario is alleen bedoeld om aan te tonen dat de VM's en de gegevensopslagsystemen naar verwachting zullen functioneren, zelfs als een SCVM is uitgevallen of niet beschikbaar is.

VM's zullen normaal blijven werken. Hieronder staat een uitvoervoorbeeld waar de SCVM werd afgesloten, maar de datastores bleven gemonteerd en beschikbaar.

[root@node1:~] vim-cmd vmsvc/getallvms

Vmid Name File Guest OS Version Annotation

1 stCtlVM-F       9H [SpringpathDS-F     9H] stCtlVM-F       9H/stCtlVM-F      9H.vmx ubuntu64Guest vmx-13

[root@node1:~] vim-cmd vmsvc/power.off 1

Powering off VM:

[root@node1:~] vim-cmd vmsvc/power.getstate 1

Retrieved runtime info

Powered off

[root@node1:~] esxcfg-nas -l

Test is 10.197.252.106:Test from 3203172317343203629-5043383143428344954 mounted available

ReplSec is 10.197.252.106:ReplSec from 3203172317343203629-5043383143428344954 mounted available

New_DS is 10.197.252.106:New_DS from 3203172317343203629-5043383143428344954 mounted available

De VMware hardwareversie op de SCVM is bijgewerkt. Wat nu?

Waarschuwing: Dit is geen ondersteunde operatie op een SCVM. Dit is alleen voor demonstratiedoeleinden.

Het verbeteren van de VMware-hardwareversie door het bewerken van VM-instellingen in compatibiliteit > VM-compatibiliteit met upgrade is de vSphere Web Client is GEEN ondersteunde operatie op een SCVM. De SCVM rapporteert als offline in HX Connect.

root@SpringpathController0      UE:~# lsblk

NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT

sda      8:0    0  2.5G  0 disk

`-sda1   8:1    0  2.5G  0 part /

sdb      8:16   0  100G  0 disk

|-sdb1   8:17   0   64G  0 part /var/stv

`-sdb2   8:18   0   24G  0 part /var/zookeeper

root@SpringpathController0      UE:~# lsscsi

[2:0:0:0]    disk    VMware   Virtual disk     2.0   /dev/sda

[2:0:1:0]    disk    VMware   Virtual disk     2.0   /dev/sdb

root@SpringpathController0      UE:~# cat /var/log/springpath/diskslotmap-v2.txt

1.11.1:5002538a17221ab0:SAMSUNG:MZIES800HMHP/003:S1N2NY0J201389:EM19:SAS:SSD:763097:Inactive:/dev/sdc

1.11.2:5002538c405537e0:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           98:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdd

1.11.3:5002538c4055383a:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           88:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sde

1.11.4:5002538c40553813:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           49:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdf

1.11.5:5002538c4055380e:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           44:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdg

1.11.6:5002538c40553818:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           54:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdh

1.11.7:5002538c405537d1:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           83:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdi

1.11.8:5002538c405537d8:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           90:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdj

1.11.9:5002538c4055383b:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           89:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdk

1.11.10:5002538c4055381f:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S          61:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdl

1.11.11:5002538c40553823:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S          65:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdm

Voorzichtig: Als deze bewerking per ongeluk is uitgevoerd, belt u Cisco Support voor verdere assistentie. De SCVM zal opnieuw moeten worden ingezet.