Sommario

Introduzione

Acronimi di uso comune

Ordinamento VMNIC HyperFlex VMware

Ordini precedenti alla 3.5

Ordini successivi alla 3.5

SCVM su nodo convergente rispetto a nodo di calcolo

Nodo convergente

Prenotazioni risorse CPU

Prenotazioni risorse di memoria

Nodo di calcolo

Scenari cluster non integri

Scenario 1: Nodo giù

Scenario 2: Disco non attivo

Scenario 3: Né Nodo Né Disco Inattivo

Come verificare la presenza di un cluster SED tramite l'interfaccia della riga di comando (CLI)

Modalità di manutenzione HX e modalità di manutenzione ESXi

Domande frequenti

Dove sono installati gli SCVM sui server Cisco HyperFlex M4 e M5?

Quanti nodi danneggiati può tollerare un cluster?

Cluster con 5 o più nodi

Cluster con 3 e 4 nodi

Cosa succede se uno degli SCVM viene arrestato? Le VM continuano a funzionare?

La versione hardware VMware su SCVM è stata aggiornata. E adesso?

Introduzione

Questo documento descrive le conoscenze generali su Cisco HyperFlex (HX) di cui gli amministratori dovrebbero disporre a portata di mano.

Acronimi di uso comune

SCVM = macchina virtuale controller di archiviazione

VMNIC = Scheda di interfaccia di rete macchina virtuale

VNIC = Scheda di interfaccia di rete virtuale

SED = unità con crittografia automatica

VM = Macchina virtuale

HX = HyperFlex

Ordinamento VMNIC HyperFlex VMware

Il posizionamento della VMNIC è stato modificato nella versione HX 3.5 e successive.

Ordini precedenti alla 3.5

Nelle versioni precedenti alla 3.5, le VNIC erano assegnate in base ai numeri VNIC.

VNIC

Switch virtuale (vSwitch)

VNIC 0 e VNIC 1

vSwitch-hx-inband-mgmt

VNIC 2 e VNIC 3

vSwitch-hx-storage-data

VNIC 4 e VNIC 5

vSwitch-hx-vm-network

VNIC 6 e VNIC 7

vMotion

Ordini successivi alla 3.5

Nella versione 3.5 e successive, le VNIC vengono assegnate in base all'indirizzo MAC (Media Access Control). Non esiste pertanto un ordine di assegnazione particolare.

Se viene eseguito un aggiornamento da una versione precedente alla 3.5 alla 3.5 o successiva, l'ordine VMNIC viene mantenuto.

Nota: Per HX Hyper-V, non sarà applicabile poiché Hyper-V utilizza la CDN (Consistent Device Naming).

SCVM su nodo convergente rispetto a nodo di calcolo

Gli SCVM risiedono sia su nodi di convergenza che su nodi di elaborazione e vi sono differenze tra di essi.

Nodo convergente

Prenotazioni risorse CPU

Poiché le SCVM forniscono funzionalità critiche di Cisco HX Distributed Data Platform, il programma di installazione di HyperFlex configurerà le prenotazioni delle risorse CPU per le VM controller. Questa riserva garantisce che le VM del controller disporranno di risorse CPU (Central Processing Unit) a un livello minimo, in situazioni in cui le risorse CPU fisiche dell'host dell'hypervisor ESXi sono molto utilizzate dalle VM guest. Si tratta di una garanzia soft, che nella maggior parte delle situazioni le SCVM non utilizzano tutte le risorse CPU riservate, consentendo quindi alle VM guest di utilizzarle. Nella tabella seguente viene descritta in dettaglio la riserva di risorse CPU delle VM del controller di storage:

Numero di vCPU

Condivisioni

Prenotazione

Limite

8

Bassa

10.800 MHZ

Illimitato

Prenotazioni risorse di memoria

Poiché le SCVM forniscono funzionalità critiche di Cisco HX Distributed Data Platform, il programma di installazione di HyperFlex configurerà prenotazioni delle risorse di memoria per le VM controller. Questa riserva garantisce che le VM del controller disporranno di risorse di memoria a un livello minimo, in situazioni in cui le risorse di memoria fisica dell'host dell'hypervisor ESXi sono molto utilizzate dalle VM guest. Nella tabella seguente viene descritta la prenotazione delle risorse di memoria delle VM del controller di storage:

Modelli server

Quantità di memoria guest

Riserva tutta la memoria guest

HX 220c-M5SX

HXAF 220c-M5SX

HX 220c-M4S

HXAF220c-M4S

48 GB

Sì

HX 240c-M5SX

HXAF 240c-M5SX

HX240c-M4SX

HXAF240c-M4SX

72 GB

Sì

HX240c-M5L

78 GB

Sì

Nodo di calcolo

I nodi di sola elaborazione dispongono di una SCVM leggera. È configurato con solo 1 vCPU da 1024 MHz e 512 MB di riserva di memoria.

Lo scopo del nodo di calcolo è principalmente quello di mantenere le impostazioni di vCluster Distributed Resource Scheduler™ (DRS), per garantire che DRS non riporti le VM utente ai nodi convergenti.

Scenari cluster non integri

Un cluster HX può essere reso non integro negli scenari seguenti.

Scenario 1: Nodo giù

Un cluster entra in uno stato di tipo non integro quando un nodo diventa inattivo. Un nodo dovrebbe essere inattivo durante un aggiornamento del cluster o quando un server viene messo in modalità manutenzione.

root@SpringpathController:~# stcli cluster storage-summary --detail

<snip>

current ensemble size:3

# of caching failures before cluster shuts down:2

minimum cache copies remaining:2

minimum data copies available for some user data:2

current healing status:rebuilding/healing is needed, but not in progress yet. warning: insufficient node or space resources may prevent healing. storage node 10.197.252.99is either down or initializing disks.

minimum metadata copies available for cluster metadata:2

# of unavailable nodes:1

# of nodes failure tolerable for cluster to be available:0

health state reason:storage cluster is unhealthy. storage node 10.197.252.99 is unavailable.

# of node failures before cluster shuts down:2

# of node failures before cluster goes into readonly:2

# of persistent devices failures tolerable for cluster to be available:1

# of node failures before cluster goes to enospace warn trying to move the existing data:na

# of persistent devices failures before cluster shuts down:2

# of persistent devices failures before cluster goes into readonly:2

# of caching failures before cluster goes into readonly:na

# of caching devices failures tolerable for cluster to be available:1

resiliencyInfo:

messages:

----------------------------------------

Storage cluster is unhealthy.

----------------------------------------

Storage node 10.197.252.99 is unavailable.

----------------------------------------

state: 2

nodeFailuresTolerable: 0

cachingDeviceFailuresTolerable: 1

persistentDeviceFailuresTolerable: 1

zoneResInfoList: None

spaceStatus: normal

totalCapacity: 3.0T

totalSavings: 5.17%

usedCapacity: 45.9G

zkHealth: online

clusterAccessPolicy: lenient

dataReplicationCompliance: non_compliant

dataReplicationFactor: 3

Scenario 2: Disco non attivo

Un cluster entra in uno stato non integro quando un disco non è disponibile. La condizione deve essere cancellata quando i dati vengono distribuiti ad altri dischi.

root@SpringpathController:~# stcli cluster storage-summary --detail

<snip>

current ensemble size:3

# of caching failures before cluster shuts down:2

minimum cache copies remaining:2

minimum data copies available for some user data:2

current healing status:rebuilding/healing is needed, but not in progress yet. warning: insufficient node or space resources may prevent healing. storage node is either down or initializing disks.

minimum metadata copies available for cluster metadata:2

# of unavailable nodes:1

# of nodes failure tolerable for cluster to be available:0

health state reason:storage cluster is unhealthy. persistent device disk [5000c5007e113d8b:0000000000000000] on node 10.197.252.99 is unavailable.

# of node failures before cluster shuts down:2

# of node failures before cluster goes into readonly:2

# of persistent devices failures tolerable for cluster to be available:1

# of node failures before cluster goes to enospace warn trying to move the existing data:na

# of persistent devices failures before cluster shuts down:2

# of persistent devices failures before cluster goes into readonly:2

# of caching failures before cluster goes into readonly:na

# of caching devices failures tolerable for cluster to be available:1

resiliencyInfo:

messages:

----------------------------------------

Storage cluster is unhealthy.

----------------------------------------

Persistent Device Disk [5000c5007e113d8b:0000000000000000] on node 10.197.252.99 is unavailable.

----------------------------------------

state: 2

nodeFailuresTolerable: 0

cachingDeviceFailuresTolerable: 1

persistentDeviceFailuresTolerable: 1

zoneResInfoList: None

spaceStatus: normal

totalCapacity: 3.0T

totalSavings: 8.82%

usedCapacity: 45.9G

zkHealth: online

clusterAccessPolicy: lenient

dataReplicationCompliance: non_compliant

dataReplicationFactor: 3

Scenario 3: Né Nodo Né Disco Inattivo

Un cluster può passare a uno stato non integro quando né un nodo né un disco sono inattivi. Questa condizione si verifica se è in corso la ricostruzione.

root@SpringpathController:~# stcli cluster storage-summary --detail

<snip>

resiliencyDetails:

current ensemble size:5

# of caching failures before cluster shuts down:3

minimum cache copies remaining:3

minimum data copies available for some user data:2

current healing status:rebuilding is in progress, 98% completed.         minimum metadata copies available for cluster metadata:2

time remaining before current healing operation finishes:7 hr(s), 15 min(s), and 34 sec(s)

# of unavailable nodes:0

# of nodes failure tolerable for cluster to be available:1

health state reason:storage cluster is unhealthy.

# of node failures before cluster shuts down:2

# of node failures before cluster goes into readonly:2

# of persistent devices failures tolerable for cluster to be available:1

# of node failures before cluster goes to enospace warn trying to move the existing data:na

# of persistent devices failures before cluster shuts down:2

# of persistent devices failures before cluster goes into readonly:2

# of caching failures before cluster goes into readonly:na

# of caching devices failures tolerable for cluster to be available:2

resiliencyInfo:

messages:

Storage cluster is unhealthy.

state: 2

nodeFailuresTolerable: 1

cachingDeviceFailuresTolerable: 2

persistentDeviceFailuresTolerable: 1

zoneResInfoList: None

spaceStatus: normal

totalCapacity: 225.0T

totalSavings: 42.93%

usedCapacity: 67.7T

clusterAccessPolicy: lenient

dataReplicationCompliance: non_compliant

dataReplicationFactor: 3

Come verificare la presenza di un cluster SED tramite l'interfaccia della riga di comando (CLI)

Se l'accesso a HX Connect non è disponibile, è possibile utilizzare CLI per verificare se il cluster è SED.

# Check if the cluster is SED capable

root@SpringpathController:~# cat /etc/springpath/sed_capability.conf

sed_capable_cluster=False

# Check if the cluster is SED enabled

root@SpringpathController:~# cat /etc/springpath/sed.conf

sed_encryption_state=unknown

root@SpringpathController:~# /usr/share/springpath/storfs-appliance/sed-client.sh -l

WWN,Slot,Supported,Enabled,Locked,Vendor,Model,Serial,Size

5002538c40a42d38,1,0,0,0,Samsung,SAMSUNG_MZ7LM240HMHQ-00003,S3LKNX0K406548,228936

5000c50030278d83,25,1,1,0,MICRON,S650DC-800FIPS,ZAZ15QDM0000822150Z3,763097

500a07511d38cd36,2,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38CD36,915715

500a07511d38efbe,4,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38EFBE,915715

500a07511d38f350,7,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38F350,915715

500a07511d38eaa6,3,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38EAA6,915715

500a07511d38ce80,6,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38CE80,915715

500a07511d38e4fc,5,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38E4FC,915715

Modalità di manutenzione HX e modalità di manutenzione ESXi

Quando è necessario eseguire attività di manutenzione su un server che fa parte di un cluster HX, utilizzare la modalità di manutenzione HX anziché la modalità di manutenzione ESXi. Quando si utilizza la modalità di manutenzione HX, SCVM viene spento normalmente, mentre si arresta improvvisamente quando si utilizza la modalità di manutenzione ESXi.

Quando un nodo è in modalità di manutenzione, viene considerato inattivo, ovvero un errore di un nodo.

Verificare che il cluster risulti integro prima di attivare la modalità manutenzione per un altro nodo.

root@SpringpathController:~# stcli cluster storage-summary --detail

<snip>

current ensemble size:3

# of caching failures before cluster shuts down:3

minimum cache copies remaining:3

minimum data copies available for some user data:3

minimum metadata copies available for cluster metadata:3

# of unavailable nodes:0

# of nodes failure tolerable for cluster to be available:1

health state reason:storage cluster is healthy.

# of node failures before cluster shuts down:3

# of node failures before cluster goes into readonly:3

# of persistent devices failures tolerable for cluster to be available:2

# of node failures before cluster goes to enospace warn trying to move the existing data:na

# of persistent devices failures before cluster shuts down:3

# of persistent devices failures before cluster goes into readonly:3

# of caching failures before cluster goes into readonly:na

# of caching devices failures tolerable for cluster to be available:2

resiliencyInfo:

messages:

Storage cluster is healthy.

state: 1

nodeFailuresTolerable: 1

cachingDeviceFailuresTolerable: 2

<snip>

Domande frequenti

Dove sono installati gli SCVM sui server Cisco HyperFlex M4 e M5?

La posizione della SCVM è diversa tra i server Cisco Hyperflex M4 e M5. Nella tabella seguente viene indicata la posizione dell'SCVM e vengono fornite altre informazioni utili.

Cisco HX Server

ESXi

SCVM

sda

Memorizzazione nella cache dell'unità a stato solido (SSD)

SSD per la casa

sdb1 e sdb2

HX 220 M4

Secure Digital (schede SD)

3,5 G su schede SD

Slot 2

Slot 1

HX 240 M4

Schede SD

Su SSD controllato da PCH (esxi ha il controllo di questo)

Slot 1

Su SSD PCH

HX 220 M5

Unità M.2

Unità M.2

Slot 2

Slot 1

HX 240 M5

Unità M.2

Unità M.2

SSD slot posteriore

Slot 1

Quanti nodi danneggiati può tollerare un cluster?

Il numero di errori tollerati da un cluster dipende dal fattore di replica e dai criteri di accesso.

Cluster con 5 o più nodi

Quando il fattore di replica (RF) è impostato su 3 e il criterio di accesso è impostato su Privilegio concesso, se si verificano errori in 2 nodi il cluster rimarrà in stato di lettura/scrittura. Se si verificano errori in 3 nodi, il cluster verrà arrestato.

Fattore di replica

Criteri di accesso

Numero di nodi non riusciti

Lettura/scrittura

Sola lettura

Shutdown

3

Incline

2

—

3

3

Ristretta

1

2

3

2

Incline

1

—

2

2

Ristretta

—

1

2

Cluster con 3 e 4 nodi

Quando RF è impostato su 3 e Criteri di accesso è impostato su Privilegiato o Rigoroso, se si verifica un errore in un singolo nodo, il cluster è ancora nello stato di lettura/scrittura. Se si verificano errori in 2 nodi, il cluster verrà arrestato.

Fattore di replica

Criteri di accesso

Numero di nodi non riusciti

Lettura/scrittura

Sola lettura

Shutdown

3

Amichevole o rigoroso

1

—

2

2

Incline

1

—

2

2

Ristretta

—

1

2

Esempio di cluster a 3 nodi (RF: 3, Criteri di accesso: Apprezzato)

Esempio di interfaccia grafica (GUI)

Esempio di CLI

root@SpringpathController:~# stcli cluster storage-summary --detail

<snip>

current ensemble size:3

# of caching failures before cluster shuts down:3

minimum cache copies remaining:3

minimum data copies available for some user data:3

minimum metadata copies available for cluster metadata:3

# of unavailable nodes:0

# of nodes failure tolerable for cluster to be available:1

health state reason:storage cluster is healthy.

# of node failures before cluster shuts down:3

# of node failures before cluster goes into readonly:3

# of persistent devices failures tolerable for cluster to be available:2

# of node failures before cluster goes to enospace warn trying to move the existing data:na

# of persistent devices failures before cluster shuts down:3

# of persistent devices failures before cluster goes into readonly:3

# of caching failures before cluster goes into readonly:na

# of caching devices failures tolerable for cluster to be available:2

resiliencyInfo:

messages:

Storage cluster is healthy.

state: 1

<snip>

clusterAccessPolicy: lenient

Cosa succede se uno degli SCVM viene arrestato? Le VM continuano a funzionare?

Avviso: Operazione non supportata su un SCVM. Questa operazione è solo a scopo dimostrativo.

Nota: Assicurarsi che solo una SCVM sia inattiva alla volta. Verificare inoltre che il cluster sia integro prima dell'arresto di SCVM. In questo scenario viene solo dimostrato che le VM e gli archivi dati funzioneranno anche se un SCVM è inattivo o non disponibile.

Le VM continueranno a funzionare normalmente. Di seguito è riportato un esempio di output in cui SCVM è stato chiuso, ma gli archivi dati sono rimasti disponibili e montati.

[root@node1:~] vim-cmd vmsvc/getallvms

Vmid Name File Guest OS Version Annotation

1 stCtlVM-F       9H [SpringpathDS-F     9H] stCtlVM-F       9H/stCtlVM-F      9H.vmx ubuntu64Guest vmx-13

[root@node1:~] vim-cmd vmsvc/power.off 1

Powering off VM:

[root@node1:~] vim-cmd vmsvc/power.getstate 1

Retrieved runtime info

Powered off

[root@node1:~] esxcfg-nas -l

Test is 10.197.252.106:Test from 3203172317343203629-5043383143428344954 mounted available

ReplSec is 10.197.252.106:ReplSec from 3203172317343203629-5043383143428344954 mounted available

New_DS is 10.197.252.106:New_DS from 3203172317343203629-5043383143428344954 mounted available

La versione hardware VMware su SCVM è stata aggiornata. E adesso?

Avviso: Operazione non supportata su un SCVM. Questa operazione è solo a scopo dimostrativo.

L'aggiornamento della versione hardware VMware modificando le impostazioni della VM in Compatibilità > Aggiorna compatibilità VM indica che vSphere Web Client non è un'operazione supportata su una SCVM. La SCVM segnalerà come Offline in HX Connect.

root@SpringpathController0      UE:~# lsblk

NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT

sda      8:0    0  2.5G  0 disk

`-sda1   8:1    0  2.5G  0 part /

sdb      8:16   0  100G  0 disk

|-sdb1   8:17   0   64G  0 part /var/stv

`-sdb2   8:18   0   24G  0 part /var/zookeeper

root@SpringpathController0      UE:~# lsscsi

[2:0:0:0]    disk    VMware   Virtual disk     2.0   /dev/sda

[2:0:1:0]    disk    VMware   Virtual disk     2.0   /dev/sdb

root@SpringpathController0      UE:~# cat /var/log/springpath/diskslotmap-v2.txt

1.11.1:5002538a17221ab0:SAMSUNG:MZIES800HMHP/003:S1N2NY0J201389:EM19:SAS:SSD:763097:Inactive:/dev/sdc

1.11.2:5002538c405537e0:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           98:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdd

1.11.3:5002538c4055383a:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           88:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sde

1.11.4:5002538c40553813:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           49:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdf

1.11.5:5002538c4055380e:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           44:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdg

1.11.6:5002538c40553818:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           54:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdh

1.11.7:5002538c405537d1:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           83:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdi

1.11.8:5002538c405537d8:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           90:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdj

1.11.9:5002538c4055383b:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           89:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdk

1.11.10:5002538c4055381f:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S          61:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdl

1.11.11:5002538c40553823:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S          65:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdm

Attenzione: Se l'operazione è stata eseguita accidentalmente, chiamare il supporto Cisco per ulteriore assistenza. Sarà necessario ridistribuire SCVM.