内容

概要

一般的に使用される略語

HyperFlex VMware VMNICの発注

3.5より前の発注

3.5以降の発注

コンバージドノードとコンピュートノードのSCVM

コンバージドノード

CPUリソース予約

メモリリソースの予約

コンピュートノード

異常なクラスタのシナリオ

シナリオ 1：ノードダウン

シナリオ 2：ディスク停止

シナリオ 3：ノードもディスクもダウンしない

コマンドラインインターフェイス(CLI)を使用してSEDクラスタを確認する方法

HXメンテナンスモードとESXiメンテナンスモード

よく寄せられる質問（FAQ）

Cisco HyperFlex M4およびM5サーバには、SCVMはどこにインストールされますか。

クラスタが許容できる障害ノードの数はいくつですか。

5つ以上のノードを持つクラスタ

3ノードと4ノードのクラスタ

いずれかのSCVMがシャットダウンするとどうなりますか。VMは引き続き機能しますか。

SCVMのVMwareハードウェアバージョンが更新されました。次は？

概要

このドキュメントでは、管理者が簡単に入手できるCisco HyperFlex(HX)に関する一般的な知識について説明します。

一般的に使用される略語

SCVM =ストレージコントローラ仮想マシン

VMNIC =仮想マシンネットワークインターフェースカードの機能

VNIC =仮想ネットワークインターフィースカード

SED =自己暗号化ドライブ

VM =仮想マシン

HX = HyperFlex

HyperFlex VMware VMNICの発注

VMNICの配置は、HXバージョン3.5以降で改訂されました。

3.5より前の発注

バージョン3.5より前では、VNICはVNIC番号に基づいて割り当てられていました。

VNIC

仮想スイッチ(vSwitch)

VNIC 0およびVNIC 1

vSwitch-hx-inband-mgmt

VNIC 2およびVNIC 3

vSwitch-hx-storage-data

VNIC 4およびVNIC 5

vSwitch-hx-vm-network

VNIC 6およびVNIC 7

Vmotion

3.5以降の発注

バージョン3.5以降では、VNICはメディアアクセスコントロール(MAC)アドレスに基づいて割り当てられます。したがって、割り当ての特定の順序はありません。

3.5より前のバージョンから3.5以降へのアップグレードを実行すると、VMNICの順序は維持されます。

注：HX Hyper-Vでは、Hyper-Vは一貫したデバイスの名前付け(CDN)を使用するため、これは適用されません。

コンバージドノードとコンピュートノードのSCVM

SCVMはコンバージドノードとコンピュートノードの両方に存在し、それらの間に違いがあります。

コンバージドノード

CPUリソース予約

SCVMはCisco HX分散データプラットフォームの重要な機能を提供するため、HyperFlexインストーラはコントローラVMのCPUリソース予約を設定します。この予約により、コントローラVMは、ESXiハイパーバイザホストの物理CPUリソースがゲストVMによって大量に消費されている状況において、最小限のレベルで中央処理装置(CPU)リソースを持つことが保証されます。これはソフト保証です。つまり、ほとんどの場合、SCVMは予約されているすべてのCPUリソースを使用していないので、ゲストVMが使用できます。次の表に、ストレージコントローラVMのCPUリソース予約の詳細を示します。

vCPUの数

株式

予約

制限

8

低い

10800 MHZ

無制限

メモリリソースの予約

SCVMはCisco HX分散データプラットフォームの重要な機能を提供するため、HyperFlexインストーラはコントローラVMのメモリリソース予約を設定します。この予約は、ESXiハイパーバイザホストの物理メモリリソースがゲストVMによって大量に消費されている状況において、コントローラVMが最低レベルでメモリリソースを持つことを保証します。次の表に、ストレージコントローラVMのメモリリソース予約の詳細を示します。

サーバモデル

ゲストメモリの量

すべてのゲストメモリの予約

HX 220c-M5SX

HXAF 220c-M5SX

HX 220c-M4S

HXAF220c-M4S

48 GB

Yes

HX 240c-M5SX

HXAF 240c-M5SX

HX240c-M4SX

HXAF240c-M4SX

72 GB

Yes

HX240c-M5L

78 GB

Yes

コンピュートノード

コンピューティング専用ノードには、軽量SCVMがあります。1024MHzおよび512 MBのメモリ予約の1つのvCPUのみで設定されます。

コンピュートノードの目的は、主にvCluster Distributed Resource Scheduler™(DRS)設定を維持し、DRSがユーザVMをコンバージドノードに戻さないようにすることです。

異常なクラスタのシナリオ

HXクラスタは、次のシナリオで不健全な状態に置くことができます。

シナリオ 1：ノードダウン

ノードがダウンすると、クラスタは異常な状態になります。クラスタのアップグレード中またはサーバがメンテナンスモードになると、ノードがダウンすると予想されます。

root@SpringpathController:~# stcli cluster storage-summary --detail

<snip>

current ensemble size:3

# of caching failures before cluster shuts down:2

minimum cache copies remaining:2

minimum data copies available for some user data:2

current healing status:rebuilding/healing is needed, but not in progress yet. warning: insufficient node or space resources may prevent healing. storage node 10.197.252.99is either down or initializing disks.

minimum metadata copies available for cluster metadata:2

# of unavailable nodes:1

# of nodes failure tolerable for cluster to be available:0

health state reason:storage cluster is unhealthy. storage node 10.197.252.99 is unavailable.

# of node failures before cluster shuts down:2

# of node failures before cluster goes into readonly:2

# of persistent devices failures tolerable for cluster to be available:1

# of node failures before cluster goes to enospace warn trying to move the existing data:na

# of persistent devices failures before cluster shuts down:2

# of persistent devices failures before cluster goes into readonly:2

# of caching failures before cluster goes into readonly:na

# of caching devices failures tolerable for cluster to be available:1

resiliencyInfo:

messages:

----------------------------------------

Storage cluster is unhealthy.

----------------------------------------

Storage node 10.197.252.99 is unavailable.

----------------------------------------

state: 2

nodeFailuresTolerable: 0

cachingDeviceFailuresTolerable: 1

persistentDeviceFailuresTolerable: 1

zoneResInfoList: None

spaceStatus: normal

totalCapacity: 3.0T

totalSavings: 5.17%

usedCapacity: 45.9G

zkHealth: online

clusterAccessPolicy: lenient

dataReplicationCompliance: non_compliant

dataReplicationFactor: 3

シナリオ 2：ディスク停止

ディスクが使用できない場合、クラスターは異常な状態になります。データが他のディスクに配布される場合、この状態はクリアされます。

root@SpringpathController:~# stcli cluster storage-summary --detail

<snip>

current ensemble size:3

# of caching failures before cluster shuts down:2

minimum cache copies remaining:2

minimum data copies available for some user data:2

current healing status:rebuilding/healing is needed, but not in progress yet. warning: insufficient node or space resources may prevent healing. storage node is either down or initializing disks.

minimum metadata copies available for cluster metadata:2

# of unavailable nodes:1

# of nodes failure tolerable for cluster to be available:0

health state reason:storage cluster is unhealthy. persistent device disk [5000c5007e113d8b:0000000000000000] on node 10.197.252.99 is unavailable.

# of node failures before cluster shuts down:2

# of node failures before cluster goes into readonly:2

# of persistent devices failures tolerable for cluster to be available:1

# of node failures before cluster goes to enospace warn trying to move the existing data:na

# of persistent devices failures before cluster shuts down:2

# of persistent devices failures before cluster goes into readonly:2

# of caching failures before cluster goes into readonly:na

# of caching devices failures tolerable for cluster to be available:1

resiliencyInfo:

messages:

----------------------------------------

Storage cluster is unhealthy.

----------------------------------------

Persistent Device Disk [5000c5007e113d8b:0000000000000000] on node 10.197.252.99 is unavailable.

----------------------------------------

state: 2

nodeFailuresTolerable: 0

cachingDeviceFailuresTolerable: 1

persistentDeviceFailuresTolerable: 1

zoneResInfoList: None

spaceStatus: normal

totalCapacity: 3.0T

totalSavings: 8.82%

usedCapacity: 45.9G

zkHealth: online

clusterAccessPolicy: lenient

dataReplicationCompliance: non_compliant

dataReplicationFactor: 3

シナリオ 3：ノードもディスクもダウンしない

ノードもディスクもダウンしていない場合、クラスタは異常状態になる可能性があります。この状態は、再構築が進行中の場合に発生します。

root@SpringpathController:~# stcli cluster storage-summary --detail

<snip>

resiliencyDetails:

current ensemble size:5

# of caching failures before cluster shuts down:3

minimum cache copies remaining:3

minimum data copies available for some user data:2

current healing status:rebuilding is in progress, 98% completed.         minimum metadata copies available for cluster metadata:2

time remaining before current healing operation finishes:7 hr(s), 15 min(s), and 34 sec(s)

# of unavailable nodes:0

# of nodes failure tolerable for cluster to be available:1

health state reason:storage cluster is unhealthy.

# of node failures before cluster shuts down:2

# of node failures before cluster goes into readonly:2

# of persistent devices failures tolerable for cluster to be available:1

# of node failures before cluster goes to enospace warn trying to move the existing data:na

# of persistent devices failures before cluster shuts down:2

# of persistent devices failures before cluster goes into readonly:2

# of caching failures before cluster goes into readonly:na

# of caching devices failures tolerable for cluster to be available:2

resiliencyInfo:

messages:

Storage cluster is unhealthy.

state: 2

nodeFailuresTolerable: 1

cachingDeviceFailuresTolerable: 2

persistentDeviceFailuresTolerable: 1

zoneResInfoList: None

spaceStatus: normal

totalCapacity: 225.0T

totalSavings: 42.93%

usedCapacity: 67.7T

clusterAccessPolicy: lenient

dataReplicationCompliance: non_compliant

dataReplicationFactor: 3

コマンドラインインターフェイス(CLI)を使用してSEDクラスタを確認する方法

HX Connectへのアクセスが利用できない場合、CLIを使用してクラスタがSEDであるかどうかを確認できます。

# Check if the cluster is SED capable

root@SpringpathController:~# cat /etc/springpath/sed_capability.conf

sed_capable_cluster=False

# Check if the cluster is SED enabled

root@SpringpathController:~# cat /etc/springpath/sed.conf

sed_encryption_state=unknown

root@SpringpathController:~# /usr/share/springpath/storfs-appliance/sed-client.sh -l

WWN,Slot,Supported,Enabled,Locked,Vendor,Model,Serial,Size

5002538c40a42d38,1,0,0,0,Samsung,SAMSUNG_MZ7LM240HMHQ-00003,S3LKNX0K406548,228936

5000c50030278d83,25,1,1,0,MICRON,S650DC-800FIPS,ZAZ15QDM0000822150Z3,763097

500a07511d38cd36,2,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38CD36,915715

500a07511d38efbe,4,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38EFBE,915715

500a07511d38f350,7,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38F350,915715

500a07511d38eaa6,3,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38EAA6,915715

500a07511d38ce80,6,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38CE80,915715

500a07511d38e4fc,5,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38E4FC,915715

HXメンテナンスモードとESXiメンテナンスモード

HXクラスタの一部であるサーバでメンテナンス作業を実行する必要がある場合は、ESXiメンテナンスモードの代わりにHXメンテナンスモードを使用する必要があります。HXメンテナンスモードを使用するとSCVMが正常にシャットダウンし、ESXiメンテナンスモードを使用するとSCVMが突然シャットダウンします。

ノードがメンテナンスモードの間は、ダウン、つまり1ノード障害と見なされます。

別のノードをメンテナンスモードに移行する前に、クラスタが正常と表示されていることを確認します。

root@SpringpathController:~# stcli cluster storage-summary --detail

<snip>

current ensemble size:3

# of caching failures before cluster shuts down:3

minimum cache copies remaining:3

minimum data copies available for some user data:3

minimum metadata copies available for cluster metadata:3

# of unavailable nodes:0

# of nodes failure tolerable for cluster to be available:1

health state reason:storage cluster is healthy.

# of node failures before cluster shuts down:3

# of node failures before cluster goes into readonly:3

# of persistent devices failures tolerable for cluster to be available:2

# of node failures before cluster goes to enospace warn trying to move the existing data:na

# of persistent devices failures before cluster shuts down:3

# of persistent devices failures before cluster goes into readonly:3

# of caching failures before cluster goes into readonly:na

# of caching devices failures tolerable for cluster to be available:2

resiliencyInfo:

messages:

Storage cluster is healthy.

state: 1

nodeFailuresTolerable: 1

cachingDeviceFailuresTolerable: 2

<snip>

よく寄せられる質問（FAQ）

Cisco HyperFlex M4およびM5サーバには、SCVMはどこにインストールされますか。

SCVMの場所は、Cisco Hyperflex M4サーバとM5サーバで異なります。次の表に、SCVMの場所とその他の有用な情報を示します。

Cisco HXサーバ

ESXi

SCVM

SDA

ソリッドステートドライブ(SSD)のキャッシング

ハウスキーピングSSD

sdb1およびsdb2

HX 220 M4

セキュアデジタル(SDカード)

3.5 G（SDカード）

スロット 2

スロット 1

HX 240 M4

SDカード

PCH制御SSD（esxiはこれを制御します）

スロット 1

PCH制御SSD上

HX 220 M5

M.2ドライブ

M.2ドライブ

スロット 2

スロット 1

HX 240 M5

M.2ドライブ

M.2ドライブ

背面スロットSSD

スロット 1

クラスタが許容できる障害ノードの数はいくつですか。

クラスタが許容できる障害の数は、レプリケーションファクタとアクセスポリシーによって異なります。

5つ以上のノードを持つクラスタ

レプリケーションファクタ(RF)が3で、アクセスポリシーが[Lenient]に設定されている場合、2つのノードで障害が発生しても、クラスタは引き続き読み取り/書き込み状態になります。3つのノードで障害が発生すると、クラスタがシャットダウンされます。

複製係数

アクセスポリシー

失敗したノードの数

読み取り/書き込み

読み取り専用

シャットダウン

3

Lenient

0

—

3

3

Strict

1

0

3

0

Lenient

1

—

0

0

Strict

—

1

0

3ノードと4ノードのクラスタ

RFが3で、アクセスポリシーが[Lenient]または[Strict]に設定されている場合、1つのノードで障害が発生しても、クラスタは引き続き読み取り/書き込み状態になります。2つのノードに障害が発生すると、クラスタはシャットダウンします。

複製係数

アクセスポリシー

失敗したノードの数

読み取り/書き込み

読み取り専用

シャットダウン

3

寛大または厳格

1

—

0

0

Lenient

1

—

0

0

Strict

—

1

0

3ノードクラスタの例(RF:3.アクセスポリシー：Lenient)

グラフィカルユーザインターフェイス(GUI)の例

CLIの例

root@SpringpathController:~# stcli cluster storage-summary --detail

<snip>

current ensemble size:3

# of caching failures before cluster shuts down:3

minimum cache copies remaining:3

minimum data copies available for some user data:3

minimum metadata copies available for cluster metadata:3

# of unavailable nodes:0

# of nodes failure tolerable for cluster to be available:1

health state reason:storage cluster is healthy.

# of node failures before cluster shuts down:3

# of node failures before cluster goes into readonly:3

# of persistent devices failures tolerable for cluster to be available:2

# of node failures before cluster goes to enospace warn trying to move the existing data:na

# of persistent devices failures before cluster shuts down:3

# of persistent devices failures before cluster goes into readonly:3

# of caching failures before cluster goes into readonly:na

# of caching devices failures tolerable for cluster to be available:2

resiliencyInfo:

messages:

Storage cluster is healthy.

state: 1

<snip>

clusterAccessPolicy: lenient

いずれかのSCVMがシャットダウンするとどうなりますか。VMは引き続き機能しますか。

警告：これはSCVMでサポートされている操作ではありません。これはデモ用だけです。

注：一度に1つのSCVMだけがダウンしていることを確認します。また、SCVMをシャットダウンする前に、クラスタが正常であることを確認します。このシナリオは、SCVMがダウンまたは使用できない場合でも、VMとデータストアが機能することを想定していることを示すためにのみ作成されています。

VMは正常に動作し続けます。次の出力例では、SCVMはシャットダウンされましたが、データストアはマウントされたままであり、使用可能です。

[root@node1:~] vim-cmd vmsvc/getallvms

Vmid Name File Guest OS Version Annotation

1 stCtlVM-F       9H [SpringpathDS-F     9H] stCtlVM-F       9H/stCtlVM-F      9H.vmx ubuntu64Guest vmx-13

[root@node1:~] vim-cmd vmsvc/power.off 1

Powering off VM:

[root@node1:~] vim-cmd vmsvc/power.getstate 1

Retrieved runtime info

Powered off

[root@node1:~] esxcfg-nas -l

Test is 10.197.252.106:Test from 3203172317343203629-5043383143428344954 mounted available

ReplSec is 10.197.252.106:ReplSec from 3203172317343203629-5043383143428344954 mounted available

New_DS is 10.197.252.106:New_DS from 3203172317343203629-5043383143428344954 mounted available

SCVMのVMwareハードウェアバージョンが更新されました。次は？

警告：これはSCVMでサポートされている操作ではありません。これはデモ用だけです。

[Compatibility] > [Upgrade VM Compatibility]でVM設定を編集してVMwareハードウェアバージョンをアップグレードすると、vSphere Web ClientがSCVMでサポートされていない操作です。SCVMはHX Connectでオフラインと報告します。

root@SpringpathController0      UE:~# lsblk

NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT

sda      8:0    0  2.5G  0 disk

`-sda1   8:1    0  2.5G  0 part /

sdb      8:16   0  100G  0 disk

|-sdb1   8:17   0   64G  0 part /var/stv

`-sdb2   8:18   0   24G  0 part /var/zookeeper

root@SpringpathController0      UE:~# lsscsi

[2:0:0:0]    disk    VMware   Virtual disk     2.0   /dev/sda

[2:0:1:0]    disk    VMware   Virtual disk     2.0   /dev/sdb

root@SpringpathController0      UE:~# cat /var/log/springpath/diskslotmap-v2.txt

1.11.1:5002538a17221ab0:SAMSUNG:MZIES800HMHP/003:S1N2NY0J201389:EM19:SAS:SSD:763097:Inactive:/dev/sdc

1.11.2:5002538c405537e0:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           98:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdd

1.11.3:5002538c4055383a:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           88:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sde

1.11.4:5002538c40553813:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           49:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdf

1.11.5:5002538c4055380e:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           44:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdg

1.11.6:5002538c40553818:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           54:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdh

1.11.7:5002538c405537d1:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           83:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdi

1.11.8:5002538c405537d8:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           90:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdj

1.11.9:5002538c4055383b:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           89:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdk

1.11.10:5002538c4055381f:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S          61:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdl

1.11.11:5002538c40553823:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S          65:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdm

注意：この操作が誤って実行された場合は、シスコサポートにお問い合わせください。SCVMを再配置する必要があります。