목차

소개

일반적으로 사용되는 약어

HyperFlex VMware VMNIC 주문

3.5 이전 주문

3.5 주문 후

통합 노드의 SCVM 대 컴퓨팅 노드

통합 노드

CPU 리소스 예약

메모리 리소스 예약

컴퓨팅 노드

비정상 클러스터 시나리오

시나리오 1:노드 다운

시나리오 2:디스크 다운

시나리오 3:노드 또는 디스크 다운 안 함

CLI(Command Line Interface)를 사용하여 SED 클러스터를 확인하는 방법

HX 유지 보수 모드 대 ESXi 유지 보수 모드

자주 묻는 질문

Cisco HyperFlex M4 및 M5 Server에 SCVM이 설치된 위치는 어디입니까?

클러스터에서 허용할 수 있는 장애 노드는 몇 개입니까?

5개 이상의 노드가 있는 클러스터

3개 및 4개의 노드가 있는 클러스터

SCVM 중 하나가 종료되면 어떻게 됩니까?VM이 계속 작동합니까?

SCVM의 VMware 하드웨어 버전이 업데이트되었습니다.이제 뭐?

소개

이 문서에서는 관리자가 간편하게 사용할 수 있는 Cisco HyperFlex(HX)에 대한 일반적인 지식을 설명합니다.

일반적으로 사용되는 약어

SCVM = 스토리지 컨트롤러 가상 머신

VMNIC = Virtual Machine Network Interface Card

VNIC = 가상 네트워크 인터페이스 카드

SED = 자체 암호화 드라이브

VM = 가상 머신

HX = HyperFlex

HyperFlex VMware VMNIC 주문

VMNIC 배치가 HX 버전 3.5 이상에서 수정되었습니다.

3.5 이전 주문

버전 3.5 이전의 VNIC는 VNIC 번호를 기반으로 할당되었습니다.

VNIC

가상 스위치(vSwitch)

VNIC 0 및 VNIC 1

vSwitch-hx-inband-mgmt

VNIC 2 및 VNIC 3

vSwitch-hx-storage-data

VNIC 4 및 VNIC 5

vSwitch-hx-vm-network

VNIC 6 및 VNIC 7

vMotion

3.5 주문 후

버전 3.5 이상에서는 VNIC가 MAC(Media Access Control) 주소를 기반으로 할당됩니다.그러므로, 특별히 할당되는 순서가 없다.

3.5 이전 버전에서 3.5 이상으로 업그레이드하는 경우 VMNIC 주문이 유지됩니다.

참고:HX Hyper-V의 경우 Hyper-V가 CDN(Consistent Device Naming)을 사용하므로 이 기능은 적용되지 않습니다.

통합 노드의 SCVM 대 컴퓨팅 노드

SCVM은 컨버지드 노드와 컴퓨팅 노드 모두에 상주하며 두 노드 간에는 차이점이 있습니다.

통합 노드

CPU 리소스 예약

SCVM은 Cisco HX Distributed Data Platform의 중요한 기능을 제공하므로 HyperFlex 설치 프로그램은 컨트롤러 VM에 대한 CPU 리소스 예약을 구성합니다.이 예약은 ESXi 하이퍼바이저 호스트의 물리적 CPU 리소스가 게스트 VM에 의해 과도하게 소비되는 상황에서 컨트롤러 VM에 최소 수준의 CPU(중앙 처리 장치) 리소스가 있음을 보장합니다.이는 소프트 보증으로, 대부분의 경우 SCVM이 예약된 모든 CPU 리소스를 사용하지 않으므로 게스트 VM이 해당 리소스를 사용할 수 있도록 합니다.다음 표에서는 스토리지 컨트롤러 VM의 CPU 리소스 예약을 자세히 설명합니다.

vCPU 수

공유

예약

제한

8

낮음

10800메가헤르츠

무제한

메모리 리소스 예약

SCVM은 Cisco HX Distributed Data Platform의 중요한 기능을 제공하므로 HyperFlex 설치 프로그램은 컨트롤러 VM에 대한 메모리 리소스 예약을 구성합니다.이 예약은 ESXi 하이퍼바이저 호스트의 물리적 메모리 리소스가 게스트 VM에 의해 과도하게 소비되는 상황에서 컨트롤러 VM에 최소 수준의 메모리 리소스가 있음을 보장합니다.다음 표에서는 스토리지 컨트롤러 VM의 메모리 리소스 예약을 자세히 설명합니다.

서버 모델

게스트 메모리 양

모든 게스트 메모리 예약

HX 220c-M5SX

HXAF 220c-M5SX

HX 220c-M4S

HXAF220c-M4S

48GB

예

HX 240c-M5SX

HXAF 240c-M5SX

HX240c-M4SX

HXAF240c-M4SX

72GB

예

HX240c-M5L

78GB

예

컴퓨팅 노드

컴퓨팅 전용 노드에는 경량 SCVM이 있습니다.1024MHz의 1개의 vCPU와 512MB의 메모리 예약으로 구성됩니다.

컴퓨팅 노드를 갖는 목적은 주로 vCluster DRS(Distributed Resource Scheduler™) 설정을 유지 관리하여 DRS에서 사용자 VM을 다시 통합 노드로 이동시키지 않도록 하기 위한 것입니다.

비정상 클러스터 시나리오

HX 클러스터는 다음 시나리오에서 비정상으로 렌더링될 수 있습니다.

시나리오 1:노드 다운

노드가 작동 중지되면 클러스터가 비정상 상태로 전환됩니다.클러스터 업그레이드 중에 또는 서버가 유지 관리 모드에 있을 때 노드가 다운될 것으로 예상됩니다.

root@SpringpathController:~# stcli cluster storage-summary --detail

<snip>

current ensemble size:3

# of caching failures before cluster shuts down:2

minimum cache copies remaining:2

minimum data copies available for some user data:2

current healing status:rebuilding/healing is needed, but not in progress yet. warning: insufficient node or space resources may prevent healing. storage node 10.197.252.99is either down or initializing disks.

minimum metadata copies available for cluster metadata:2

# of unavailable nodes:1

# of nodes failure tolerable for cluster to be available:0

health state reason:storage cluster is unhealthy. storage node 10.197.252.99 is unavailable.

# of node failures before cluster shuts down:2

# of node failures before cluster goes into readonly:2

# of persistent devices failures tolerable for cluster to be available:1

# of node failures before cluster goes to enospace warn trying to move the existing data:na

# of persistent devices failures before cluster shuts down:2

# of persistent devices failures before cluster goes into readonly:2

# of caching failures before cluster goes into readonly:na

# of caching devices failures tolerable for cluster to be available:1

resiliencyInfo:

messages:

----------------------------------------

Storage cluster is unhealthy.

----------------------------------------

Storage node 10.197.252.99 is unavailable.

----------------------------------------

state: 2

nodeFailuresTolerable: 0

cachingDeviceFailuresTolerable: 1

persistentDeviceFailuresTolerable: 1

zoneResInfoList: None

spaceStatus: normal

totalCapacity: 3.0T

totalSavings: 5.17%

usedCapacity: 45.9G

zkHealth: online

clusterAccessPolicy: lenient

dataReplicationCompliance: non_compliant

dataReplicationFactor: 3

시나리오 2:디스크 다운

디스크를 사용할 수 없을 때 클러스터가 비정상 상태로 전환됩니다. 데이터가 다른 디스크에 배포될 때 이 상태를 지워야 합니다.

root@SpringpathController:~# stcli cluster storage-summary --detail

<snip>

current ensemble size:3

# of caching failures before cluster shuts down:2

minimum cache copies remaining:2

minimum data copies available for some user data:2

current healing status:rebuilding/healing is needed, but not in progress yet. warning: insufficient node or space resources may prevent healing. storage node is either down or initializing disks.

minimum metadata copies available for cluster metadata:2

# of unavailable nodes:1

# of nodes failure tolerable for cluster to be available:0

health state reason:storage cluster is unhealthy. persistent device disk [5000c5007e113d8b:0000000000000000] on node 10.197.252.99 is unavailable.

# of node failures before cluster shuts down:2

# of node failures before cluster goes into readonly:2

# of persistent devices failures tolerable for cluster to be available:1

# of node failures before cluster goes to enospace warn trying to move the existing data:na

# of persistent devices failures before cluster shuts down:2

# of persistent devices failures before cluster goes into readonly:2

# of caching failures before cluster goes into readonly:na

# of caching devices failures tolerable for cluster to be available:1

resiliencyInfo:

messages:

----------------------------------------

Storage cluster is unhealthy.

----------------------------------------

Persistent Device Disk [5000c5007e113d8b:0000000000000000] on node 10.197.252.99 is unavailable.

----------------------------------------

state: 2

nodeFailuresTolerable: 0

cachingDeviceFailuresTolerable: 1

persistentDeviceFailuresTolerable: 1

zoneResInfoList: None

spaceStatus: normal

totalCapacity: 3.0T

totalSavings: 8.82%

usedCapacity: 45.9G

zkHealth: online

clusterAccessPolicy: lenient

dataReplicationCompliance: non_compliant

dataReplicationFactor: 3

시나리오 3:노드 또는 디스크 다운 안 함

노드나 디스크가 모두 다운되지 않은 경우 클러스터는 비정상 상태로 전환될 수 있습니다.이 상태는 재구축이 진행 중인 경우 발생합니다.

root@SpringpathController:~# stcli cluster storage-summary --detail

<snip>

resiliencyDetails:

current ensemble size:5

# of caching failures before cluster shuts down:3

minimum cache copies remaining:3

minimum data copies available for some user data:2

current healing status:rebuilding is in progress, 98% completed.         minimum metadata copies available for cluster metadata:2

time remaining before current healing operation finishes:7 hr(s), 15 min(s), and 34 sec(s)

# of unavailable nodes:0

# of nodes failure tolerable for cluster to be available:1

health state reason:storage cluster is unhealthy.

# of node failures before cluster shuts down:2

# of node failures before cluster goes into readonly:2

# of persistent devices failures tolerable for cluster to be available:1

# of node failures before cluster goes to enospace warn trying to move the existing data:na

# of persistent devices failures before cluster shuts down:2

# of persistent devices failures before cluster goes into readonly:2

# of caching failures before cluster goes into readonly:na

# of caching devices failures tolerable for cluster to be available:2

resiliencyInfo:

messages:

Storage cluster is unhealthy.

state: 2

nodeFailuresTolerable: 1

cachingDeviceFailuresTolerable: 2

persistentDeviceFailuresTolerable: 1

zoneResInfoList: None

spaceStatus: normal

totalCapacity: 225.0T

totalSavings: 42.93%

usedCapacity: 67.7T

clusterAccessPolicy: lenient

dataReplicationCompliance: non_compliant

dataReplicationFactor: 3

CLI(Command Line Interface)를 사용하여 SED 클러스터를 확인하는 방법

HX Connect 액세스를 사용할 수 없는 경우 CLI를 사용하여 클러스터가 SED인지 확인할 수 있습니다.

# Check if the cluster is SED capable

root@SpringpathController:~# cat /etc/springpath/sed_capability.conf

sed_capable_cluster=False

# Check if the cluster is SED enabled

root@SpringpathController:~# cat /etc/springpath/sed.conf

sed_encryption_state=unknown

root@SpringpathController:~# /usr/share/springpath/storfs-appliance/sed-client.sh -l

WWN,Slot,Supported,Enabled,Locked,Vendor,Model,Serial,Size

5002538c40a42d38,1,0,0,0,Samsung,SAMSUNG_MZ7LM240HMHQ-00003,S3LKNX0K406548,228936

5000c50030278d83,25,1,1,0,MICRON,S650DC-800FIPS,ZAZ15QDM0000822150Z3,763097

500a07511d38cd36,2,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38CD36,915715

500a07511d38efbe,4,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38EFBE,915715

500a07511d38f350,7,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38F350,915715

500a07511d38eaa6,3,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38EAA6,915715

500a07511d38ce80,6,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38CE80,915715

500a07511d38e4fc,5,1,1,0,MICRON,Micron_5100_MTFDDAK960TCB_SED,17261D38E4FC,915715

HX 유지 보수 모드 대 ESXi 유지 보수 모드

HX 클러스터의 일부인 서버에서 유지 관리 작업을 수행해야 하는 경우 ESXi 유지 관리 모드 대신 HX 유지 관리 모드를 사용해야 합니다.ESXi 유지 보수 모드를 사용할 때 HX 유지 보수 모드가 갑자기 종료되는 동안 SCVM이 정상적으로 종료됩니다.

노드가 유지 보수 모드에 있는 동안 다운된 것으로 간주합니다. 즉, 1 노드 장애가 발생합니다.

다른 노드를 유지 관리 모드로 이동하기 전에 클러스터가 정상 상태로 표시되는지 확인합니다.

root@SpringpathController:~# stcli cluster storage-summary --detail

<snip>

current ensemble size:3

# of caching failures before cluster shuts down:3

minimum cache copies remaining:3

minimum data copies available for some user data:3

minimum metadata copies available for cluster metadata:3

# of unavailable nodes:0

# of nodes failure tolerable for cluster to be available:1

health state reason:storage cluster is healthy.

# of node failures before cluster shuts down:3

# of node failures before cluster goes into readonly:3

# of persistent devices failures tolerable for cluster to be available:2

# of node failures before cluster goes to enospace warn trying to move the existing data:na

# of persistent devices failures before cluster shuts down:3

# of persistent devices failures before cluster goes into readonly:3

# of caching failures before cluster goes into readonly:na

# of caching devices failures tolerable for cluster to be available:2

resiliencyInfo:

messages:

Storage cluster is healthy.

state: 1

nodeFailuresTolerable: 1

cachingDeviceFailuresTolerable: 2

<snip>

자주 묻는 질문

Cisco HyperFlex M4 및 M5 Server에 SCVM이 설치된 위치는 어디입니까?

SCVM 위치는 Cisco Hyperflex M4와 M5 서버 간에 다릅니다.아래 표에는 SCVM의 위치와 기타 유용한 정보가 나와 있습니다.

Cisco HX 서버

ESXi

SCVM

스다

SSD(Solid State Drive) 캐싱

하우스키핑 SSD

sdb1 및 sdb2

HX 220 M4

보안 디지털(SD 카드)

SD 카드의 3.5G

슬롯 2

슬롯 1

HX 240 M4

SD 카드

PCH 제어 SSD에서(esxi가 이를 제어함)

슬롯 1

PCH 제어 SSD에서

HX 220 M5

M.2 드라이브

M.2 드라이브

슬롯 2

슬롯 1

HX 240 M5

M.2 드라이브

M.2 드라이브

후면 슬롯 SSD

슬롯 1

클러스터에서 허용할 수 있는 장애 노드는 몇 개입니까?

클러스터에서 허용할 수 있는 실패 수는 복제 계수 및 액세스 정책에 따라 달라집니다.

5개 이상의 노드가 있는 클러스터

RF(Replication Factor)가 3이고 Access Policy(액세스 정책)가 Unlimited(완화됨)로 설정된 경우, 2개의 노드에 장애가 발생해도 클러스터는 읽기/쓰기 상태로 유지됩니다.3개의 노드에 장애가 발생하면 클러스터가 종료됩니다.

복제 요인

액세스 정책

실패한 노드 수

읽기/쓰기

읽기 전용

종료

3

너그러운

2

—

3

3

엄격한

1

2

3

2

너그러운

1

—

2

2

엄격한

—

1

2

3개 및 4개의 노드가 있는 클러스터

RF가 3이고 액세스 정책이 Unlimited 또는 Strict로 설정된 경우 단일 노드에 장애가 발생할 경우 클러스터는 여전히 읽기/쓰기 상태에 있습니다.2개의 노드에 장애가 발생하면 클러스터가 종료됩니다.

복제 요인

액세스 정책

실패한 노드 수

읽기/쓰기

읽기 전용

종료

3

관대하거나 엄함

1

—

2

2

너그러운

1

—

2

2

엄격한

—

1

2

3노드 클러스터(RF:3, 액세스 정책:약함)

그래픽 사용자 인터페이스(GUI) 예

CLI 예

root@SpringpathController:~# stcli cluster storage-summary --detail

<snip>

current ensemble size:3

# of caching failures before cluster shuts down:3

minimum cache copies remaining:3

minimum data copies available for some user data:3

minimum metadata copies available for cluster metadata:3

# of unavailable nodes:0

# of nodes failure tolerable for cluster to be available:1

health state reason:storage cluster is healthy.

# of node failures before cluster shuts down:3

# of node failures before cluster goes into readonly:3

# of persistent devices failures tolerable for cluster to be available:2

# of node failures before cluster goes to enospace warn trying to move the existing data:na

# of persistent devices failures before cluster shuts down:3

# of persistent devices failures before cluster goes into readonly:3

# of caching failures before cluster goes into readonly:na

# of caching devices failures tolerable for cluster to be available:2

resiliencyInfo:

messages:

Storage cluster is healthy.

state: 1

<snip>

clusterAccessPolicy: lenient

SCVM 중 하나가 종료되면 어떻게 됩니까?VM이 계속 작동합니까?

경고:이 작업은 SCVM에서 지원되지 않습니다. 데모 용도로만 사용됩니다.

참고:한 번에 하나의 SCVM만 다운되었는지 확인합니다.또한 SCVM을 종료하기 전에 클러스터가 정상인지 확인합니다.이 시나리오는 SCVM이 다운되었거나 사용할 수 없는 경우에도 VM과 데이터 저장소가 작동되어야 함을 보여주기 위한 것입니다.

VM은 계속 정상적으로 작동합니다.다음은 SCVM이 종료되었지만 데이터 저장소가 마운트되어 사용 가능한 출력 예입니다.

[root@node1:~] vim-cmd vmsvc/getallvms

Vmid Name File Guest OS Version Annotation

1 stCtlVM-F       9H [SpringpathDS-F     9H] stCtlVM-F       9H/stCtlVM-F      9H.vmx ubuntu64Guest vmx-13

[root@node1:~] vim-cmd vmsvc/power.off 1

Powering off VM:

[root@node1:~] vim-cmd vmsvc/power.getstate 1

Retrieved runtime info

Powered off

[root@node1:~] esxcfg-nas -l

Test is 10.197.252.106:Test from 3203172317343203629-5043383143428344954 mounted available

ReplSec is 10.197.252.106:ReplSec from 3203172317343203629-5043383143428344954 mounted available

New_DS is 10.197.252.106:New_DS from 3203172317343203629-5043383143428344954 mounted available

SCVM의 VMware 하드웨어 버전이 업데이트되었습니다.이제 뭐?

경고:이 작업은 SCVM에서 지원되지 않습니다. 데모 용도로만 사용됩니다.

Compatibility(호환성) > Upgrade VM Compatibility(VM 호환성 업그레이드)에서 VM 설정을 편집하여 VMware 하드웨어 버전을 업그레이드하려면 vSphere Web Client가 SCVM에서 지원되지 않는 작업입니다. SCVM은 HX Connect에서 Offline으로 보고됩니다.

root@SpringpathController0      UE:~# lsblk

NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT

sda      8:0    0  2.5G  0 disk

`-sda1   8:1    0  2.5G  0 part /

sdb      8:16   0  100G  0 disk

|-sdb1   8:17   0   64G  0 part /var/stv

`-sdb2   8:18   0   24G  0 part /var/zookeeper

root@SpringpathController0      UE:~# lsscsi

[2:0:0:0]    disk    VMware   Virtual disk     2.0   /dev/sda

[2:0:1:0]    disk    VMware   Virtual disk     2.0   /dev/sdb

root@SpringpathController0      UE:~# cat /var/log/springpath/diskslotmap-v2.txt

1.11.1:5002538a17221ab0:SAMSUNG:MZIES800HMHP/003:S1N2NY0J201389:EM19:SAS:SSD:763097:Inactive:/dev/sdc

1.11.2:5002538c405537e0:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           98:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdd

1.11.3:5002538c4055383a:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           88:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sde

1.11.4:5002538c40553813:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           49:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdf

1.11.5:5002538c4055380e:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           44:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdg

1.11.6:5002538c40553818:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           54:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdh

1.11.7:5002538c405537d1:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           83:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdi

1.11.8:5002538c405537d8:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           90:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdj

1.11.9:5002538c4055383b:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S           89:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdk

1.11.10:5002538c4055381f:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S          61:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdl

1.11.11:5002538c40553823:Samsung:SAMSUNG_MZ7LM3T8HMLP-00003:S          65:GXT51F3Q:SATA:SSD:3662830:Inactive:/dev/sdm

주의:이 작업이 실수로 수행된 경우 Cisco 지원에 문의하여 추가 지원을 받으십시오.SCVM을 다시 구축해야 합니다.