Hyperflex 클러스터에 비사용자 정의 ESXI 이미지 패치 적용

소개

이 문서에서는 CLI(Command Line Interface) 또는 HX Connect를 통해 Hyperflex ESXI 노드를 비사용자 정의 HX 이미지로 패치하는 프로세스에 대해 설명합니다.

사전 요구 사항

요구 사항

다음 주제에 대한 지식을 보유하고 있으면 유용합니다.

• 하이퍼플렉스
• esxi

사용되는 구성 요소

이 문서의 정보는 다음 소프트웨어 및 하드웨어 버전을 기반으로 합니다.

• HyperFlex Connect 5.0.2d
• Hyperflex 표준 클러스터
• vCenter 8.0
• VMware ESXI, 7.0.3 빌드 23794027
• VMware ESXI, 7.0.3 빌드 24585291(대상 패치)

이 문서의 정보는 특정 랩 환경의 디바이스를 토대로 작성되었습니다. 이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다. 현재 네트워크가 작동 중인 경우 모든 명령의 잠재적인 영향을 미리 숙지하시기 바랍니다.

배경 정보

Cisco는 모든 신규 VMware ESXI 패치 릴리스에 대해 항상 별도의 HyperFlex 번들을 제공하지는 않습니다. 중요 ESXI 업데이트를 사용하면 이 문서에 제시된 방법으로 수동으로 적용할 수 있습니다. 그러나 특정 HyperFlex vSphere Installation Bundles(VIB)에 문제가 발생할 수 있으므로 HyperFlex는 VUM(VMware Update Manager) 또는 vLCM(VMware Lifecycle Manager)을 사용하여 ESXI를 업그레이드하는 것을 권장하지 않습니다.

사용자 지정 패치가 아닌 패치는 동일한 ESXI 버전에만 적용할 수 있습니다. ESXI 7.0 u3을 사용하는 경우 7.0u3+ 패치만 적용할 수 있으며 7.0u3에서 8.0u2 또는 8.0u3으로 업그레이드할 수 없으며 사용자 정의 이미지가 아닌 경우 8.0u2x에서 8.0u3x로 업그레이드할 수 없습니다.

패치를 적용하기 전에 현재 HyperFlex Data Platform(HXDP) 버전이 설치할 ESXi 버전과 호환되는지 확인하십시오. 호환성 차트는 다음과 같습니다.

HXDP 버전이 오래된 경우 먼저 HXDP를 업그레이드한 다음 ESXI를 업그레이드하십시오.

구성

Broadcom 웹 사이트에서 ESXI zip 파일 다운로드

활동을 시작하기 전에 클러스터가 온라인 상태이고 정상인지 확인하십시오.

클러스터의 ESXi 노드에서 Hyperflex, nenic 및 nfnic vib의 초기 버전을 확인합니다.

esxcli 소프트웨어 vib 목록 | egrep -i 'scvmclient|STFSNasPlugin|stHypervisorSvc|nenic|nfnic'

CLI를 통한 업그레이드

1단계. HX Connect(HX 연결)에서 System Information(시스템 정보) > Nodes(노드)로 이동하여 호스트 중 하나를 선택하고 Enter HX Maintenance Mode(HX 유지 관리 모드 입력)를 클릭합니다.

호스트가 유지 보수 모드로 전환되면 다음 단계로 이동합니다.

2단계. zip 파일을 호스트에 전송합니다.

vCenter를 통해 마운트된 데이터 저장소에 업로드할 수 있습니다.
원하는 데이터 저장소로 이동하여 Files(파일)를 선택한 다음 UPLOAD FILES(파일 업로드)를 선택하고 zip 파일을 업로드합니다. 아래 그림에는 Upgrade라는 데이터 저장소가 사용됩니다.

또한 SCP가 있는 충분한 공간이 있는 적절한 폴더에 ESXI 업그레이드 번들을 원격 보안 복사할 수 있습니다.

scp local_filename user@ESXIserver:/path/where/file/should/go

3단계. 유지 관리 모드에서 ESXI 호스트에 SSH를 연결하고 ESXI 업그레이드 번들이 복사된 데이터 저장소 폴더로 이동합니다. 이 시나리오에서 파일은 업그레이드 데이터 저장소에서 사용할 수 있습니다.

[root@Monterrey-server-1:~]cd /vmfs/volumes/Upgrade

vmware -v 명령을 사용하여 현재 버전을 확인할 수 있습니다.

[root@Monterrey-server-1:~] vmware -v
VMware ESXi 7.0.3 build-23794027

패키지 프로파일 세부사항을 보려면 다음 명령을 실행합니다. esxcli 소프트웨어 소스 프로파일 목록 -d /complete/path/VMware-ESXi ...우편번호

[root@Monterrey-server-1:/vmfs/volumes/2f27e295-70f773c4] esxcli software sources profile list -d /vmfs/volumes/Upgrade/VMware-ESXi-7.0U3s-24585291-depot.zip
Name                           Vendor        Acceptance Level  Creation Time        Modification Time
-----------------------------  ------------  ----------------  -------------------  -----------------
ESXi-7.0U3s-24585291-standard  VMware, Inc.  PartnerSupported  2025-03-04T00:00:00  2025-03-04T00:00:00
ESXi-7.0U3s-24585291-no-tools  VMware, Inc.  PartnerSupported  2025-03-04T00:00:00  2025-02-21T03:24:14

4단계. 다음 명령을 실행하여 패치를 설치합니다. esxcli 소프트웨어 프로파일 업데이트 -d /complete/path/VMware-ESXi ...zip -p PackageProfileName을 입력하고 결과가 표시될 때까지 기다립니다.

root@Monterrey-server-1:/vmfs/volumes/2f27e295-70f773c4] esxcli software profile update -d /vmfs/volumes/Upgrade/VMware-ESXi-7.0U3s-24585291-depot.zip -p ESXi-7.0U3s-24585291-standard
Update Result
   Message: The update completed successfully, but the system needs to be rebooted for the changes to be effective.
   Reboot Required: true
   VIBs Installed: VMware_bootbank_bmcal_7.0.3-0.135.24585291, VMware_bootbank_cpu-microcode_7.0.3-0.135.24585291, VMware_bootbank_crx_7.0.3-0.135.24585291, VMware_bootbank_esx-base_7.0.3-0.135.24585291, VMware_bootbank_esx-dvfilter-generic-fastpath_7.0.3-0.135.24585291, VMware_bootbank_esx-update_7.0.3-0.135.24585291, VMware_bootbank_esx-xserver_7.0.3-0.135.24585291, VMware_bootbank_esxio-combiner_7.0.3-0.135.24585291, VMware_bootbank_gc_7.0.3-0.135.24585291, VMware_bootbank_loadesx_7.0.3-0.135.24585291, VMware_bootbank_native-misc-drivers_7.0.3-0.135.24585291, VMware_bootbank_trx_7.0.3-0.135.24585291, VMware_bootbank_vdfs_7.0.3-0.135.24585291, VMware_bootbank_vsan_7.0.3-0.135.24585291, VMware_bootbank_vsanhealth_7.0.3-0.135.24585291
   VIBs Removed: VMware_bootbank_bmcal_7.0.3-0.125.23794027, VMware_bootbank_cpu-microcode_7.0.3-0.125.23794027, VMware_bootbank_crx_7.0.3-0.125.23794027, VMware_bootbank_esx-base_7.0.3-0.125.23794027, VMware_bootbank_esx-dvfilter-generic-fastpath_7.0.3-0.125.23794027, VMware_bootbank_esx-update_7.0.3-0.125.23794027, VMware_bootbank_esx-xserver_7.0.3-0.125.23794027, VMware_bootbank_esxio-combiner_7.0.3-0.125.23794027, VMware_bootbank_gc_7.0.3-0.125.23794027, VMware_bootbank_loadesx_7.0.3-0.125.23794027, VMware_bootbank_native-misc-drivers_7.0.3-0.125.23794027, VMware_bootbank_trx_7.0.3-0.125.23794027, VMware_bootbank_vdfs_7.0.3-0.125.23794027, VMware_bootbank_vsan_7.0.3-0.125.23794027, VMware_bootbank_vsanhealth_7.0.3-0.125.23794027
   VIBs Skipped: VMW_bootbank_atlantic_1.0.3.0-8vmw.703.0.20.19193900, VMW_bootbank_bnxtnet_216.0.50.0-44vmw.703.0.50.20036589, VMW_bootbank_bnxtroce_216.0.58.0-23vmw.703.0.50.20036589, VMW_bootbank_brcmfcoe_12.0.1500.2-3vmw.703.0.20.19193900, VMW_bootbank_elxiscsi_12.0.1200.0-9vmw.703.0.20.19193900, VMW_bootbank_elxnet_12.0.1250.0-5vmw.703.0.20.19193900, VMW_bootbank_i40en_1.11.1.32-1vmw.703.0.125.23794027, VMW_bootbank_iavmd_2.7.0.1157-3vmw.703.0.105.22348816, VMW_bootbank_icen_1.4.1.20-1vmw.703.0.50.20036589, VMW_bootbank_igbn_1.4.11.2-1vmw.703.0.20.19193900, VMW_bootbank_ionic-en_16.0.0-16vmw.703.0.20.19193900, VMW_bootbank_irdman_1.3.1.22-1vmw.703.0.50.20036589, VMW_bootbank_iser_1.1.0.1-1vmw.703.0.50.20036589, VMW_bootbank_ixgben_1.7.1.35-1vmw.703.0.20.19193900, VMW_bootbank_lpfc_14.0.169.26-5vmw.703.0.50.20036589, VMW_bootbank_lpnic_11.4.62.0-1vmw.703.0.20.19193900, VMW_bootbank_lsi-mr3_7.718.02.00-1vmw.703.0.20.19193900, VMW_bootbank_lsi-msgpt2_20.00.06.00-4vmw.703.0.20.19193900, VMW_bootbank_lsi-msgpt35_19.00.02.00-1vmw.703.0.20.19193900, VMW_bootbank_lsi-msgpt3_17.00.12.00-2vmw.703.0.105.22348816, VMW_bootbank_mtip32xx-native_3.9.8-1vmw.703.0.20.19193900, VMW_bootbank_ne1000_0.9.0-1vmw.703.0.50.20036589, VMW_bootbank_nenic_1.0.33.0-1vmw.703.0.20.19193900, VMW_bootbank_nfnic_4.0.0.70-1vmw.703.0.20.19193900, VMW_bootbank_nhpsa_70.0051.0.100-4vmw.703.0.20.19193900, VMW_bootbank_nmlx4-core_3.19.16.8-2vmw.703.0.20.19193900, VMW_bootbank_nmlx4-en_3.19.16.8-2vmw.703.0.20.19193900, VMW_bootbank_nmlx4-rdma_3.19.16.8-2vmw.703.0.20.19193900, VMW_bootbank_nmlx5-core_4.19.16.11-1vmw.703.0.20.19193900, VMW_bootbank_nmlx5-rdma_4.19.16.11-1vmw.703.0.20.19193900, VMW_bootbank_ntg3_4.1.9.0-5vmw.703.0.90.21686933, VMW_bootbank_nvme-pcie_1.2.3.16-3vmw.703.0.105.22348816, VMW_bootbank_nvmerdma_1.0.3.5-1vmw.703.0.20.19193900, VMW_bootbank_nvmetcp_1.0.0.3-1vmw.703.0.125.23794027, VMW_bootbank_nvmxnet3-ens_2.0.0.22-1vmw.703.0.20.19193900, VMW_bootbank_nvmxnet3_2.0.0.30-1vmw.703.0.20.19193900, VMW_bootbank_pvscsi_0.1-4vmw.703.0.20.19193900, VMW_bootbank_qcnic_1.0.15.0-14vmw.703.0.20.19193900, VMW_bootbank_qedentv_3.40.5.53-22vmw.703.0.20.19193900, VMW_bootbank_qedrntv_3.40.5.53-18vmw.703.0.20.19193900, VMW_bootbank_qfle3_1.0.67.0-22vmw.703.0.20.19193900, VMW_bootbank_qfle3f_1.0.51.0-22vmw.703.0.20.19193900, VMW_bootbank_qfle3i_1.0.15.0-15vmw.703.0.20.19193900, VMW_bootbank_qflge_1.1.0.11-1vmw.703.0.20.19193900, VMW_bootbank_rste_2.0.2.0088-7vmw.703.0.20.19193900, VMW_bootbank_sfvmk_2.4.0.2010-6vmw.703.0.20.19193900, VMW_bootbank_smartpqi_70.4149.0.5000-1vmw.703.0.20.19193900, VMW_bootbank_vmkata_0.1-1vmw.703.0.20.19193900, VMW_bootbank_vmkfcoe_1.0.0.2-1vmw.703.0.20.19193900, VMW_bootbank_vmkusb_0.1-8vmw.703.0.85.21424296, VMW_bootbank_vmw-ahci_2.0.11-3vmw.703.0.125.23794027, VMware_bootbank_elx-esx-libelxima.so_12.0.1200.0-4vmw.703.0.20.19193900, VMware_bootbank_esx-ui_2.13.2-22721163, VMware_bootbank_lsuv2-hpv2-hpsa-plugin_1.0.0-3vmw.703.0.20.19193900, VMware_bootbank_lsuv2-intelv2-nvme-vmd-plugin_2.7.2173-1vmw.703.0.20.19193900, VMware_bootbank_lsuv2-lsiv2-drivers-plugin_1.0.0-12vmw.703.0.50.20036589, VMware_bootbank_lsuv2-nvme-pcie-plugin_1.0.0-1vmw.703.0.20.19193900, VMware_bootbank_lsuv2-oem-dell-plugin_1.0.0-1vmw.703.0.20.19193900, VMware_bootbank_lsuv2-oem-hp-plugin_1.0.0-1vmw.703.0.20.19193900, VMware_bootbank_lsuv2-oem-lenovo-plugin_1.0.0-1vmw.703.0.20.19193900, VMware_bootbank_lsuv2-smartpqiv2-plugin_1.0.0-9vmw.703.0.105.22348816, VMware_bootbank_qlnativefc_4.1.14.0-26vmw.703.0.20.19193900, VMware_bootbank_vmware-esx-esxcli-nvme-plugin_1.2.0.44-1vmw.703.0.20.19193900, VMware_locker_tools-light_12.3.5.22544099-23794019

5단계. 업그레이드가 완료되면 ESXi 호스트를 다시 시작합니다. 

6단계. 호스트에 SSH를 입력하고 다음 명령을 사용하여 버전을 확인합니다. vmware -v

[root@Monterrey-server-1:~] vmware -v
VMware ESXi 7.0.3 build-24585291

7단계. 유지 관리 모드에서 노드를 종료하고 클러스터가 정상화될 때까지 기다립니다.

HX-Connect를 열고 System Information(시스템 정보) > Nodes(노드)를 선택하고 유지 보수 모드에서 노드를 선택한 다음 Exit HX Maintenance Mode(HX 유지 보수 모드 종료)를 클릭합니다

Hyperflex 클러스터에서 복구를 완료하는 데 몇 분 정도 걸립니다. HX Connect Dashboard(HX 연결 대시보드)에는 Operational Status(운영 상태), Online(온라인)이어야 하며, Resiliency Health(복원력 상태)에는 Healthy(정상)가 표시되어야 합니다..
또한 VCenter에서 서버가 모든 데이터 저장소를 볼 수 있는지 확인합니다. 

클러스터의 일부인 모든 노드에서 한 번에 하나씩 단계를 반복합니다.

HX Connect UI를 통한 업그레이드

Upgrade(업그레이드) 탭으로 이동하여 ESXI upgrade type(ESXI 업그레이드 유형)을 선택하고 ESXI 업그레이드 파일을 업로드합니다.

참고: 클러스터가 HX 버전 5.5 또는 6.0에 있는 경우 HX Data Platform을 선택하고 현재 버전의 HX 번들을 업로드하여 통합 업그레이드를 수행해야 합니다

파일이 업로드되면 vCenter 자격 증명을 입력하고 Upgrade(업그레이드)를 클릭합니다.

첫 번째 단계는 업그레이드를 확인하는 것입니다. DRS(Distributed Resource Scheduler)가 활성화된 경우 VM이 자동으로 다른 호스트로 이동합니다. 

Skip Validations(검증 건너뛰기) 및 upgrade start automatically(자동 업그레이드 시작)를 클릭합니다.

업그레이드 프로세스를 모니터링합니다.

참고: DRS가 비활성화된 경우, VM을 수동으로 vMotion하여 업그레이드 프로세스를 계속 진행합니다.

클러스터의 모든 노드에서 업그레이드가 완료될 때까지 기다립니다.

다음을 확인합니다.

System Information(시스템 정보) 탭의 HX Connect에서 ESXI 설치 버전을 확인할 수 있습니다.

vCenter의 서버 요약에서 ESXI 버전을 확인할 수 있습니다.

ESXI 이미지는 비사용자 맞춤이므로 Hyperflex VIB가 서버에 여전히 그대로 표시되는지 확인해야 합니다.

패치가 완료된 후 다음 노드로 시작하기 전에 각 ESXI 호스트에 SSH를 실행하여 다음 명령으로 Hyperflex VIB를 확인합니다. esxcli 소프트웨어 vib 목록 | egrep -i 'scvmclient|STFSNasPlugin|stHypervisorSvc'

참고: ESXi 7.0 U3 버전에서 vmware-esx-STFSNasPlugin이 CIS-ESX-STFSNasPlugi로 변경되었습니다.
          버전 ESXi 8.0 U1에서 stHypervisorSvc가 sthypervisorsvc로 변경되었습니다.

[root@Monterrey-server-1:~] esxcli software vib list | egrep -i 'scvmclient|STFSNasPlugin|stHypervisorSvc'
CIS-ESX-STFSNasPlugin          4.5.1-11                               CIS     VMwareAccepted    2023-10-25
scvmclient                     5.5.1-38                               CIS     VMwareAccepted    2023-11-25
stHypervisorSvc                4.5.1-11                               CIS     VMwareAccepted    2023-10-24

주의: 특정 시나리오에서 비사용자 정의 이미지는 사용자 정의 이미지의 버전과 다른 버전으로 nenic 및 nfnic VIB를 덮어쓸 수 있습니다. 패치 후에 올바른 버전이 있는지 확인해야 합니다.

패치가 완료된 후 다음 노드로 시작하기 전에 각 ESXI 호스트에 SSH를 실행하여 다음 명령으로 Hyperflex VIB를 확인합니다. esxcli 소프트웨어 vib 목록 | egrep -i 'nenic|nfnic'

[root@Monterrey-server-3:~]  esxcli software vib list | egrep -i 'nenic|nfnic'
nfnic                          5.0.0.43-1OEM.700.1.0.15843807         CIS     VMwareCertified   2025-02-23
nenic-ens                      1.0.6.0-1OEM.700.1.0.15843807          Cisco   VMwareCertified   2023-10-25
nenic                          2.0.10.0-1OEM.700.1.0.15843807         Cisco   VMwareCertified   2024-03-17

문제 해결

Nenic 또는 nfnic를 다른 버전으로 덮어쓴 경우 software.cisco.com에서 동일한 버전의 ESXI 사용자 정의 zip 이미지를 다운로드하여 올바른 버전을 설치할 수 있습니다. 이미지 a의 압축을 풀고 vib 디렉토리에서 nenic 및 nfnic 디렉토리를 찾습니다. vib 파일의 압축을 풀고 vCenter를 통해 서버에 마운트된 데이터 저장소에 업로드합니다. 클러스터가 온라인 상태이고 정상인지 확인합니다.

1단계. HX Connect(HX 연결)에서 System Information(시스템 정보) > Nodes(노드)로 이동하여 호스트 중 하나를 선택하고 Enter HX Maintenance Mode(HX 유지 관리 모드 입력)를 클릭합니다.

호스트가 유지 보수 모드로 전환되면 다음 단계로 이동합니다.

유지 보수 모드에서 ESXI 호스트에 SSH를 연결하고 ESXI vib 파일이 복사된 데이터 저장소 폴더로 이동합니다. 이 시나리오에서 파일은 업그레이드 데이터 저장소에서 사용할 수 있습니다

[root@Monterrey-server-3:~] cd /vmfs/volumes/Upgrade

[root@Monterrey-server-3:/vmfs/volumes/2f27e295-70f773c4] ls
CIS_bootbank_nenic_2.0.10.0-1OEM.700.1.0.15843807.vib               

vib를 업그레이드하려면 다음 명령을 실행합니다. esxcli 소프트웨어 vib 업데이트 -v "/complete/path/vib-file.vib" -f

[root@Monterrey-server-3:/vmfs/volumes/2f27e295-70f773c4] esxcli software vib update -v "/vmfs/volumes/Upgrade/CIS_bootbank_nenic_2.0.10.0-1OEM.700.1.0.15843807.vib" -f
Installation Result
   Message: The update completed successfully, but the system needs to be rebooted for the changes to be effective.
   Reboot Required: true
   VIBs Installed: CIS_bootbank_nenic_2.0.10.0-1OEM.700.1.0.15843807
   VIBs Removed: Cisco_bootbank_nenic_1.0.45.0-1OEM.700.1.0.15843807
   VIBs Skipped: 

vib 업데이트가 완료되면 ESXi 호스트를 다시 시작합니다.

SSH를 호스트에 연결하고 esxcli software vib list 명령을 사용하여 vib가 성공적으로 업데이트되었는지 확인합니다. | egrep -i 'nenic|nfnic'

유지 보수 모드에서 노드를 종료하고 클러스터가 정상화될 때까지 기다립니다.

HX-Connect를 열고 System Information(시스템 정보) > Nodes(노드)를 선택하고 유지 보수 모드에서 노드를 선택한 다음 Exit HX Maintenance Mode(HX 유지 보수 모드 종료)를 클릭합니다

서버가 SD 카드에서 부팅되는 경우 패치를 적용하는 동안 알려진 문제가 발생할 수 있습니다. "untar 프로세스를 기다리는 동안 오류로 인해 호스트를 수정할 수 없습니다." 이 문제는 리미디에이션 프로세스 동안 개별 VIB의 untar 작업이 기본 시간 제한인 30초를 초과할 때 발생합니다. SD 카드를 OSData 파티션으로 사용하는 환경에서는 VMware 툴에서 untar 프로세스를 수행하는 데 시간이 약간 더 걸릴 가능성이 있습니다. 이 글을 참고하여 해결할 수 있다.