Hyperflex 클러스터에서 디스조인트 레이어 2 구성

소개

이 문서에서는 UCS Manager(UCSM) 및 ESXi 관점에서 HX 클러스터에 DL2(Disjoint Layer 2) 컨피그레이션을 구현하는 방법에 대해 설명합니다.

사전 요구 사항

요구 사항

다음 주제에 대한 지식을 보유하고 있으면 유용합니다.

• DL2 구성에 대한 기본 이해
• Hyperflex Cluster에 대한 기본 지식
• vNIC, 서비스 프로파일 및 템플릿에 대한 권장 UCSM 지식

기타 요구 사항은 다음과 같습니다.

• 각 패브릭 인터커넥트에 하나 이상의 사용 가능한 링크와 업스트림 스위치에 있는 두 개의 사용 가능한 링크.
• Fabric Interconnect와 업스트림 스위치 사이의 링크는 가동 상태여야 하며 업링크로 구성되어야 합니다. 그렇지 않은 경우 이 시스템 구성 - 포트 구성을 선택하여 UCSM에서 구성합니다.
• 사용할 VLAN은 UCSM에서 이미 생성해야 합니다. 그렇지 않은 경우 네트워크 컨피그레이션 - 명명된 VLAN 구성 단계를 수행합니다.

• 사용할 VLAN은 이미 업스트림 스위치에 생성해야 합니다.
• 사용할 VLAN은 서비스 프로필의 다른 vNIC(가상 NIC)에 존재할 수 없습니다.

사용되는 구성 요소

이 문서는 특정 소프트웨어 및 하드웨어 버전으로 한정되지 않습니다.

• UCS-FI-6248UP 2개
• N5K-C5548UP 2개
• UCSM 버전 4.2(1f)

이 문서의 정보는 특정 랩 환경의 디바이스를 토대로 작성되었습니다. 이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다. 현재 네트워크가 작동 중인 경우 모든 명령의 잠재적인 영향을 미리 숙지하시기 바랍니다.

네트워크 다이어그램

 

 

설정

DL2 컨피그레이션은 업스트림 디바이스로 향하는 특정 업링크에서 트래픽을 분리하는 데 사용되므로 VLAN 트래픽이 혼합되지 않습니다.

새 vNIC 구성

1단계. UCSM에 로그인하고 왼쪽 패널의 LAN 탭을 클릭합니다.

Policies(정책) > root(루트) > Sub-organizations(하위 조직) > Sub-organization name(하위 조직 이름) > vNIC templates(vNIC 템플릿)로 이동합니다. 마우스 오른쪽 버튼으로 vNIC Template(vNIC 템플릿 생성)을 클릭합니다. 

2단계. 템플릿 이름을 지정하고 패브릭 A를 선택한 상태로 아래로 스크롤한 다음 새 링크에 적합한 VLAN을 선택합니다. 나머지 설정은 원하는 대로 구성할 수 있습니다.

그런 다음 동일한 프로세스를 반복하되 이번에는 패브릭 B를 선택합니다.

3단계. LAN 탭에서 Policies(정책) > root(루트) > Sub-organizations(하위 조직) > Sub-organizations name(하위 조직 이름) > LAN Connectivity Policies(LAN 연결 정책) > Hyperflex 

 

4단계. Add(추가)를 클릭하고 vNIC의 이름을 지정한 다음 드롭다운 메뉴에서 MAC 풀을 선택합니다.

Use vNIC Template(vNIC 템플릿 사용) 및 Redundancy Pair(이중화 쌍) 상자를 선택합니다. vNIC Template(vNIC 템플릿) 드롭다운에서 새 템플릿을 선택하고 옆에 다음을 입력합니다. 피어 이름입니다.

원하는 어댑터 정책을 선택하고 OK(확인)를 클릭합니다. 

5단계. vNIC 목록에서 방금 생성한 피어의 Peer를 찾아 선택한 다음 수정.

Use vNIC Template(vNIC 템플릿 사용) 상자를 클릭하고 드롭다운에서 생성한 다른 템플릿을 선택합니다.
하단에서 Save Changes(변경 사항 저장)를 클릭하면 관련 서버에 대한 Pending Activities(보류 중 활동)가 트리거됩니다.

보류 중 활동 승인

1단계. HX Connect에 로그인하고 System Information(시스템 정보) > Nodes(노드)로 이동하여 노드 중 하나를 클릭한 다음 Enter HX Maintenance Mode(HX 유지 관리 모드 입력)를 클릭하고 작업이 완료될 때까지 기다립니다. 

2단계. vCenter에서 노드가 유지 관리 중인지 확인합니다.

3단계. 노드가 유지 보수 중이면 UCSM으로 돌아가 오른쪽 상단 모서리의 벨 아이콘을 클릭하고 Reboot Now(지금 재부팅)에서 클릭합니다.

 현재 유지 관리 중인 서버와 일치하는 확인란을 선택한 다음 OK(확인)를 클릭합니다. 

4단계. 서버가 부팅된 후 Servers(서버) > Service Profiles(서비스 프로필) > root(루트) > Sub-Organizations(하위 조직) > Sub-organizations name(하위 조직 이름) > Service Profile name(서비스 프로필 이름)으로 이동하여 새 vNIC가 있는지 확인합니다.

Network(네트워크)를 클릭하고 아래로 스크롤하면 새 vNIC가 있어야 합니다.

  

5단계. HX Connect UI에서 서버를 유지 관리 모드에서 해제합니다.

Exit HX Maintenance Mode를 클릭합니다.

서버의 유지 관리가 중단되면 SCVM(Storage Controller Virtual Machine)이 부팅되고 클러스터가 복구 프로세스를 시작합니다.

복구 프로세스를 모니터링하려면 Hyperflex(HX) Cluster Manager IP에 SSH를 입력하고 다음 명령을 실행합니다.

sysmtool --ns cluster --cmd healthdetail​

Cluster Health Detail:
---------------------:
State: ONLINE
HealthState: HEALTHY
Policy Compliance: COMPLIANT
Creation Time: Tue May 30 04:48:45 2023
Uptime: 7 weeks, 1 days, 15 hours, 50 mins, 17 secs
Cluster Resiliency Detail:
-------------------------:
Health State Reason: Storage cluster is healthy.
# of nodes failure tolerable for cluster to be fully available: 1
# of node failures before cluster goes into readonly: NA
# of node failures before cluster goes to be crticial and partially available: 3
# of node failures before cluster goes to enospace warn trying to move the existing data: NA
# of persistent devices failures tolerable for cluster to be fully available: 2
# of persistent devices failures before cluster goes into readonly: NA
# of persistent devices failures before cluster goes to be critical and partially available: 3
# of caching devices failures tolerable for cluster to be fully available: 2
# of caching failures before cluster goes into readonly: NA
# of caching failures before cluster goes to be critical and partially available: 3
Current ensemble size: 3
Minimum data copies available for some user data: 3
Minimum cache copies remaining: 3
Minimum metadata copies available for cluster metadata: 3
Current healing status:
Time remaining before current healing operation finishes:
# of unavailable nodes: 0

6단계. 클러스터가 정상이면 1-6단계를 반복합니다. 모든 서버에 새 vNIC가 있을 때까지 다음 단계를 진행하지 마십시오.

VLAN 구성

1단계. UCSM에서 LAN > VLANs > VLAN Groups(VLAN 그룹)로 이동하고 Add(추가)를 클릭합니다.

2단계. VLAN 그룹의 이름을 지정하고 아래에서 적절한 VLAN을 선택하고 Next(다음)를 클릭한 다음 마법사의 2단계로 이동하여 단일 업링크 포트를 추가하거나 3단계로 이동하여 포트 채널을 추가합니다.

3단계. 업링크 포트 또는 포트 채널을 클릭하고 >> 아이콘을 클릭하여 추가합니다. 하단에서 Finish(마침)를 클릭합니다. 

 

ESXi 컨피그레이션

1단계. ESXi 호스트의 vSphere에 로그인하고 Networking(네트워킹) > Virtual Switches(가상 스위치)로 이동한 다음 표준 가상 스위치를 추가합니다.

2단계. vSwitch의 이름을 지정하고 새 vmnic 중 하나가 이미 있습니다. Add uplink(업링크 추가)를 클릭하여 두 번째 ^vnic를 추가합니다. Add(추가)를 클릭합니다. 

3단계. Networking(네트워킹) > Port groups(포트 그룹)로 이동하고 Add port group(포트 그룹 추가)을 클릭합니다

4단계. 포트 그룹의 이름을 지정하고 원하는 VLAN을 입력한 다음 드롭다운에서 새 가상 스위치를 선택합니다. 

5단계. 새 링크를 통해 흐르는 각 VLAN에 대해 4단계를 반복합니다.

6단계. 클러스터의 일부인 각 서버에 대해 1-5단계를 반복합니다.

다음을 확인합니다.

UCSM 확인 

Equipment(장비) > Rack-Mounts(랙 마운트) > Servers(서버) > Server #(서버 번호) > VIF Paths(VIF 경로)로 이동하고 vNIC 열에서 Path A 또는 B(경로 A 또는 B)를 확장하여 DL2 vNIC와 일치하는 가상 회로를 찾고 해당 가상 회로를 최근에 구성된 FI(Fabric Interconnect) 업링크 또는 포트 채널에 고정해야 합니다.

CLI 확인 

VIF(Virtual Interface) 경로 

Fabric Interconnect에 대한 SSH 세션에서 다음 명령을 실행합니다. 

show service-profile circuit server <server-number>

이 명령은 VIF 경로, 해당 vNIC 및 해당 경로가 고정된 인터페이스를 표시합니다.

    Fabric ID: A
        Path ID: 1
        VIF        vNIC            Link State  Oper State Prot State    Prot Role   Admin Pin  Oper Pin   Transport
        ---------- --------------- ----------- ---------- ------------- ----------- ---------- ---------- ---------
               966 hv-mgmt-a       Up          Active     No Protection Unprotected 0/0/0      0/0/1      Ether
               967 storage-data-a  Up          Active     No Protection Unprotected 0/0/0      0/0/1      Ether
               968 vm-network-a    Up          Active     No Protection Unprotected 0/0/0      0/0/1      Ether
               969 hv-vmotion-a    Up          Active     No Protection Unprotected 0/0/0      0/0/1      Ether
               990 network-DL2-a   Up          Active     No Protection Unprotected 0/0/0      1/0/14     Ether

Oper Pin(작동 핀) 열에는 DL2 vNIC와 동일한 행 아래에 최근에 구성된 FI 업링크 또는 포트 채널이 표시되어야 합니다.  

이 출력에서 vm-network-DL2-b vNIC에 해당하는 VIF 990은 인터페이스 1/0/14에 피닝됩니다.

업링크에서 고정 

Fabric-Interconnect-A# connect nx-os a
Fabric-Interconnect-A(nxos)# show pinning border-interfaces

--------------------+---------+----------------------------------------
Border Interface     Status    SIFs
--------------------+---------+----------------------------------------
Eth1/14              Active    sup-eth2 Veth990 Veth992 Veth994

이 출력에서 Veth 번호는 이전 출력에 표시된 VIF 번호와 일치해야 하며 올바른 업링크 인터페이스와 동일한 줄에 있어야 합니다.

지정된 수신자: 

Fabric-Interconnect-A# connect nx-os a
Fabric-Interconnect-A(nxos)# show platform software enm internal info vlandb id <VLAN-ID>

vlan_id 469
-------------
Designated receiver: Eth1/14
Membership:
Eth1/14

이 출력에서 올바른 업링크가 표시되어야 합니다.

업스트림 스위치

업스트림 스위치에 대한 SSH 세션에서 MAC 주소 테이블을 확인할 수 있으며 이 VLAN에 있는 모든 VM(가상 머신)의 MAC 주소를 표시해야 합니다. 

Nexus-5K# show mac address-table vlan 469
Legend:
        * - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
        age - seconds since last seen,+ - primary entry using vPC Peer-Link
   VLAN     MAC Address      Type      age     Secure NTFY   Ports/SWID.SSID.LID
---------+-----------------+--------+---------+------+----+------------------
* 469      0000.0c07.ac45    static    0          F    F  Router
* 469      002a.6a58.e3bc    static    0          F    F  Po1
* 469      0050.569b.048c    dynamic   50         F    F  Eth1/14
* 469      547f.ee6a.8041    static    0          F    F  Router

이 컨피그레이션 예에서 VLAN 469는 디스조인트 VLAN이며, MAC 주소 0050:569B:048C는 vSwitch vswitch-hx-DL2에 할당된 Linux VM 및 포트 그룹 DL2-vm-network-469에 속하며, Fabric Interconnect에 연결된 업스트림 스위치의 인터페이스인 인터페이스 Ethernet 1/14에 올바르게 표시됩니다.

동일한 세션에서 업스트림 스위치까지 VLAN 컨피그레이션을 확인할 수 있습니다.

Nexus-5K# show vlan brief

VLAN Name                             Status    Ports
---- -------------------------------- --------- -------------------------------
1    default                          active    Eth1/5, Eth1/8, Eth1/9, Eth1/10
                                                Eth1/11, Eth1/12, Eth1/13
                                                Eth1/15, Eth1/16, Eth1/17
                                                Eth1/19, Eth1/20, Eth1/21
                                                Eth1/22, Eth1/23, Eth1/24
                                                Eth1/25, Eth1/26
469  DMZ                              active    Po1, Eth1/14, Eth1/31, Eth1/32

이 출력에서 인터페이스 Ethernet 1/14는 VLAN 469에 올바르게 할당됩니다. 

문제 해결

UCSM 컨피그레이션 오류

오류: "vNIC의 모든 VLAN을 전달하는 운영 업링크 포트를 찾지 못했습니다. vNIC가 종료되어 vNIC의 모든 기존 VLAN에 트래픽 중단이 발생합니다."

이 오류는 새 트래픽을 전달하기 위한 새 업링크가 없음을 의미하며, 인터페이스에서 모든 레이어 1 및 레이어 2 문제를 삭제하고 다시 시도합니다.

오류: "ENM 소스 피닝 실패" 

이 오류는 업링크에서 찾을 수 없는 vNIC의 연결된 VLAN과 관련이 있습니다.

가능한 잘못된 동작

새 VLAN이 vNIC에 이미 있고 새 업링크에 고정되어 있으므로 이전 업링크는 데이터 흐름을 중지합니다.

 이전 vNIC 템플릿에서 중복 VLAN을 제거합니다. Policies(정책) > root(루트) > Sub-organizations(하위 조직) > Sub-organizations name(하위 조직 이름) > vNIC templates(vNIC 템플릿)로 이동하고 vm-network vNIC 템플릿에서 VLAN을 제거합니다. 

관련 정보

• Cisco 기술 지원 및 다운로드
• 엔드-호스트 모드에서 레이어 2 디스조인트 네트워크 업스트림 구축