API 탐색기 및 NXOS를 사용하여 UCS 도메인의 IMM 네트워크 트러블슈팅

소개

이 문서에서는 Intersight Managed Mode에서 UCS(Unified Computing System) 도메인의 네트워크 연결 또는 패킷 수명을 분석하고 API Explorer 및 NXOS 명령을 사용하여 서버의 내부 연결을 식별합니다.

기고자: Luis Uribe, Cisco TAC 엔지니어

사전 요구 사항

요구 사항

다음 주제에 대한 지식을 보유하고 있으면 유용합니다.

• Intersight
• 물리적 네트워크 연결
• API(Application Programming Interface)

사용되는 구성 요소

이 문서의 정보는 다음 소프트웨어 및 하드웨어 버전을 기반으로 합니다.

• Cisco UCS 6454 Fabric Interconnect, 펌웨어 4.2(1e)
• UCSB-B200-M5 블레이드 서버, 펌웨어 4.2(1a)
• Intersight SaaS(Software as a Service)

이 문서의 정보는 특정 랩 환경의 디바이스를 토대로 작성되었습니다. 이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다. 현재 네트워크가 작동 중인 경우 모든 명령의 잠재적인 영향을 미리 숙지하시기 바랍니다.

배경 정보

Fabric Interconnect와 vNIC(Virtual Network Interface) 간의 연결은 VIF(Virtual Interface)라는 가상 회로를 통해 설정됩니다. 이러한 VIF는 업링크에 고정되어 업스트림 네트워크와의 통신을 허용합니다

Intersight Managed Mode(Intersight 관리 모드)에는 가상 인터페이스를 각 서버와 매핑하는 명령(예: show service-profile circuit)이 없습니다. UCS 도메인 내에서 생성된 내부 회로의 관계를 확인하기 위해 API Explorer/NXOS 명령을 사용할 수 있습니다.

API 탐색기

API 탐색기는 패브릭 인터커넥트(기본 또는 하위) 중 하나의 GUI(Graphical User Interface)에서 사용할 수 있습니다. 콘솔에 로그인했으면 Inventory(인벤토리)로 이동하여 서버를 선택한 다음 Launch API Explorer(API 탐색기 시작)를 클릭합니다.

API 탐색기에는 사용 가능한 호출을 나열하는 API 참조가 포함되어 있습니다. 또한 API 호출을 테스트하기 위한 REST(Representational State Transfer) 클라이언트 인터페이스도 포함됩니다.

API 호출을 통해 VIF 식별

API 호출 집합을 사용하여 각 가상 vNIC에 해당하는 VIF를 결정할 수 있습니다. 이를 통해 NXOS 문제를 보다 효과적으로 해결할 수 있습니다.

이 문서에서는 다음 항목을 통해 API 호출이 포함된 탐색을 수행합니다. 섀시, 서버, 네트워크 어댑터, vNIC/vHBA.

섀시 ID 검색

API 호출의 섀시 ID를 복사합니다.

/redfish/v1/Chassis/FLM2402001F

네트워크 어댑터 ID 검색

다음 API 호출에 대한 네트워크 ID를 복사합니다.

/redfish/v1/Chassis/FLM2402001F/NetworkAdapters/UCSB-MLOM-40G-04_FCH23527C67

vNIC ID 검색

네트워크 어댑터 ID를 복사합니다.

/redfish/v1/Chassis/FLM2402001F/NetworkAdapters/UCSB-MLOM-40G-04_FCH23527C67/NetworkDeviceFunctions/Vnic-A
/redfish/v1/Chassis/FLM2402001F/NetworkAdapters/UCSB-MLOM-40G-04_FCH23527C67/NetworkDeviceFunctions/Vnic-B

해당 vNIC의 VIF ID 검색

이 경우 vNIC-A가 VIF 800에 매핑됩니다. 여기서 NXOS 명령은 이 가상 인터페이스를 포함합니다.

NXOS 및 Grep 필터로 VIF 식별

API Explorer를 사용할 수 없거나 GUI에 액세스할 수 없는 경우 CLI 명령을 사용하여 VIF 정보를 검색할 수 있습니다.

참고: 이 명령을 사용하려면 서버 프로필을 알아야 합니다.

UCS-TS-MXC-P25-6454-IMM-A(nx-os)# show run interface | grep prev 1 IMM-Server-1
switchport trunk allowed vsan 1
switchport description SP IMM-Server-1, vHBA vhba-a, Blade:FLM2402001F
--
interface Vethernet800
description SP IMM-Server-1, vNIC Vnic-A, Blade:FLM2402001F
--
interface Vethernet803
description SP IMM-Server-1, vNIC Vnic-b, Blade:FLM2402001F
--
interface Vethernet804
description SP IMM-Server-1, vHBA vhba-a, Blade:FLM2402001F

NXOS 문제 해결

vNIC가 해당 Vethernet에 매핑된 후에는 물리적 인터페이스 트러블슈팅에 사용된 것과 동일한 명령을 사용하여 NXOS에서 분석을 수행할 수 있습니다.

vNIC의 표기는 veth - Vethernet입니다.

show interface brief는 ENM 소스 핀 장애가 원인인 다운상태에 있는 Veth800을 보여줍니다.

UCS-TS-MXC-P25-6454-IMM-A# connect nxos

UCS-TS-MXC-P25-6454-IMM-A(nx-os)# show interface brief | grep -i Veth800
Veth800 1 virt trunk down ENM Source Pin Fail auto

show interface는 Vethernet 800이 초기화 상태에 있음을 보여 줍니다.

UCS-TS-MXC-P25-6454-IMM-A(nx-os)# show interface Vethernet 800
Vethernet800 is down (initializing)
    Port description is SP IMM-Server-1, vNIC Vnic-A, Blade:FLM2402001F
    Hardware is Virtual, address is 0000.abcd.dcba
    Port mode is trunk
    Speed is auto-speed
    Duplex mode is auto
  300 seconds input rate 0 bits/sec, 0 packets/sec
  300 seconds output rate 0 bits/sec, 0 packets/sec
  Rx
    0 unicast packets  0 multicast packets  0 broadcast packets
    0 input packets  0 bytes
    0 input packet drops
  Tx
    0 unicast packets  0 multicast packets  0 broadcast packets
    0 output packets  0 bytes
    0 flood packets
    0 output packet drops


UCS-TS-MXC-P25-6454-IMM-A(nx-os)# show running-config interface Vethernet 800

!Command: show running-config interface Vethernet800
!Running configuration last done at: Mon Sep 27 16:03:46 2021
!Time: Tue Sep 28 14:35:22 2021

version 9.3(5)I42(1e) Bios:version 05.42 

interface Vethernet800
  description SP IMM-Server-1, vNIC Vnic-A, Blade:FLM2402001F
  no lldp transmit
  no lldp receive
  no pinning server sticky
  pinning server pinning-failure link-down
  no cdp enable
  switchport mode trunk
  switchport trunk allowed vlan 1,470
  hardware vethernet mac filtering per-vlan
  bind interface port-channel1280 channel 800
  service-policy type qos input default-IMM-QOS
  no shutdown

VIF를 업링크 인터페이스에 고정해야 합니다. 이 시나리오에서는 고정 보더 인터페이스가 업링크에 고정된 Vethernet을 표시하지 않음을 보여줍니다.

UCS-TS-MXC-P25-6454-IMM-A(nx-os)# show pinning border-interfaces 

--------------------+---------+----------------------------------------
Border Interface     Status    SIFs                                    
--------------------+---------+----------------------------------------
Eth1/45              Active    sup-eth1         
Eth1/46              Active    Eth1/1/33  

이는 업링크에 추가 컨피그레이션이 필요함을 나타냅니다. 이 출력은 Ethernet Uplink 1/46의 show running 컨피그레이션에 해당합니다.

UCS-TS-MXC-P25-6454-IMM-B(nx-os)# show running-config interface ethernet 1/45

!Command: show running-config interface Ethernet1/45
!No configuration change since last restart
!Time: Wed Sep 29 05:15:21 2021

version 9.3(5)I42(1e) Bios:version 05.42 

interface Ethernet1/45
  description Uplink
  pinning border
  switchport mode trunk
  switchport trunk allowed vlan 69,470
  no shutdown

 show mac address-table details that Veth800 uplinks에 없는 VLAN 1을 사용합니다.

UCS-TS-MXC-P25-6454-IMM-A(nx-os)# show mac address-table 
Legend: 
        * - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
        age - seconds since last seen,+ - primary entry using vPC Peer-Link,
        (T) - True, (F) - False, C - ControlPlane MAC, ~ - vsan
   VLAN     MAC Address      Type      age     Secure NTFY Ports
---------+-----------------+--------+---------+------+----+------------------
*    1     0025.b501.0036   static   -         F      F    Veth800

UCS 도메인에서 사용 중인 VLAN이 vNIC 및 업링크에도 포함되어야 합니다. VLAN 정책은 패브릭 인터커넥트에서 VLAN을 구성합니다. 이 그림에서는 이 UCS 도메인의 컨피그레이션을 보여줍니다.

VLAN 1은 정책에 없으므로 추가해야 합니다. 

연결을 허용하려면 Edit Policy를 선택합니다. 이 변경을 수행하려면 UCS 도메인 프로파일을 구축해야 합니다.

VLAN 할당은 CLI에서 확인할 수 있습니다.

UCS-TS-MXC-P25-6454-IMM-A(nx-os)# show running-config interface ethernet 1/45

!Command: show running-config interface Ethernet1/45
!Running configuration last done at: Wed Sep 29 07:50:43 2021
!Time: Wed Sep 29 07:59:31 2021

version 9.3(5)I42(1e) Bios:version 05.42 

interface Ethernet1/45
  description Uplink
  pinning border
  switchport mode trunk
  switchport trunk allowed vlan 1,69,470
  udld disable
  no shutdown

UCS-TS-MXC-P25-6454-IMM-A(nx-os)# 

이제 필요한 VLAN이 추가되었으므로 Vethernet800에서 연결을 확인하기 위해 동일한 명령 집합을 사용할 수 있습니다.

UCS-TS-MXC-P25-6454-IMM-A(nx-os)# show interface brief | grep -i Veth800
Veth800       1      virt trunk  up      none                     auto 


UCS-TS-MXC-P25-6454-IMM-A(nx-os)# show interface Vethernet 800
Vethernet800 is up
    Port description is SP IMM-Server-1, vNIC Vnic-A, Blade:FLM2402001F
    Hardware is Virtual, address is 0000.abcd.dcba
    Port mode is trunk
    Speed is auto-speed
    Duplex mode is auto
  300 seconds input rate 0 bits/sec, 0 packets/sec
  300 seconds output rate 0 bits/sec, 0 packets/sec
  Rx
    0 unicast packets  1 multicast packets  6 broadcast packets
    7 input packets  438 bytes
    0 input packet drops
  Tx
    0 unicast packets  25123 multicast packets  137089 broadcast packets
    162212 output packets  11013203 bytes
    0 flood packets
    0 output packet drops




UCS-TS-MXC-P25-6454-IMM-A(nx-os)# show running-config interface Vethernet 800

!Command: show running-config interface Vethernet800
!Running configuration last done at: Wed Sep 29 07:50:43 2021
!Time: Wed Sep 29 07:55:51 2021

version 9.3(5)I42(1e) Bios:version 05.42 

interface Vethernet800
  description SP IMM-Server-1, vNIC Vnic-A, Blade:FLM2402001F
  no lldp transmit
  no lldp receive
  no pinning server sticky
  pinning server pinning-failure link-down
  switchport mode trunk
  switchport trunk allowed vlan 1,69,470
  hardware vethernet mac filtering per-vlan
  bind interface port-channel1280 channel 800
  service-policy type qos input default-IMM-QOS
  no shutdown

 

Veth800은 업링크 이더넷 인터페이스에 대해 고정 인터페이스에 나열됩니다.

UCS-TS-MXC-P25-6454-IMM-A(nx-os)# show pinning border-interfaces 

--------------------+---------+----------------------------------------
Border Interface     Status    SIFs                                    
--------------------+---------+----------------------------------------
Eth1/45              Active    sup-eth1 Veth800 Veth803          
Eth1/46              Active    Eth1/1/33                         

Total Interfaces : 2 

UCS-TS-MXC-P25-6454-IMM-A(nx-os)# 

이제 VIF가 업스트림 네트워크로 트래픽을 전송할 준비가 되었습니다.

관련 정보

• Intersight의 도메인 프로파일
• Intersight의 서버 프로필
• Intersight의 도메인 정책
• 기술 지원 및 문서 − Cisco Systems