ACI 이중 역할 스위치 및 Intel VIC 카드 문제 해결

소개

이 문서에서는 ACI(Application Centric Infrastructure) 패브릭에서 이중 역할 스위치를 사용하는 방법과 Intel VIC(Virtual Interface Card)를 사용하는 방법에 대해 설명합니다.

문제

보고된 문제:

1. 스파인 스위치 N9K-C93600CD-GX가 클러스터에서 작동하지 않습니다.

2. APIC(Application Policy Infrastructure Controller) GUI에 잘못된 인터페이스 번호가 연결되어 있습니다.

3. APIC GUI에서는 모든 인터페이스(eth2-1, eth2-2, eth2-3, eth2-4)에 대해 동일한 MAC 주소를 표시합니다.

솔루션

1. 스파인 스위치 N9K-C93600CD-GX가 클러스터에서 작동하지 않습니다.

이러한 종류의 문제가 보고되었을 때 매우 일반적인 접근 방식이 사용되었다는 것이 관찰되었다. 이러한 단계는 격리를 위해 수행할 수 있지만 제품의 설치 가이드를 확인하고 현재 설정 및 요구 사항이 일치하는지 확인한 후에 수행해야 하는 기본적인 문제 해결 단계입니다.

i. 스위치 측 또는 APIC 측의 연결을 이동합니다.

ii. 스위치 또는 APIC를 다시 로드합니다.

iii. 추가 CLI 명령이 수집되거나 문제를 더 자세히 조사하기 위해 기술 지원 로그가 수집되기도 합니다.

이 모든 단계는 정확하며 반드시 따라야 합니다. 그러나 특정 PID(Part Identifier)의 검색 문제가 발생할 때마다 확인할 수 있는 다른 단계가 있습니다. 이 기본 검사는 해당 스위치의 하드웨어 설치 가이드를 확인하는 것입니다.

예를 들어, 사용자가 스위치 PID N9K-C93600CD-GX에 문제가 있었고, 이를 스파인으로 불러오려고 했으며, 자체 포트 번호 20을 통해 리프 스위치에 연결되었습니다. 이 스파인 스위치는 전혀 작동하지 않았습니다.

설치 가이드에서 다음 정보를 찾을 수 있습니다.

• 이 스위치의 기본 역할은 leaf 스위치입니다.
• 기본 패브릭 링크(포트 29-36)는 다른 스위치를 통한 초기 스위치 검색에 사용해야 합니다.
• 기본 역할에서 스위치를 변경하려면 다음과 같이 진행해야 합니다. 노드가 패브릭 인벤토리 보기에서 검색된 디바이스로 표시되고, 스위치의 역할(스파인 또는 리프)을 설정해야 하며, 구성된 역할에서 스위치가 자동으로 재부팅됩니다.
• 기본 스파인(기본적으로 스파인 이중 역할 스위치(예: Nexus 9316D-GX))을 APIC에 직접 연결할 경우 APIC에서 leaf로의 역할 변경은 물론 재부팅도 자동으로 수행됩니다. 그런 다음 노드는 등록 보류 중인 노드에 나타나며 노드를 등록해야 합니다.

추가 검사를 수행하기 전에 항상 리프/스파인 역할 고려 사항 및 검색 고려 사항과 같은 섹션을 확인하십시오.

참조: https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/hw/aci-93600cd-gx/guide/b_c93600CD-GX-aci-mode-hardware-installation-guide/b_c93600CD-GX-aci-mode-hardware-installation-guide_chapter_01.html.

마찬가지로 PID C9316D-GX의 경우 기본 역할은 spine입니다. 하지만 패브릭에서 리프 역할도 할 수 있습니다.

참조: https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/hw/aci_9316D-GX_hig/guidebook/b_C9316D-GX_aci_hardware_installation_guide/m_overview_nx-os.html.

더 많은 예는 PID 9332D-GX2B 및 9364C-GX이며, 기본 역할은 leaf이지만 spine으로 작동할 수 있습니다.

9332D-GX2B는 자체 포트 범위 25-32를 통해 연결해야 합니다.

9364C-GX는 자체 포트 범위 49-62를 통해 연결해야 합니다.

따라서 시간을 절약할 수 있으므로 다른 트러블슈팅 단계를 진행하기 전에 항상 하드웨어 설치 가이드를 확인하십시오.

2. APIC GUI에서 잘못된 인터페이스 번호가 연결된 것으로 나타남

APIC 인터페이스 eth2-1과 eth2-3에서 물리적 케이블 연결이 이루어진 것으로 보고되었지만 APIC GUI에서 인터페이스 eth2-2와 eth2-4가 표시되는 것으로 나타났습니다. 클러스터의 세 APIC 모두에서 비슷한 동작이 나타났습니다.

사용자는 PCIe(Peripheral Component Interconnect Express) 슬롯 - APIC-PCIE-IQ10GC Intel X710 쿼드 포트 10GBase-T 네트워크 인터페이스를 사용했지만 Cisco VIC 카드는 사용하지 않았습니다.

CIMC(Cisco Integrated Management Controller)에서 를 chassis > Inventory > PCI Adapters확인합니다.

CIMC의 NIC 모드가 TPM(Trusted Platform Module) 상태 활성화 및 소유권 소유와 함께 세 CIMC 모두에 대해 전용인 것으로 확인되었습니다. 다른 출력들도 괜찮아 보이네요. 나중에 소프트웨어 결함(Cisco 버그 ID CSCwd21587)이 제기되어 문제를 추가로 해결했습니다.

발견 내용:

Intel X710-T4 쿼드 포트 10GBase-T NIC는 오른쪽 포트에서 시작하여 왼쪽 포트로 갈수록 증가하는 포트 번호 지정 체계를 갖습니다.

일반적으로 패브릭 설정의 연결은 번호 지정이 왼쪽에서 시작된다는 가정하에 이루어집니다. 여기서는 이를 적용할 수 없습니다.

포트는 다음과 같은 방식으로 오른쪽에서 왼쪽으로 번호가 할당됩니다.

| eth2-4 | eth2-3 | eth2-2 | eth2-1 |

이 번호 지정 체계를 염두에 두고 APIC에서 올바른 포트를 탐지하고 예상대로 GUI에 포트를 표시합니다.

이 문서는 https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/server/M3-L3-server/APIC-M3-L3-Server.pdf에서도 업데이트되었습니다.

기억해야 할 점:

• APIC M3/L3의 경우 PCIe 슬롯 1에 항상 APIC-PCIE-IQ10GC 또는 UCSC-PCIE-IQ10GC를 설치해야 합니다.
• APIC-PCIE-IQ10GC 또는 UCSC-PCIE-IQ10GC는 리프 노드에 연결하기 위해 모든 포트 또는 포트 쌍을 사용할 수 있습니다.
• APIC-PCIE-IQ10GC 또는 UCSC-PCIE-IQ10GC의 포트 번호는 순서대로 지정됩니다 | eth2-4 | eth2-3 | eth2-2 | eth2-1 | 섀시의 번호 지정이 잘못되었습니다.
• 릴리스 4.2(5)부터 UCSC-PCIE-IQ10GC 인텔 X710 쿼드 포트 10GBase- 네트워크 인터페이스 카드가 Cisco ACI 리프 노드에 대한 10GBast-T 연결에 지원됩니다.

3. APIC GUI에서 모든 인터페이스에 대해 동일한 MAC 주소를 표시합니다(eth2-1, eth2-2, eth2-3, eth2-4).

APIC GUI에서 각 인터페이스에 대한 올바른 MAC 주소를 표시하지 않는 것이 확인되었습니다. 모든 MAC 주소가 동일했습니다.

인터페이스 간에 활성/백업 티밍이 있으므로 bond0 인터페이스에 할당할 수 있는 활성 인터페이스의 MAC 주소가 항상 표시되어야 합니다. 따라서 동일한 MAC 주소가 표시됩니다.

여기서는 출력에 따라 다운 인터페이스의 MAC 주소가 표시됩니다.

이는 Cisco 버그 ID CSCwd21587에 문서화된 소프트웨어 결함입니다.

가장 좋은 방법은 활성 상태의 eth2-2 및 백업 eth2-4의 MAC 주소가 여기에 표시되어야 합니다.

이 문제는 UI의 목록이 를 기반으로 생성되었으므로 백엔드 문제입니다moquery cnwPhysIf. 이는moquery cnwPhysIf 또한 다운 인터페이스 eth2-1의 MAC 주소를 보여줍니다.

해결 방법은 올바른 MAC 주소를 확인하기 위해 APICcat /proc/net/bonding/bond0에서 명령을 사용하는 것입니다. 영구적인 수정은 소프트웨어 결함 페이지를 확인하십시오.