ACI雙角色交換機和Intel VIC卡故障排除

簡介

本檔案介紹以應用程式為中心的基礎設施(ACI)網狀架構中使用雙角色交換器，以及Intel虛擬介面卡(VIC)的使用。

問題

報告的問題：

1. 集群中主幹交換機N9K-C93600CD-GX未啟動。

2. 應用策略基礎設施控制器(APIC) GUI顯示連線的介面號錯誤。

3. APIC GUI顯示所有介面(eth2-1、eth2-2、eth2-3、eth2-4)的相同MAC地址。

解決方案

1. 集群中的主幹交換機N9K-C93600CD-GX未啟動

已注意到，在報告這類問題時，採用了非常通用的做法。這些是基本故障排除步驟，可以針對隔離執行，但必須在檢查產品的安裝指南並確保當前設定和要求匹配之後執行。

i.在交換機端或APIC端移動連線完成。

ii.完成交換機或APIC的重新載入。

iii.收集其他CLI命令，或者有時收集技術支援日誌以進一步調查問題。

所有這些步驟都正確，必須遵循。但是，每當發現某個特定部件識別符號(PID)的問題時，還可以檢查另一個步驟。該基本檢查內容是檢視該特定交換機的硬體安裝指南。

例如，使用者遇到交換機PID N9K-C93600CD-GX的問題，該使用者試圖將其作為主幹，並且該使用者透過自己的埠號20連線到枝葉交換機。脊柱開關一直沒出現。

在安裝指南中，可以找到以下資訊：

• 此交換機的預設角色是作為枝葉交換機。
• 預設交換矩陣鏈路（埠29-36）必須用於透過另一台交換機進行初始交換機發現。
• 為了將交換機從預設角色中更改，您必須按照以下步驟繼續：節點在交換矩陣清單檢視中顯示為已發現的裝置，您必須設定交換機的角色（主幹或枝葉），並且交換機自動重啟以配置的角色啟動。
• 如果將預設主幹（預設情況下是主幹的雙重角色交換機，如Nexus 9316D-GX）直接連線到APIC，APIC會自動執行角色到枝葉的更改以及重新啟動。之後，節點會顯示在擱置註冊的節點中，而您需要註冊節點。

在執行任何附加檢查之前，請務必檢查枝葉/主幹角色注意事項和發現注意事項等部分。

參考：https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/hw/aci-93600cd-gx/guide/b_c93600CD-GX-aci-mode-hardware-installation-guide/b_c93600CD-GX-aci-mode-hardware-installation-guide_chapter_01.html。

同樣，對於PID C9316D-GX，預設角色是骨幹。但它也可以作為交換矩陣中的枝葉使用。

參考：https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/hw/aci_9316D-GX_hig/guidebook/b_C9316D-GX_aci_hardware_installation_guide/m_overview_nx-os.html。

更多示例是PID 9332D-GX2B和9364C-GX，預設角色是枝葉，但可以作為主幹使用。

9332D-GX2B必須透過其自己的埠範圍25-32連線。

9364C-GX必須透過其自己的埠範圍49-62連線。

因此，在繼續進行任何其他故障排除步驟之前，請務必先查閱硬體安裝指南，因為這樣可以節省時間。

2. APIC GUI顯示連線的錯誤介面號

據報告，物理電纜連線是在APIC介面eth2-1和eth2-3上建立的，但在APIC GUI中，發現介面eth2-2和eth2-4已顯示。集群中的所有三個APIC都出現了類似行為。

使用者使用的是Peripheral Component Interconnect Express (PCIe)插槽- APIC-PCIE-IQ10GC Intel X710四埠10GBase-T網路介面，而不是Cisco VIC卡。

在思科整合管理控制器(CIMC)中驗證，chassis > Inventory > PCI Adapters。

已確認CIMC中的NIC模式專用於所有三個CIMC，同時支援可信平台模組(TPM)狀態且擁有所有權。所有其他輸出看起來也正常。稍後，報告了一個軟體缺陷(思科漏洞ID CSCwd21587)以進一步排除該問題。

經研究發現：

Intel X710-T4四連線埠10GBase-T NIC，其連線埠編號方案從右邊的連線埠開始，往左邊的連線埠增加。

通常，任何交換矩陣設定中的連線都假定編號從左側開始（此處不適用）。

埠編號按以下方式從右到左分配：

| eth2-4 | eth2-3 | eth2-2 | eth2-1 |

根據此編號方案，APIC正在檢測正確的埠，並如預期在GUI上顯示埠。

該檔案也進行了更新：https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/server/M3-L3-server/APIC-M3-L3-Server.pdf。

要記住的要點：

• APIC-PCIE-IQ10GC或UCSC-PCIE-IQ10GC必須始終安裝在APIC M3/L3的PCIe插槽1中。
• APIC-PCIE-IQ10GC或UCSC-PCIE-IQ10GC可以使用任何埠或任何一對埠來連線到枝葉節點。
• APIC-PCIE-IQ10GC或UCSC-PCIE-IQ10GC的埠編號順序如下 | eth2-4 | eth2-3 | eth2-2 | eth2-1 | 且機箱上的編號無效。
• 從版本4.2(5)開始，UCSC-PCIE-IQ10GC Intel X710 Quad Port 10GBase-網路介面卡支援與Cisco ACI枝葉節點的10GBast-T連線。

3. APIC GUI顯示所有介面(eth2-1、eth2-2、eth2-3、eth2-4)的相同MAC地址

據觀察，APIC GUI未顯示每個介面的正確MAC地址。所有MAC地址都相同。

請始終記住，介面之間有一個活動/備份組，因此您必須始終看到可分配給bond0介面的活動介面的MAC地址，因此您會看到相同的MAC地址。

您可以在此處看到根據輸出顯示的關閉介面的MAC地址：

這是一個軟體缺陷，可在思科漏洞ID CSCwd21587中找到。

理想情況下，您必須在此處看到處於活動狀態且處於備用狀態的eth2-2的MAC地址。

這是一個後端問題，因為UI中的清單是基於moquery cnwPhysIf的。此moquery cnwPhysIf還顯示關閉的介面eth2-1的MAC地址。

解決方法是使用cat /proc/net/bonding/bond0命令在APIC上檢查正確的MAC地址。若要永久修正，請檢查軟體缺陷頁面。