ACI雙角色交換機和Intel VIC卡故障排除

簡介

本文檔介紹在以應用為中心的基礎設施(ACI)交換矩陣中使用雙角色交換機以及英特爾虛擬介面卡(VIC)的使用。

問題

報告的問題：

1.集群中的主幹交換機N93600K-C-CD-GX未啟動。

2.應用策略基礎設施控制器(APIC)GUI顯示連線的介面編號錯誤。

3. APIC GUI顯示所有介面(eth2-1、eth2-2、eth2-3、eth2-4)的相同MAC地址。

解決方案

1.集群中的主幹交換機N93600K-C-CD-GX未啟動

有人指出，在報告這類問題時，採用了非常通用的做法。以下是基本的故障排除步驟，可針對隔離執行，但必須在檢查產品的安裝指南並確保當前設定和要求匹配之後執行。

i.在交換機側或APIC側移動連線已完成。

二。重新載入交換機或APIC已完成。

三。系統會收集其他CLI命令，有時還會收集技術支援日誌以進一步調查問題。

所有這些步驟都是正確的，必須遵循。但是，每當發現某個特定部件識別符號(PID)的問題時，還可以檢查另一個步驟。 基本檢查是檢視該特定交換機的硬體安裝指南。

例如，使用者遇到交換機PID N9K-C93600CD-GX的問題，該使用者嘗試將其作為主幹啟動，但它通過自己的埠號20連線到枝葉交換機。該主幹交換機從未啟動。

在安裝指南中，可以找到以下資訊：

• 此交換機的預設角色是作為枝葉交換機。
• 預設交換矩陣鏈路（埠29-36）必須通過另一台交換機用於初始交換機發現。
• 若要將交換器從預設角色中變更，必須按照以下步驟進行：該節點在交換矩陣清單檢視中顯示為已發現的裝置，您必須設定交換機的角色（主幹或枝葉），並且交換機自動重啟以已配置的角色啟動。
• 如果將預設主幹（預設情況下是主幹的雙角色交換機，如Nexus 9316D-GX）直接連線到APIC，APIC會自動執行角色到枝葉的更改以及重新引導。之後，節點將顯示在待註冊的節點中，您需要註冊該節點。

在執行任何附加檢查之前，請始終檢查枝葉/主幹角色注意事項和發現注意事項等部分。

參考：https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/hw/aci-93600cd-gx/guide/b_c93600CD-GX-aci-mode-hardware-installation-guide/b_c93600CD-GX-aci-mode-hardware-installation-guide_chapter_01.html。

同樣，對於PID C9316D-GX，預設角色是骨幹。但它也可以作為織物中的葉子發揮作用。

參考：https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/hw/aci_9316D-GX_hig/guidebook/b_C9316D-GX_aci_hardware_installation_guide/m_overview_nx-os.html。

更多示例是PID 9332D-GX2B和9364C-GX，預設角色是枝葉，但可以作為主幹使用。

9332D-GX2B必須通過其自己的埠範圍25-32連線。

9364C-GX必須通過其自己的埠範圍49-62連線。

因此，在繼續任何其他故障排除步驟之前，請務必檢查硬體安裝指南，因為這樣可以節省時間。

2. APIC GUI顯示連線的介面編號錯誤

據報導，物理電纜連線是在APIC介面eth2-1和eth2-3上建立的，但在APIC GUI中，發現介面eth2-2和eth2-4正在顯示。集群中的所有三個APIC都出現相似的行為。

使用者使用的是外圍元件互聯Express(PCIe)插槽 — APIC-PCIE-IQ10GC Intel X710四埠10GBase-T網路介面，而不是Cisco VIC卡。

在思科整合管理控制器(CIMC)中驗證chassis > Inventory > PCI Adapters。

已確認CIMC中的NIC模式專用於所有三個CIMC，同時已啟用受信任的平台模組(TPM)狀態並擁有所有權。所有其他輸出看起來也正常。稍後，軟體缺陷(思科錯誤ID CSCwd21587)無法進一步解決此問題。

發現：

英特爾X710-T4四埠10GBase-T NIC，其埠編號方案從右埠開始，向左埠遞增。

通常，任何交換矩陣設定中的連線都假設編號從左側開始，此處不適用。

埠從右到左按以下方式分配編號：

| eth2-4 | eth2-3 | eth2-2 | eth2-1 |

考慮到此編號方案，APIC正在檢測正確的埠並按預期在GUI上顯示埠。

該檔案也作了更新：https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/server/M3-L3-server/APIC-M3-L3-Server.pdf。

需要記住的要點：

• 對於APIC M3/L3，必須始終將APIC-PCIE-IQ10GC或UCSC-PCIE-IQ10GC安裝在PCIe插槽1中。
• APIC-PCIE-IQ10GC或UCSC-PCIE-IQ10GC可以使用任何埠或任何一對埠來連線到枝葉節點。
• APIC-PCIE-IQ10GC或UCSC-PCIE-IQ10GC的埠編號順序如下 | eth2-4 | eth2-3 | eth2-2 | eth2-1 |和機箱上的編號無效。
• 從版本4.2(5)開始，UCSC-PCIE-IQ10GC Intel X710四埠10GBase網路介面卡支援10GBast-T與思科ACI枝葉節點的連線。

3. APIC GUI顯示所有介面(eth2-1、eth2-2、eth2-3、eth2-4)的相同MAC地址

經觀察，APIC GUI未顯示每個介面的正確MAC地址。所有MAC地址都相同。

請始終記住介面之間存在活動/備份分組，因此您必須始終看到可分配給bond0介面的活動介面的MAC地址，因此您會看到相同的MAC地址。

根據輸出，您可以看到關閉介面的MAC位址：

這是一個記錄在思科錯誤ID CSCwd21587下的軟體缺陷。

理想情況下，您必須在此處看到eth2-2的MAC地址，該地址是活動的，eth2-4是備份。

這是一個後端問題，因為UI中的清單是基於moquery cnwPhysIf。此moquery cnwPhysIf還顯示關閉的介面eth2-1的MAC地址。

解決方法是對APIC使用cat /proc/net/bonding/bond0命令檢查正確的MAC地址。若要永久修正，請檢查軟體缺陷頁面。