简介
本文档介绍在以应用为中心的基础设施(ACI)交换矩阵中使用双角色交换机以及英特尔虚拟接口卡(VIC)的使用。
问题
报告的问题:
1. 集群中的主干交换机N9K-C93600CD-GX未启动。
2. 应用策略基础设施控制器(APIC) GUI显示连接的接口编号错误。
3. APIC GUI显示所有接口(eth2-1、eth2-2、eth2-3、eth2-4)的相同MAC地址。
解决方案
1. 集群中的主干交换机N9K-C93600CD-GX未启动
据观察,在报告这类问题时,采用了非常笼统的做法。这些是基本的故障排除步骤,可以针对隔离执行,但必须在检查产品的安装指南并确保当前设置和要求匹配后执行。
i.在交换机端或APIC端移动连接完成。
ii.完成交换机或APIC的重新加载。
iii.收集其他CLI命令,或者有时收集技术支持日志以进一步调查问题。
所有这些步骤都是正确的,必须遵循。但是,每当发现一个特定部件标识符(PID)的问题时,还有另一个步骤可以检查。该基本检查需要查看该特定交换机的硬件安装指南。
例如,用户遇到交换机PID N9K-C93600CD-GX问题,用户试图将其作为主干启动,并通过自己的端口号20连接到枝叶交换机。这个脊柱开关没出现。
在安装指南中,可以找到以下信息:
- 此交换机的默认角色是作为枝叶交换机。
- 默认交换矩阵链路(端口29-36)必须通过另一台交换机进行初始交换机发现。
- 为了更改交换机的默认角色,您必须按照以下步骤继续:节点显示为交换矩阵资产视图中的已发现设备,您必须设置交换机的角色(主干或枝叶),并且交换机自动进入重启以配置的角色启动。
- 如果将默认主干(默认情况下是主干的双角色交换机,如Nexus 9316D-GX)直接连接到APIC,APIC将自动执行角色到枝叶的更改以及重新启动。之后,节点将显示在节点等待注册中,您需要注册节点。
在执行任何其他检查之前,请始终检查枝叶/主干角色注意事项和发现注意事项等部分。
参考来源:https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/hw/aci-93600cd-gx/guide/b_c93600CD-GX-aci-mode-hardware-installation-guide/b_c93600CD-GX-aci-mode-hardware-installation-guide_chapter_01.html。
同样,对于PID C9316D-GX,默认角色是主干。但它也可以作为交换矩阵中的枝叶运行。
参考来源:https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/hw/aci_9316D-GX_hig/guidebook/b_C9316D-GX_aci_hardware_installation_guide/m_overview_nx-os.html。
更多示例包括PID 9332D-GX2B和9364C-GX,默认角色是枝叶,但可以用作主干。
9332D-GX2B必须通过其自己的端口范围25-32连接。
9364C-GX必须通过其自己的端口范围49-62连接。
因此,在继续任何其他故障排除步骤之前,请务必检查硬件安装指南,因为这样可以节省时间。
2. APIC GUI显示连接的接口编号错误
据报道,物理电缆连接是在APIC接口eth2-1和eth2-3上建立的,但在APIC GUI中,发现接口eth2-2和eth2-4显示。集群中的所有三个APIC都出现类似行为。


用户使用的是外围组件快速互联(PCIe)插槽- APIC-PCIE-IQ10GC Intel X710四端口10GBase-T网络接口,而不是Cisco VIC卡。
在思科集成管理控制器(CIMC)中验证,chassis > Inventory > PCI Adapters。

已确认CIMC中的NIC模式专用于所有三个CIMC,并且受信任的平台模块(TPM)状态已启用且所有权归属。所有其他输出看起来也正常。稍后,我们提供了软件缺陷(思科漏洞ID CSCwd21587)以进一步排除该问题。
经研究发现:
Intel X710-T4四端口10GBase-T NIC,它的端口编号方案从右侧端口开始,向左侧端口递增。
通常,任何交换矩阵设置中的连接都假定编号从左侧开始,此处不适用。
端口从右到左按以下方式分配编号:
| eth2-4 | eth2-3 | eth2-2 | eth2-1 |
记住此编号方案后,APIC将检测正确的端口,并如预期在GUI上显示端口。
本文档也进行了更新:https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/server/M3-L3-server/APIC-M3-L3-Server.pdf。
要记住的要点:
- APIC-PCIE-IQ10GC或UCSC-PCIE-IQ10GC必须始终安装在APIC M3/L3的PCIe插槽1中。
- APIC-PCIE-IQ10GC或UCSC-PCIE-IQ10GC可以使用任何端口或任何端口对连接到枝叶节点。
- APIC-PCIE-IQ10GC或UCSC-PCIE-IQ10GC的端口编号顺序如下 | eth2-4 | eth2-3 | eth2-2 | eth2-1 | 并且机箱上的编号无效。
- 从版本4.2(5)开始,支持UCSC-PCIE-IQ10GC Intel X710四端口10GBase网络接口卡,以实现与思科ACI枝叶节点的10GBast-T连接。
3. APIC GUI显示所有接口(eth2-1、eth2-2、eth2-3、eth2-4)的相同MAC地址
经观察,APIC GUI未显示每个接口的正确MAC地址。所有MAC地址都相同。

请始终记住,接口之间有一个活动/备份组合,因此您必须始终看到可分配给bond0接口的活动接口的MAC地址,因此您会看到相同的MAC地址。
根据输出,您会看到关闭接口的MAC地址:

这是一个软件缺陷,记录在Cisco Bug ID CSCwd21587下。
理想情况下,您在此处必须看到eth2-2的MAC地址,该地址是活动地址,eth2-4是备份地址。
这是一个后端问题,因为UI中的列表是基于moquery cnwPhysIf建立的。此moquery cnwPhysIf还显示关闭的接口eth2-1的MAC地址。
解决方法是使用APIC上的cat /proc/net/bonding/bond0命令检查正确的MAC地址。要永久修复,请检查软件缺陷页面。