ACI双角色交换机和英特尔VIC卡故障排除

简介

本文档介绍在以应用为中心的基础设施(ACI)交换矩阵中使用双角色交换机以及英特尔虚拟接口卡(VIC)的使用。

问题

报告的问题：

1. 集群中的主干交换机N9K-C93600CD-GX未启动。

2. 应用策略基础设施控制器(APIC) GUI显示连接的接口编号错误。

3. APIC GUI显示所有接口(eth2-1、eth2-2、eth2-3、eth2-4)的相同MAC地址。

解决方案

1. 集群中的主干交换机N9K-C93600CD-GX未启动

据观察，在报告这类问题时，采用了非常笼统的做法。这些是基本的故障排除步骤，可以针对隔离执行，但必须在检查产品的安装指南并确保当前设置和要求匹配后执行。

i.在交换机端或APIC端移动连接完成。

ii.完成交换机或APIC的重新加载。

iii.收集其他CLI命令，或者有时收集技术支持日志以进一步调查问题。

所有这些步骤都是正确的，必须遵循。但是，每当发现一个特定部件标识符(PID)的问题时，还有另一个步骤可以检查。该基本检查需要查看该特定交换机的硬件安装指南。

例如，用户遇到交换机PID N9K-C93600CD-GX问题，用户试图将其作为主干启动，并通过自己的端口号20连接到枝叶交换机。这个脊柱开关没出现。

在安装指南中，可以找到以下信息：

• 此交换机的默认角色是作为枝叶交换机。
• 默认交换矩阵链路（端口29-36）必须通过另一台交换机进行初始交换机发现。
• 为了更改交换机的默认角色，您必须按照以下步骤继续：节点显示为交换矩阵资产视图中的已发现设备，您必须设置交换机的角色（主干或枝叶），并且交换机自动进入重启以配置的角色启动。
• 如果将默认主干（默认情况下是主干的双角色交换机，如Nexus 9316D-GX）直接连接到APIC，APIC将自动执行角色到枝叶的更改以及重新启动。之后，节点将显示在节点等待注册中，您需要注册节点。

在执行任何其他检查之前，请始终检查枝叶/主干角色注意事项和发现注意事项等部分。

参考来源：https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/hw/aci-93600cd-gx/guide/b_c93600CD-GX-aci-mode-hardware-installation-guide/b_c93600CD-GX-aci-mode-hardware-installation-guide_chapter_01.html。

同样，对于PID C9316D-GX，默认角色是主干。但它也可以作为交换矩阵中的枝叶运行。

参考来源：https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/hw/aci_9316D-GX_hig/guidebook/b_C9316D-GX_aci_hardware_installation_guide/m_overview_nx-os.html。

更多示例包括PID 9332D-GX2B和9364C-GX，默认角色是枝叶，但可以用作主干。

9332D-GX2B必须通过其自己的端口范围25-32连接。

9364C-GX必须通过其自己的端口范围49-62连接。

因此，在继续任何其他故障排除步骤之前，请务必检查硬件安装指南，因为这样可以节省时间。

2. APIC GUI显示连接的接口编号错误

据报道，物理电缆连接是在APIC接口eth2-1和eth2-3上建立的，但在APIC GUI中，发现接口eth2-2和eth2-4显示。集群中的所有三个APIC都出现类似行为。

用户使用的是外围组件快速互联(PCIe)插槽- APIC-PCIE-IQ10GC Intel X710四端口10GBase-T网络接口，而不是Cisco VIC卡。

在思科集成管理控制器(CIMC)中验证，chassis > Inventory > PCI Adapters。

已确认CIMC中的NIC模式专用于所有三个CIMC，并且受信任的平台模块(TPM)状态已启用且所有权归属。所有其他输出看起来也正常。稍后，我们提供了软件缺陷(思科漏洞ID CSCwd21587)以进一步排除该问题。

经研究发现：

Intel X710-T4四端口10GBase-T NIC，它的端口编号方案从右侧端口开始，向左侧端口递增。

通常，任何交换矩阵设置中的连接都假定编号从左侧开始，此处不适用。

端口从右到左按以下方式分配编号：

| eth2-4 | eth2-3 | eth2-2 | eth2-1 |

记住此编号方案后，APIC将检测正确的端口，并如预期在GUI上显示端口。

本文档也进行了更新：https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/server/M3-L3-server/APIC-M3-L3-Server.pdf。

要记住的要点：

• APIC-PCIE-IQ10GC或UCSC-PCIE-IQ10GC必须始终安装在APIC M3/L3的PCIe插槽1中。
• APIC-PCIE-IQ10GC或UCSC-PCIE-IQ10GC可以使用任何端口或任何端口对连接到枝叶节点。
• APIC-PCIE-IQ10GC或UCSC-PCIE-IQ10GC的端口编号顺序如下 | eth2-4 | eth2-3 | eth2-2 | eth2-1 | 并且机箱上的编号无效。
• 从版本4.2(5)开始，支持UCSC-PCIE-IQ10GC Intel X710四端口10GBase网络接口卡，以实现与思科ACI枝叶节点的10GBast-T连接。

3. APIC GUI显示所有接口(eth2-1、eth2-2、eth2-3、eth2-4)的相同MAC地址

经观察，APIC GUI未显示每个接口的正确MAC地址。所有MAC地址都相同。

请始终记住，接口之间有一个活动/备份组合，因此您必须始终看到可分配给bond0接口的活动接口的MAC地址，因此您会看到相同的MAC地址。

根据输出，您会看到关闭接口的MAC地址：

这是一个软件缺陷，记录在Cisco Bug ID CSCwd21587下。

理想情况下，您在此处必须看到eth2-2的MAC地址，该地址是活动地址，eth2-4是备份地址。

这是一个后端问题，因为UI中的列表是基于moquery cnwPhysIf建立的。此moquery cnwPhysIf还显示关闭的接口eth2-1的MAC地址。

解决方法是使用APIC上的cat /proc/net/bonding/bond0命令检查正确的MAC地址。要永久修复，请检查软件缺陷页面。