排除ACI双角色交换机和Intel VIC卡故障

简介

本文档介绍在以应用为中心的基础设施(ACI)交换矩阵中使用双角色交换机以及英特尔虚拟接口卡(VIC)的使用。

问题

报告的问题：

1.主干交换机N9K93600C-CD-GX在群集中未启动。

2.应用策略基础设施控制器(APIC)GUI显示连接的接口编号错误。

3. APIC GUI显示所有接口(eth2-1、eth2-2、eth2-3、eth2-4)的相同MAC地址。

解决方案

1.集群中的主干交93600机N9K-C-CD-GX未启动

人们注意到，在报告这类问题时，采用了非常笼统的做法。这些是基本的故障排除步骤，可以针对隔离执行，但必须在检查产品的安装指南并确保当前设置和要求匹配之后执行。

i.在交换机端或APIC端移动连接完成。

二、重新加载交换机或APIC已完成。

三。收集其他CLI命令，有时收集技术支持日志以进一步调查问题。

所有这些步骤都是正确的，必须遵循。但是，每当发现一个特定部件标识符(PID)的问题时，还可以检查另一个步骤。 该基本检查是查看该特定交换机的硬件安装指南。

例如，用户遇到交换机PID N9K-C93600CD-GX的问题，该用户试图将其作为主干，并且它通过自己的端口号20连接到枝叶交换机。该主干交换机从未启动。

在安装指南中，可以找到以下信息：

• 此交换机的默认角色是作为枝叶交换机。
• 默认交换矩阵链路（端口29-36）必须通过另一台交换机用于初始交换机发现。
• 为了更改默认角色的交换机，您必须按以下步骤继续：节点在交换矩阵资产视图中显示为已发现的设备，您必须设置交换机的角色（主干或枝叶），并且交换机自动进入重新启动状态，以配置的角色启动。
• 如果将默认主干（默认情况下是主干的双角色交换机，如Nexus 9316D-GX）直接连接到APIC，则角色到枝叶的更改由APIC自动执行，并会执行重新引导。之后，节点将显示在待注册的节点中，您需要注册节点。

在执行任何附加检查之前，请始终检查枝叶/主干角色注意事项和发现注意事项等部分。

参考：https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/hw/aci-93600cd-gx/guide/b_c93600CD-GX-aci-mode-hardware-installation-guide/b_c93600CD-GX-aci-mode-hardware-installation-guide_chapter_01.html。

同样，对于PID C9316D-GX，默认角色是主干。但它也可以作为交换矩阵中的枝叶运行。

参考：https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/hw/aci_9316D-GX_hig/guidebook/b_C9316D-GX_aci_hardware_installation_guide/m_overview_nx-os.html。

更多示例是PID 9332D-GX2B和9364C-GX，默认角色是枝叶，但可以用作主干。

9332D-GX2B必须通过其自己的端口范围25-32连接。

9364C-GX必须通过其自己的端口范围49-62连接。

因此，在继续任何其他故障排除步骤之前，请务必检查硬件安装指南，因为这样可以节省时间。

2. APIC GUI显示连接的接口编号错误

据报道，物理电缆连接是在APIC接口eth2-1和eth2-3上建立的，但在APIC GUI中，发现接口eth2-2和eth2-4正在显示。集群中的所有三个APIC都存在类似行为。

用户使用的是外围设备组件互联Express(PCIe)插槽 — APIC-PCIE-IQ10GC Intel X710四端口10GBase-T网络接口，而不是Cisco VIC卡。

在思科集成管理控制器(CIMC)中验证chassis > Inventory > PCI Adapters。

已确认CIMC中的NIC模式专用于所有三个CIMC，同时受信任平台模块(TPM)状态已启用且所有权归属。所有其他输出看起来也正常。稍后，软件缺陷(Cisco bug ID CSCwd21587)被修复以进一步排除该问题。

发现：

Intel X710-T4 Quad-port 10GBase-T NIC，其端口编号方案从右侧端口开始，向左侧端口递增。

通常，任何交换矩阵设置中的连接都假设编号从左侧开始，此处不适用。

端口按以下方式从右到左分配编号：

| eth2-4 | eth2-3 | eth2-2 | eth2-1 |

考虑到此编号方案，APIC正在检测正确的端口，并如预期一样在GUI上显示端口。

本文档也进行了更新：https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/server/M3-L3-server/APIC-M3-L3-Server.pdf。

需要记住的要点：

• APIC-PCIE-IQ10GC或UCSC-PCIE-IQ10GC必须始终安装在APIC M3/L3的PCIe插槽1中。
• APIC-PCIE-IQ10GC或UCSC-PCIE-IQ10GC可以使用任何端口或任何端口对连接到枝叶节点。
• APIC-PCIE-IQ10GC或UCSC-PCIE-IQ10GC的端口编号顺序如下 | eth2-4 | eth2-3 | eth2-2 | eth2-1 |和机箱上的编号无效。
• 从版本4.2(5)开始，支持UCSC-PCIE-IQ10GC Intel X710四端口10GBase — 网络接口卡，以实现与思科ACI枝叶节点的10GBast-T连接。

3. APIC GUI显示所有接口(eth2-1、eth2-2、eth2-3、eth2-4)的相同MAC地址

发现APIC GUI未显示每个接口的正确MAC地址。所有MAC地址都相同。

请始终记住接口之间存在活动/备份组合，因此您必须始终看到可分配给bond0接口的活动接口的MAC地址，因此您会看到相同的MAC地址。

根据输出，您会看到关闭接口的MAC地址：

这是一个软件缺陷，记录在Cisco Bug ID CSCwd21587下。

理想情况下，您必须在此处看到eth2-2的MAC地址，该地址是活动的，eth2-4是备份。

这是一个后端问题，因为UI中的列表是基于moquery cnwPhysIf。此moquery cnwPhysIf还显示关闭接口eth2-1的MAC地址。

解决方法是在APIC上使用命令cat /proc/net/bonding/bond0，以检查正确的MAC地址。要永久修复，请检查软件缺陷页面。