ACIデュアルロールスイッチとIntel VICカードのトラブルシューティング

はじめに

このドキュメントでは、アプリケーションセントリックインフラストラクチャ(ACI)ファブリックでのデュアルロールスイッチの使用と、Intel仮想インターフェイスカード(VIC)の使用について説明します。

問題

報告された問題：

1. スパインスイッチN9K-C93600CD-GXがクラスタで起動しない。

2. Application Policy Infrastructure Controller(APIC)のGUIに、接続されているインターフェイス番号が正しく表示されない。

3. APIC GUIでは、すべてのインターフェイス(eth2-1、eth2-2、eth2-3、eth2-4)で同じMACアドレスが表示されます。

解決方法

1. スパインスイッチN9K-C93600CD-GXがクラスタで起動しない

このような問題が報告される際には、非常に汎用的なアプローチが使用されていることが確認されています。これらは分離のために実行できる基本的なトラブルシューティング手順ですが、製品のインストールガイドをチェックして、現在の設定と要件が一致していることを確認した後で実行する必要があります。

i.スイッチ側またはAPIC側のいずれかで接続を移動します。

ii.スイッチまたはAPICのリロードが実行されます。

iii.さらに問題を調査するために、追加のCLIコマンドが収集されます。また、テクニカルサポートログが収集される場合もあります。

これらの手順はすべて正しく、従う必要があります。ただし、特定のPart Identifier(PID)の検出の問題が発生したときに必ず確認できる別のステップがあります。この基本的なチェックでは、その特定のスイッチのハードウェアインストールガイドを確認します。

たとえば、ユーザがスイッチPID N9K-C93600CD-GXに問題を抱えていて、ユーザがそれをスパインとして起動させようとしていたとします。このスイッチは、自身のポート番号20でリーフスイッチに接続されています。このスパインスイッチは起動しませんでした。

インストールガイドには、次の情報が記載されています。

• このスイッチのデフォルトロールは、リーフスイッチとして機能します。
• デフォルトのファブリックリンク（ポート29 ～ 36）は、別のスイッチを介した最初のスイッチ検出に使用する必要があります。
• スイッチをデフォルトロールから変更するには、次の手順に従う必要があります。ノードがファブリックインベントリビューで検出されたデバイスとして表示される場合、スイッチのロール（スパインまたはリーフ）を設定する必要があります。設定されたロールが有効になると、スイッチは自動的に再起動します。
• デフォルトスパイン（Nexus 9316D-GXなどのデフォルトがスパインであるデュアルロールスイッチ）をAPICに直接接続する場合、ロールのリーフへの変更はAPICとリブートによって自動的に実行されます。その後、ノードは登録待ちのノードに表示され、ノードを登録する必要があります。

追加のチェックを実行する前に、必ずリーフ/スパインの役割に関する考慮事項や検出に関する考慮事項などのセクションを確認してください。

参考：https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/hw/aci-93600cd-gx/guide/b_c93600CD-GX-aci-mode-hardware-installation-guide/b_c93600CD-GX-aci-mode-hardware-installation-guide_chapter_01.html

同様に、PID C9316D-GXの場合、デフォルトのロールはスパインです。しかし、ファブリック内のリーフとしても機能します。

参考：https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/hw/aci_9316D-GX_hig/guidebook/b_C9316D-GX_aci_hardware_installation_guide/m_overview_nx-os.html

その他の例としては、PID 9332D-GX2Bおよび9364C-GXがあります。デフォルトのロールはleafですが、スパインとして機能できます。

9332D-GX2Bは、25 ～ 32のポート範囲で接続する必要があります。

9364C-GXは、49 ～ 62のポート範囲で接続する必要があります。

時間を節約できるので、他のトラブルシューティング手順に進む前に、必ずハードウェアインストールガイドを確認してください。

2. APIC GUIに誤ったインターフェイス番号が接続されていることが表示される

物理ケーブル接続はAPICインターフェイスeth2-1およびeth2-3で行われましたが、APIC GUIではインターフェイスeth2-2およびeth2-4が表示されていることが判明しました。クラスタ内の3つのAPICすべてで同様の動作が見られました。

ユーザは、Cisco VICカードではなく、Peripheral Component Interconnect Express(PCIe)スロット（APIC-PCIE-IQ10GC Intel X710クアッドポート10GBase-Tネットワークインターフェイス）を使用していました。

Cisco Integrated Management Controller(CIMC)で確認します。chassis > Inventory > PCI Adapters

CIMCのNICモードは、トラステッドプラットフォームモジュール(TPM)のステータスが有効で所有権が所有されており、3つすべてのCIMC専用であることが確認されました。その他の出力も問題ないように見えます。その後、この問題をさらにトラブルシューティングするためのソフトウェア不具合(Cisco Bug ID CSCwd21587)が登録されました。

その結果、次のことが判明しました。

Intel X710-T4 Quad-port 10GBase-T NICでは、右側のポートから左側のポートに向かってポート番号が増加していきます。

通常、ファブリック設定での接続は、番号が左から始まるという前提で行われますが、ここでは該当しません。

ポートには、次のように右から左に番号が割り当てられます。

| eth2-4 | eth2-3 | eth2-2 | eth2-1 |

この番号付け方式を考慮して、APICは正しいポートを検出し、予期したとおりにGUIにポートを表示しています。

このドキュメントの情報も更新されています(https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/server/M3-L3-server/APIC-M3-L3-Server.pdf)。

覚えておくべきポイント：

• APIC-PCIE-IQ10GCまたはUCSC-PCIE-IQ10GCは、必ずAPIC M3/L3のPCIeスロット1に取り付ける必要があります。
• APIC-PCIE-IQ10GCまたはUCSC-PCIE-IQ10GCは、任意のポートまたは任意のポートのペアを使用してリーフノードに接続できます。
• APIC-PCIE-IQ10GCまたはUCSC-PCIE-IQ10GCのポート番号順 | eth2-4 | eth2-3 | eth2-2 | eth2-1 | シャーシの番号が無効です。
• リリース4.2(5)以降、UCSC-PCIE-IQ10GC Intel X710クアッドポート10GBase – ネットワークインターフェイスカードは、Cisco ACIリーフノードへの10GBast-T接続をサポートしています。

3. APIC GUIはすべてのインターフェイス(eth2-1、eth2-2、eth2-3、eth2-4)で同じMACアドレスを表示します

APIC GUIで各インターフェイスの正しいMACアドレスが表示されていないことが確認されました。すべてのMACアドレスが同じでした。

インターフェイス間にはアクティブ/バックアップチーミングが存在することを常に念頭に置いてください。そのため、bond0インターフェイスに割り当てることができるアクティブインターフェイスのMACアドレスを常に確認する必要があります。したがって、同じMACアドレスを確認できます。

ここでは、出力に示されているように、ダウンインターフェイスのMACアドレスが表示されています。

これは、Cisco Bug ID CSCwd21587に記載されているソフトウェアの不具合です。

理想的には、eth2-2のMACアドレスがアクティブであり、eth2-4がバックアップであることが必要です。

これは、UIのリストがmoquery cnwPhysIfに基づいて作成されるため、バックエンドの問題です。このmoquery cnwPhysIfは、ダウンインターフェイスeth2-1のMACアドレスも示しています。

この問題の回避策は、APICでcat /proc/net/bonding/bond0コマンドを使用して、正しいMACアドレスを調べることです。恒久的な修正については、ソフトウェア不具合ページを確認してください。