内容

はじめに

前提条件

要件

使用するコンポーネント

背景説明

トポロジ

トラブルシュート

確認

関連情報

はじめに

このドキュメントでは、FabricPathのトラブルシューティングの基本手順について説明します。

前提条件

要件

Cisco NXOS®では、次の項目に関する知識があることが推奨されます。

- FabricPath

- Intermediate System to Intermediate System(IS-IS)

- スパニング ツリー プロトコル（STP）

- 組み込みロジックアナライザモジュール(ELAM)

使用するコンポーネント

このドキュメントは、Nexus 7000などの特定のハードウェアに限定されます。

このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、クリアな（デフォルト）設定で作業を開始しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。

背景説明

FabricPathは、特に大規模なデータセンター環境において、イーサネットネットワーキング機能の強化を目的としたシスコのテクノロジーです。

Cisco Nexus 7000シリーズのFabricPathの主な機能と利点を次に示します。

1. 拡張性：FabricPathは、多数の仮想ポートチャネル(vPC)に対応し、通常はスパニングツリープロトコル(STP)に関連する制限なしに多数のホストを処理できる、拡張性の高いレイヤ2ネットワークを提供するように設計されています。

2. ループフリートポロジ：FabricPathにより、FabricPathネットワークドメイン内でのSTPの必要性がなくなります。これは、Transparent Interconnection of Lots of Links(TRILL)と呼ばれるルーティングに似たテクノロジーを使用してイーサネットフレームを転送することで実現されます。TRILLはループを防止し、すべてのパスをアクティブにします。

3. ハイアベイラビリティ：FabricPathを使用すると、ネットワークトポロジの変更がより効率的に処理され、コンバージェンス時間が短縮されます。これにより、ネットワーク全体の安定性が向上し、ネットワークのアベイラビリティが向上します。

4. 使いやすさ：このテクノロジーにより、柔軟でスケーラブルなレイヤ2アーキテクチャが可能になり、ネットワーク設計が簡素化されます。これにより、ネットワークの管理が容易になり、運用の複雑さが軽減されます。

5. Equal-Cost Multipath(ECMP):FabricPathはECMPをサポートしているため、ネットワーク内の任意の2点間で複数のパラレルパスを使用できます。これにより、使用可能なすべてのパスでトラフィックのロードバランシングが行われ、帯域利用率が最適化されます。

6. 仮想化のサポート：FabricPathは、仮想化されたデータセンターやプライベートクラウドの導入に最適なインフラストラクチャを提供します。多数の仮想環境に対応できるため、このようなタイプのアプリケーションに適しています。

また、FabricPathには多くの利点がありますが、その特定の利点がネットワーク設計の目標に合致する環境（大規模で動的かつスケーラブルなレイヤ2ドメインを必要とするデータセンターなど）で使用するのが最適であることにも注意してください。

トポロジ

わかりやすくするために、このトポロジでは1つのスパインと2つのリーフのみを示しています。

エミュレートスイッチIDリーフA:3101

エミュレートされたスイッチIDリーフ D(LEAF-ID):3102

トラブルシュート

ホスト1はホスト2と通信できない。

Leaf_A# ping 192.168.10.17

PING 192.168.10.17 (192.168.10.17): 56 data bytes

ping: sendto 192.168.10.17 64 chars, No route to host

Request 0 timed out

ping: sendto 192.168.10.17 64 chars, No route to host

^C

--- 192.168.10.17 ping statistics ---

2 packets transmitted, 0 packets received, 100.00% packet loss

Leaf_A#

1) 2つのホストのMACアドレステーブルにデータが正しく取り込まれていることを確認します。

Leaf_A# show mac address-table vlan 409

Note: MAC table entries displayed are getting read from software.

Use the 'hardware-age' keyword to get information related to 'Age'

Legend:

* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC

age - seconds since last seen,+ - primary entry using vPC Peer-Link,

(T) - True, (F) - False , ~~~ - use 'hardware-age' keyword to retrieve age info

VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID

---------+-----------------+--------+---------+------+----+------------------

* 409 aaaa.aaaa.aaaa dynamic ~~~ F F Po3

<------ Leaf A is not learning the mac address of Host 2

Leaf_A#

Leaf_D# show mac address-table vlan 409

Note: MAC table entries displayed are getting read from software.

Use the 'hardware-age' keyword to get information related to 'Age'

Legend:

* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC

age - seconds since last seen,+ - primary entry using vPC Peer-Link,

(T) - True, (F) - False , ~~~ - use 'hardware-age' keyword to retrieve age info

VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID

---------+-----------------+--------+---------+------+----+------------------

* 409 bbbb.bbbb.bbbb dynamic ~~~ F F Po4

409 aaaa.aaaa.aaaa dynamic ~~~ F F 3101.1.65535    <------ Leaf D is correctly learning both Mac Addresses.

Leaf_D#

2)パスに関係するすべてのインターフェイスとVLANの設定を確認します。FabricPathを有効にする必要があります。

Leaf_A# show run fabricpath

!Command: show running-config fabricpath

!Time: Mon Apr 22 23:12:40 2024

version 6.2(12)

install feature-set fabricpath

feature-set fabricpath

vlan 409

mode fabricpath

fabricpath domain default

fabricpath switch-id 301

vpc domain 301

fabricpath switch-id 3101

interface port-channel1

switchport mode fabricpath

interface port-channel2

switchport mode fabricpath

interface Ethernet1/1

switchport mode fabricpath

interface Ethernet1/2

switchport mode fabricpath

Leaf_A#

Leaf_D# show run fabricpath

!Command: show running-config fabricpath

!Time: Mon Apr 22 23:12:40 2024

version 6.2(12)

install feature-set fabricpath

feature-set fabricpath

<--------- FabricPath is not enabled for VLAN 409

fabricpath switch-id 101

vpc domain 302

fabricpath switch-id 3102

interface port-channel1

switchport mode fabricpath

interface port-channel2

switchport mode fabricpath

interface Ethernet1/1

switchport mode fabricpath

interface Ethernet1/2

switchport mode fabricpath

Leaf_D#

Leaf_D#

Spine_A# show run fabricpath

!Command: show running-config fabricpath

!Time: Mon Apr 22 23:12:40 2024

version 6.2(12)

install feature-set fabricpath

feature-set fabricpath

vlan 409

mode fabricpath

fabricpath domain default

fabricpath switch-id 31

vpc domain 101

fabricpath switch-id 1003

interface port-channel1

switchport mode fabricpath

interface port-channel2

switchport mode fabricpath

interface Ethernet1/1

switchport mode fabricpath

interface Ethernet1/2

switchport mode fabricpath

interface Ethernet1/3

switchport mode fabricpath

interface Ethernet1/4

switchport mode fabricpath

Spine_A#

3) FabricPathに参加しているすべてのデバイスのスイッチIDを確認します。

Leaf_A# show fabricpath switch-id local

Switch-Id: 301

System-Id: aaaa.aaaa.b341

Leaf_A#

Leaf_D# show fabricpath switch-id local

Switch-Id: 101

System-Id: bbbb.bbbb.b342

Leaf_D#

Spine_A# show fabricpath switch-id local

Switch-Id: 31

System-Id: cccc.cccc.b343

Spine_A#

4)各デバイスのスイッチIDで正しいルートが設定されていることを確認します。

Leaf_A# show fabricpath route switchid 101

FabricPath Unicast Route Table

'a/b/c' denotes ftag/switch-id/subswitch-id

'[x/y]' denotes [admin distance/metric]

ftag 0 is local ftag

subswitch-id 0 is default subswitch-id

FabricPath Unicast Route Table for Topology-Default

1/101/0, number of next-hops: 1

via Po1, [115/5], 1 day/s 12:21:29, isis_fabricpath-default <------ The route from Leaf A to Leaf D is correctly configured.

Leaf_A

Leaf_D# show fabricpath route switchid 301

FabricPath Unicast Route Table

'a/b/c' denotes ftag/switch-id/subswitch-id

'[x/y]' denotes [admin distance/metric]

ftag 0 is local ftag

subswitch-id 0 is default subswitch-id

FabricPath Unicast Route Table for Topology-Default

1/301/0, number of next-hops: 1

via Po2, [115/5], 1 day/s 12:21:29, isis_fabricpath-default  <------ The route from Leaf D to Leaf A is correctly configured.

Leaf_D

Spine_A# show fabricpath route switchid 301

FabricPath Unicast Route Table

'a/b/c' denotes ftag/switch-id/subswitch-id

'[x/y]' denotes [admin distance/metric]

ftag 0 is local ftag

subswitch-id 0 is default subswitch-id

FabricPath Unicast Route Table for Topology-Default

1/301/0, number of next-hops: 1

via Po1, [115/20], 1 day/s 06:13:21, isis_fabricpath-default <------ The route from Spine A to Leaf A is correctly configured.

Spine_A#

Spine_A# show fabricpath route switchid 101

FabricPath Unicast Route Table

'a/b/c' denotes ftag/switch-id/subswitch-id

'[x/y]' denotes [admin distance/metric]

ftag 0 is local ftag

subswitch-id 0 is default subswitch-id

FabricPath Unicast Route Table for Topology-Default

1/101/0, number of next-hops: 1

via Po2, [115/20], 1 day/s 06:13:21, isis_fabricpath-default <------ The route from Spine A to Leaf D is correctly configured.

Spine_A#

5)リーフとスパインのIS-IS隣接関係を確認します。

Leaf_A# show fabricpath isis adjacency

Fabricpath IS-IS domain: default Fabricpath IS-IS adjacency database:

System ID SNPA Level State Hold Time Interface

cccc.cccc.b343 N/A 1 UP 00:00:27 port-channel1

Leaf_A#

Leaf_D# show fabricpath isis adjacency

Fabricpath IS-IS domain: default Fabricpath IS-IS adjacency database:

System ID SNPA Level State Hold Time Interface

cccc.cccc.b343 N/A 1 UP 00:00:27 port-channel2

Leaf_D#

6)現在の展開に競合が存在しないことを確認します。

Leaf_A# show fabricpath conflict all

No Fabricpath ports in a state of resource conflict.

No Switch id Conflicts

No transitions in progress

Leaf_A#

Leaf_D# show fabricpath conflict all

No Fabricpath ports in a state of resource conflict.

No Switch id Conflicts

No transitions in progress

Leaf_D#

Spine_A# show fabricpath conflict all

No Fabricpath ports in a state of resource conflict.

No Switch id Conflicts

No transitions in progress

Spine_A#

7) VLANがIS-IS VLAN範囲に追加されていることを確認します。

Leaf_A# show fabricpath isis vlan-range

Fabricpath IS-IS domain: default

MT-0

Vlans configured:1,409

Leaf_A#

Leaf_D# show fabricpath isis vlan-range

Fabricpath IS-IS domain: default

MT-0

Vlans configured:1             <------ VLAN 409 is not present

Leaf_D

Spine_A# show fabricpath isis vlan-range

Fabricpath IS-IS domain: default

MT-0

Vlans configured:1, 409

Spine_A#

8)スパインAでELAMがトリガーされているかどうかを確認します。

module-1# show hardware internal dev-port-map      <------ Determine the F4 ASIC that is used for the FE on port Eth1/2. Enter this command in order to verify this.

--------------------------------------------------------------

CARD_TYPE: 48 port 10G

>Front Panel ports:48

--------------------------------------------------------------

Device name Dev role Abbr num_inst:

--------------------------------------------------------------

> Flanker Eth Mac Driver DEV_ETHERNET_MAC MAC_0 6

> Flanker Fwd Driver DEV_LAYER_2_LOOKUP L2LKP 6

> Flanker Xbar Driver DEV_XBAR_INTF XBAR_INTF 6

> Flanker Queue Driver DEV_QUEUEING QUEUE 6

> Sacramento Xbar ASIC DEV_SWITCH_FABRIC SWICHF 2

> Flanker L3 Driver DEV_LAYER_3_LOOKUP L3LKP 6

> EDC DEV_PHY PHYS 7

+-----------------------------------------------------------------------+

+----------------+++FRONT PANEL PORT TO ASIC INSTANCE MAP+++------------+

+-----------------------------------------------------------------------+

FP port | PHYS | MAC_0 | L2LKP | L3LKP | QUEUE |SWICHF

1       0      0       0       0       0     0,1

2       0      0       0       0       0     0,1

...

module-1#

module-1#

module-1# elam asic flanker instance 0

module-1(fln-elam)#

module-1(fln-elam)# elam asic flanker instance 0

module-1(fln-elam)# layer3

module-1(fln-l2-elam)#

module-1(fln-l2-elam)# trigger dbus ipv4 ingress if source-ipv4-address 192.168.10.17

module-1(fln-l2-elam)#

module-1(fln-l2-elam)# trigger rbus ingress if trig

module-1(fln-l2-elam)# start

module-1(fln-l2-elam)#

module-1(fln-l2-elam)#

module-1(fln-l2-elam)# status

ELAM Slot 1 instance 0: L2 DBUS Configuration: trigger dbus ipv4 ingress if source-ipv4-address 192.168.10.17

L2 DBUS: Armed

ELAM Slot 1 instance 0: L2 RBUS Configuration: trigger rbus ingress if trig

L2 RBUS: Armed

module-1(fln-l2-elam)# status

ELAM Slot 1 instance 0: L2 DBUS Configuration: trigger dbus ipv4 ingress if source-ipv4-address 192.168.10.17

L2 DBUS: Armed

ELAM Slot 1 instance 0: L2 RBUS Configuration: trigger rbus ingress if trig

L2 RBUS: Armed                                                                                                      <------ ELAM is not triggered.

module-1(fln-l2-elam)#

9) VLAN 409をFabricPathに追加します。

Leaf_D(config)# vlan 409

Leaf_D(config-vlan)# mode fabricpath

Leaf_D(config-vlan)# show run vlan

!Command: show running-config vlan

!Time: Wed Apr 24 20:27:29 2024

version 6.2(12)

vlan 1,409

vlan 409

mode fabricpath

Leaf_D(config-vlan)#

確認

1) MACアドレステーブルを確認します。

Leaf_A# show mac address-table vlan 409

Note: MAC table entries displayed are getting read from software.

Use the 'hardware-age' keyword to get information related to 'Age'

Legend:

* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC

age - seconds since last seen,+ - primary entry using vPC Peer-Link,

(T) - True, (F) - False , ~~~ - use 'hardware-age' keyword to retrieve age info

VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID

---------+-----------------+--------+---------+------+----+------------------

* 409 aaaa.aaaa.aaaa dynamic ~~~ F F Po3

409 bbbb.bbbb.bbbb dynamic ~~~ F F 3102.1.65535

Leaf_A#

Leaf_D# show mac address-table vlan 409

Note: MAC table entries displayed are getting read from software.

Use the 'hardware-age' keyword to get information related to 'Age'

Legend:

* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC

age - seconds since last seen,+ - primary entry using vPC Peer-Link,

(T) - True, (F) - False , ~~~ - use 'hardware-age' keyword to retrieve age info

VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID

---------+-----------------+--------+---------+------+----+------------------

* 409 bbbb.bbbb.bbbb dynamic ~~~ F F Po4

409 aaaa.aaaa.aaaa dynamic ~~~ F F 3101.1.65535

Leaf_D#

2)スパインAでELAMがトリガーされているかどうかを確 認します。

module-1# elam asic flanker instance 0

module-1(fln-elam)#

module-1(fln-elam)# elam asic flanker instance 0

module-1(fln-elam)# layer2

module-1(fln-l2-elam)#

module-1(fln-l2-elam)# trigger dbus ipv4 ingress if source-ipv4-address 192.168.10.17

module-1(fln-l2-elam)#

module-1(fln-l2-elam)# trigger rbus ingress if trig

module-1(fln-l2-elam)# start

module-1(fln-l2-elam)#

module-1(fln-l2-elam)# status

ELAM Slot 1 instance 0: L2 DBUS Configuration: trigger dbus ipv4 ingress if source-ipv4-address 192.168.10.17

L2 DBUS: Armed

ELAM Slot 1 instance 0: L2 RBUS Configuration: trigger rbus ingress if trig

L2 RBUS: Armed

module-1(fln-l2-elam)# status

ELAM Slot 1 instance 0: L2 DBUS Configuration: trigger dbus ipv4 ingress if source-ipv4-address 192.168.10.17

L2 DBUS: Triggered             <-------- ELAM triggered

ELAM Slot 1 instance 0: L2 RBUS Configuration: trigger rbus ingress if trig

L2 RBUS: Triggered             <-------- ELAM triggered

module-1(fln-l2-elam)#

3)リーフAからホストAへの接続を確認します。

Leaf_A# ping 192.168.10.17

PING 192.168.10.17 (192.168.10.17): 56 data bytes

64 bytes from 192.168.10.17: icmp_seq=0 ttl=254 time=1.703 ms

64 bytes from 192.168.10.17: icmp_seq=1 ttl=254 time=1.235 ms

64 bytes from 192.168.10.17: icmp_seq=2 ttl=254 time=1.197 ms

64 bytes from 192.168.10.17: icmp_seq=3 ttl=254 time=3.442 ms

64 bytes from 192.168.10.17: icmp_seq=4 ttl=254 time=1.331 ms

--- 192.168.10.17 ping statistics ---

5 packets transmitted, 5 packets received, 0.00% packet loss

round-trip min/avg/max = 1.197/1.781/3.442 ms

Leaf_A#

関連情報

Cisco FabricPathの

Cisco Nexus 7000シリーズNX-OS FabricPathコマンドリファレンス

Nexus 7000 M3モジュールのELAM手順