6500/6880 Instant Access/FEX設計のパケット転送のトラブルシューティング
内容
概要
このドキュメントでは、Catalyst 6500/6880シリーズInstant Accessネットワークでのパケット転送のトラブルシューティング方法について説明します。
1.背景説明
Instant Accessベースのネットワークの設計、VNTAG形式、およびパケット転送ロジックについて十分に理解しておくことをお勧めします。
Catalyst 6500/6880 Instant AccessのInstant Accessアーキテクチャの詳細については、次を参照してください。
Cisco Catalyst インスタント アクセス ソリューションのホワイト ペーパー
このトポロジに関する詳細な分析はすべて完了しています。
警告：ここで説明するステップは、ラボ設定で、またはCisco TACエンジニアの直接指導の下でのみ実行されます。
ここに示されているコマンドの一部を正常に実行するには、Cisco Catalyst 6500/6880コントローラで「service internal」（隠しコマンド）を有効にします。これにより、隠しコマンドやTAC固有のコマンドの一部がロック解除されます。
6880#configure terminal 6880(config)#service internal
FEXへのフルアクセスを有効にします（内部サービスが必要）。時間は指定した分です。
6880#test platform software console fex <fex-id> enable timeout <minutes>
2.パケットフローのトラブルシューティング（FEX ->コントローラ）
このセクションでは、Instant Access(IM)/FEX（ファブリックエクステンダ）インターフェイス（Gi1/0/1に接続されているホスト）から、Cisco Catalyst 6500/6880シリーズコントローラへのパケットフローを示します。ここでは、パケット転送に関する最終的な決定について説明します。
2.1.ファブリックエクステンダ(FEX)
FEX入力インターフェイス(Gi1/0/1)でパケットが受信されているかどうかを判別するには、次の方法を使用できます。
2.1.1.インターフェイスカウンタ
パケットの数を生成し、パケットがFEXで表示されることを確認します。
6880#show int gi101/1/0/1 | in packets input
101 packets input, 151894 bytes, 0 no buffer
6880#show counters interface gi101/1/0/1 delta | in InPackets|InUcastPkts|InMcastPkts
1. InPackets = 104
3. InUcastPkts = 102
4. InMcastPkts = 2
注:MACラーニングはコントローラでのみ発生するため、設計に基づいて、FEXのMACアドレステーブルは常に空です。
2.1.2.パケットキャプチャ
さらにトラブルシューティングするためにFEXからパケットをキャプチャする必要がある場合、SPANセッションをFEXで直接設定できます（これにより、パケットレプリケーションがFEX自体で実行されます）。主な要件は、SPAN宛先がSPAN送信元と同じFEXに接続されていることです。
6880#attach fex 101 Attach FEX:101 ip:192.168.1.101 Trying 192.168.1.101 ... Open User Access Verification Password: cisco FEX-101>enable Password: cisco FEX-101#conf t FEX-101(config)#monitor session 1 source interface gi1/0/1 FEX-101(config)#monitor session 1 destination interface gi1/0/2
この設定は、パケットキャプチャ（つまりSPANセッション）が6880で次のように直接設定されるシナリオとは異なります。
6880#configure terminal 6880(config)#monitor session 1 source interface gi101/1/0/1 6880(config)#monitor session 1 destination interface gi101/1/0/2
FEXでパケットキャプチャが設定されると、FEX自体でもパケット複製が発生し、FEXとコントローラ間の通信に問題がある場合は宛先ポートでパケットが観察されます。パケットキャプチャが6880で直接設定されている場合（2番目の例を参照）、コントローラ自体でパケットの複製が発生し、コントローラとFEXの間に通信の問題がある場合は誤った分析につながる可能性があります。このアプローチを使用すると、SPAN宛先を任意のポート（FEXなど）に接続できます。
これは、両方のシナリオで6880のレプリケーションSPANカウンタを確認することで確認できます。
FEXで直接設定されたSPANセッション – すべてのカウンタが0に等しい：
6880#clear platform hardware capacity rewrite-engine counter Clear rewrite-engine counter for both switches [confirm] 6880#sh platform hardware capacity rewrite-engine performance | in SPAN RX 1/5 0 0x210 SPAN RX 0 0 0 1/5 0 0x211 SPAN RX 1 0 0 (...)
コントローラで直接設定されたSPANセッション：カウンタは複製されたパケットの数に対応します。複製は、アクティブなVSSシャーシに属している必要のない入力コントローラモジュールで行われます。（例：chassis 2/module 5）。
6880#clear platform hardware capacity rewrite-engine counter Clear rewrite-engine counter for both switches [confirm] 6880#sh platform hardware capacity rewrite-engine performance | in SPAN RX (...> 2/5 0 0x211 SPAN RX 1 0 0 2/5 1 0x210 SPAN RX 0 0 0 2/5 1 0x211 SPAN RX 1 0 0 2/5 2 0x210 SPAN RX 0 102 0 (...)
2.1.3. FEX CPUへのパケットリダイレクト
SPANに対する別の方法として、FEX CPUにパケットをリダイレクトする方法があります。log文を使用してACLを作成し、入力インターフェイス（このシナリオではGi1/0/1）に接続し、デバッグを実行してこれらのパケットをキャプチャします。 これにより、FEXでのパケット転送の決定に関する追加の詳細を収集することもできます。
注：このデバッグにより、大量のパケットが存在する場合に備えて、コントローラスイッチでCPUの高使用状態が発生する可能性があります。
注:Instant Accessスイッチのスタックがある場合、監視対象のポートに対してローカルなスイッチでデバッグを実行する必要があります。コマンド「session」を実行して、スタック内の他のスイッチにログインします。ここで、switch-noはスイッチ番号に対応します（たとえば、インターフェイスgi2/0/1の場合、switch-noは2です。インターフェイス5/0/11の場合、switch-noは5です）。
6880#attach fex 101 Attach FEX:101 ip:192.168.1.101 Trying 192.168.1.101 ... Open User Access Verification Password: cisco FEX-101>en Password: cisco FEX-101#conf t FEX-101(config)#access-list 100 permit ip host 10.0.0.2 host 10.0.0.1 log FEX-101(config)#access-list 100 permit ip any any FEX-101(config)#int gi1/0/1 FEX-101(config-if)#ip access-group 100 in ! FEX-101#debug platform cpu-queues logging-q
ホストによってパケットが生成されると、ロギングバッファに情報が追加され、パケットの特性（送信元と宛先のMACアドレス、送信元と宛先のIPアドレスなど）、パケットダンプ、および内部パケットの特性が記録されます。
Jun 7 14:05:23.059: Pak recvd on LOGGING-Q: Local Port Fwding L3If: L2If:GigabitEthernet1/0/1 DI:0x1E19, LT:7, Vlan:10 SrcGPN:1, SrcGID:1, ACLLogIdx:0x1, MacDA:0000.0000.0001, MacSA: 0000.0000.0002 IP_SA:10.0.0.2 IP_DA:10.0.0.1 IP_Proto:1 (FEX-101) TPFFD:F3800001_000A400A_01A00076-00011E19_5F5F0000_00002001 (FEX-101) (FEX-101) Jun 7 14:05:23.059: Raw FEX packet Dump: (FEX-101) Jun 7 14:05:23.059: 00 00 00 00 00 01 00 00 00 00 (FEX-101) Jun 7 14:05:23.059: 00 02 08 00 45 00 00 64 04 D3 (FEX-101) Jun 7 14:05:23.059: 00 00 FF 01 A2 C3 0A 00 00 02 (FEX-101) Jun 7 14:05:23.059: 0A 00 00 01 08 00 42 9D 00 13 (FEX-101) Jun 7 14:05:23.062: 00 00 00 00 00 00 38 96 03 04 (FEX-101)
転送される決定を確認するには、次のチェックを実行します（このログに示されるDI宛先インデックスに基づいて、St1とSt2はスタックポートに対応し、Te1/0/1とTe1/0/2はポートチャネルに属するアップリンクです）。
FEX-101#show platform port-asic dest-map index 0x1E19 Ports: Te1/0/1 St1 Te1/0/2 St2
ポートチャネルからコントローラに向かってどのポートが使用されているかを判別するには（この番号はshow etherchannel summaryコマンドを実行して確認します）、次の方法を使用します。（この例はIPパケット用で、非IPの場合はMACアドレスが使用されます）。
FEX-101#show etherchannel load-balance
EtherChannel Load-Balancing Configuration:
src-dst-ip
EtherChannel Load-Balancing Addresses Used Per-Protocol:
Non-IP: Source XOR Destination MAC address
IPv4: Source XOR Destination IP address
IPv6: Source XOR Destination IP address
!
FEX-101#test etherchannel load-balance interface po1 ip 10.0.0.2 10.0.0.1
Would select Te1/0/2 of Po1
コントローラに送信されるパケットには、入力インターフェイスを反映するVNTAGが追加されています。この値を決定するには、次の方法に従います（インターフェイスGi1/0/1にVIF+1を使用）。
FEX-101#show platform fex ucast-entries vif sw_idb portname GPN handle res_index ==== ========== ====================== ==== ========= ========= 1 0x5CAC278 GigabitEthernet1/0/1 1 0x5 0x30F0000
2.2.コントローラ
パケットがコントローラに到達すると、入力フォワーディングエンジンによってさらに処理され、パケットに対して何を行うべきかについてさらに決定が下されます。
この例では、ポイント2.1で提供された分析に基づいて、パケットはインターフェイスTe1/0/2経由でFEXから送信されます。相手側に接続されているコントローラインターフェイスを確認するには、次のコマンドを使用します。
6880#show fex infra | in FEX Uplink|FLGS
FLGS:
Te1/5/13, FLGS: 0x3F
FEX Uplink: Te1/0/1
Te2/5/13, FLGS: 0x1F
FEX Uplink: Te1/0/2
パケットはポートTe2/5/13で受信されるため、次のチェックが可能です。
2.2.1. MACアドレステーブル
パケットがコントローラで受信されると、MACアドレスの学習が行われ、ホストのMACアドレスがすべてのモジュールで学習されます（これは、アクティブ側スーパーバイザからの例を1つだけ示しています）。
6880#show mac address-table interface gi101/1/0/1
Legend: * - primary entry
age - seconds since last seen
n/a - not available
S - secure entry
R - router's gateway mac address entry
D - Duplicate mac address entry
Displaying entries from active supervisor:
vlan mac address type learn age ports
----+----+---------------+-------+-----+----------+-----------------------------
* 10 0000.0000.0002 dynamic Yes 10 Gi101/1/0/1
(...)
2.2.2.パケットキャプチャ
ポイント2.1.2で説明されているように、パケットキャプチャも次のようにコントローラで設定されます。
6880#configure terminal 6880(config)#monitor session 1 source interface gi101/1/0/1 6880(config)#monitor session 1 destination interface gi101/1/0/2
パケットが宛先インターフェイスで確認できる場合、パケットはFEXからコントローラに正常に送信されています。
標準SPANセッションに加えて、内部パケットキャプチャを設定して、パケットが内部バッファにキャプチャされるようにできます。
6880(config)#monitor session 1 type capture 6880(config-mon-capture)#source interface gi101/1/0/1 ! 6880#monitor capture start %SPAN-SW1-5-PKTCAP_START: Packet capture session 1 started 6880#show monitor capture buffer 1 IP: s=10.0.0.2 , d=10.0.0.1, len 100 2 IP: s=10.0.0.2 , d=10.0.0.1, len 100 3 IP: s=10.0.0.2 , d=10.0.0.1, len 100 4 IP: s=10.0.0.2 , d=10.0.0.1, len 100 (...)
この機能の詳細については、「ミニプロトコルアナライザ」を参照してください。
2.2.3.ELAM
Catalyst 6500/6880シリーズには、パケットのコントローラによって行われるパケット転送の決定に関する詳細な情報を提供する組み込みの内部パケットキャプチャがあります。
注:6500/SUP2Tおよび6880で有効なELAMの詳細については、「Supervisor Engine 2Tを搭載したCatalyst 6500シリーズスイッチのELAM手順」を参照してください。
パケットがキャプチャされると、パケットの送信元（つまり、VIFマッピングに基づいて実行されるFEXインターフェイスを正しく指している場合）、およびパケットが転送される場所が決定されます。
この例では、パケットはスタンバイVSSシャーシで受信されます。
最初のログイン時には、
6880#remote login standby Trying Switch ... Entering CONSOLE for Switch Type "^C^C^C" to end this session User Access Verification Password: 6880-sdby#^e Standby console enabled
ELAMを実行します。
6880-sdby#show platform capture elam asic eureka slot 5 Assigned asic_desc=eu50 6880-sdby#show platform capture elam trigger master eu50 dbus dbi ingress ipv4 if ip_sa = 10.0.0.2 6880-sdby#show platform capture elam start cap_commands: Default ELAM RBI PB1 added to list
パケットがホストから送信され、入力フォワーディングエンジン（ここではシャーシ2のeu50）に到達すると、キャプチャがトリガーされ、データ数とコロン数が取得されます。
6880-sdby#sh platform capture elam status ELAM Mode: local ID# Role ASIC Slot Inst Ver ELAM Status ----- ---- ------- ---- ---- --- --------- ------ eu50 M EUREKA 5 0 1.3 DBI_ING Capture Completed eu50 s EUREKA 5 0 1.3 RBI_PB1 Capture Completed ID# ELAM Trigger ----- --------- ---------- eu50 DBI_ING FORMAT=IP L3_PROTOCOL=IPV4 IP_SA = 10.0.0.2 eu50 RBI_PB1 TRIG=1 ! 6880-sdby#show platform capture elam data | in IP_SA|IP_DA|SMAC|DMAC|SRC_INDEX|DEST_INDEX|data DBUS data: SRC_INDEX ....................... [19] = 0x2000 [Po101[Te1/5/13,Te2/5/13],Gi101/1/0/1] DEST_INDEX ...................... [19] = 0xC [Te1/1/13] DMAC ............................ = 0000.0000.0001 SMAC ............................ = 0000.0000.0002 IP_SA ........................... = 10.0.0.2 IP_DA ........................... = 10.0.0.1 RBUS data: DEST_INDEX ...................... [19] = 0x380 [Switch/Router]
キャプチャ出力に基づいて、MAC/IPアドレス（図を参照）を持つパケットがFEXのGi101/1/0/1（DBUS SRC_INDEXフィールド）で受信され、コントローラに設定されたPo101経由でコントローラに渡されました。決定は、このパケットをVSS CPU（RBUS DEST_INDEXフィールド）に転送することです。
注:VIFと送信元インデックスの間のマッピングはVNTAGマネージャによって行われ、チェックできます（この場合、FEXのポートGi1/0/1からユニキャストフレームを渡すときにVIF=1が使用されました。動作状態は常に2で、タイプはユニキャストまたはマルチキャストの可能性があります）。
6880#test platform software switch virtual vntag_mgr vif-map vif 1 detail VIF INFO: VIF# 1 Type UNICAST VIF LTL# 2000 OperStatus # 2
パケットフローのトラブルシューティング（コントローラ – > FEX）
このセクションでは、コントローラのCisco Catalyst 6500/6880シリーズ入力フォワーディングエンジンからInstant Access/FEX（ファブリックエクステンダ）インターフェイスまでのパケットフローについて説明します。
3.1.コントローラ
3.1.1.パケットキャプチャ
Catalyst 6500/6880スイッチでパケットが正常に受信されたかどうかを判断するには、スタンドアロン/VSSスイッチのトラブルシューティングを行う標準的な方法を使用します。これらの方法には、パケットキャプチャ（SPANセッションなど）が含まれます。これらのツールの詳細については、次を参照してください。
3.1.2. ELAM
転送されるパケットの決定が、有効なVIF IDを使用してFEXに送信されるかどうかを判断するために、パケットキャプチャが入力フォワーディングエンジン（パケットが受信されたインターフェイスを処理するフォワーディングエンジン）のコントローラで実行されます。
6500/SUP2Tおよび6880で有効なELAMの詳細については、次を参照してください。
Supervisor Engine 2T を含む Catalyst 6500 シリーズ スイッチの ELAM 手順
この例では、これは有効なELAM設定です。（トリガーの「shim」キーワードは、パケットがCPUから発信される場合に使用されます。中継トラフィックでは、このキーワードは使用されません）。
6880#show platform capture elam asic eureka slot 5 6880#show platform capture elam trigger master eu50 dbus dbi ingress shim ipv4 if ip_sa = 10.0.0.1 ip_da=10.0.0.2 6880#sh platform capture elam start 6880#sh platform capture elam status ELAM Mode: local ID# Role ASIC Slot Inst Ver ELAM Status ----- ---- ------- ---- ---- --- --------- ------ eu50 M EUREKA 5 0 1.3 DBI_ING Capture Completed eu50 s EUREKA 5 0 1.3 RBI_PB1 Capture Completed ID# ELAM Trigger ----- --------- ---------- eu50 DBI_ING FORMAT=OTHERS SHIM_ETYPE=E8_SHIM_ETYPE ETYPE=IPV4_ETYPE IP_SA = 10.0.0.1 IP_DA=10.0.0.2 eu50 RBI_PB1 TRIG=1
キャプチャされた結果を次に示します。
6880#show platform capture elam data | in IP_SA|IP_DA|SMAC|DMAC|SRC_INDEX|DEST_INDEX|data DBUS data: SRC_INDEX ....................... [19] = 0x380 [Switch/Router,Po255[Te2/5/1,Te2/5/5,Te2/5/6]] DEST_INDEX ...................... [19] = 0x0 [Te1/1/1] DMAC ............................ = 0000.0000.0002 SMAC ............................ = 0000.0000.0001 IP_SA ........................... = 10.0.0.1 IP_DA ........................... = 10.0.0.2 IP_DATA [224] RBUS data: DEST_INDEX ...................... [19] = 0x2000 [Po101[Te1/5/13,Te2/5/13],Gi101/1/0/1]
パケットはCPU（DBUS SRC_INDEXのスイッチ/ルータエントリ）から受信されており、転送の決定は、Po101（コントローラとFEXを接続するポートチャネル）を介して送信してから、FEX101のインターフェイスGi1/0/1を介して送信することです。
この場合に使用されるVIF識別子は、コマンドを介して確認できます。ここで、LTL値はRBUSのDEST_INDEXフィールドから取得されます。
6880#test platform software switch virtual vntag_mgr vif-map ltl 0x2000 detail VIF INFO: VIF# 1 Type UNICAST VIF LTL# 2000 OperStatus # 2
コントローラの出力インターフェイスはport-channelであるため、これらのコマンドを実行すると、使用する物理リンクを判別できます。
6880#show etherchannel load-balance
EtherChannel Load-Balancing Configuration:
src-dst-ip enhanced
mpls label-ip
EtherChannel Load-Balancing Mode on FEX Modules:
src-dst-ip
EtherChannel Load-Balancing Addresses Used Per-Protocol:
Non-IP: Source XOR Destination MAC address
IPv4: Source XOR Destination IP address
IPv6: Source XOR Destination IP address
MPLS: Label or IP
!
6880#test etherchannel load-balance interface po101 ip 10.0.0.1 10.0.0.2
Computed RBH: 0x3
Would select Te1/5/13 of Po101
3.2.ファブリックエクステンダ(FEX)
パケットがコントローラから受信され、FEXホストインターフェイスに送信されるシナリオでのFEXのトラブルシューティング方法は、セクション2に示されているものと一致します。記載されている唯一の違いは、2.1.3（FEX CPUへのパケットリダイレクション）に関連しています。
3.2.1. FEX CPUへのパケットリダイレクト
このアプローチの詳細な説明は、セクション2.1.3を参照してください。
この例では、コントローラから受信したパケットをキャプチャするために、この設定はFEXで行われます（インターフェイスが最初にポイント3.1.2で説明されているように正しく識別された場合、ACLは1つのインターフェイスに接続されます）。
6880#attach fex 101 Attach FEX:101 ip:192.168.1.101 Trying 192.168.1.101 ... Open User Access Verification Password: cisco FEX-101>en Password: cisco FEX-101#conf t Enter configuration commands, one per line. End with CNTL/Z. FEX-101(config)#access-list 100 permit ip host 10.0.0.1 host 10.0.0.2 log FEX-101(config)#access-list 100 permit ip any any FEX-101(config)#int te1/0/1 FEX-101(config-if)#ip access-group 100 in FEX-101(config-if)#int te1/0/2 FEX-101(config-if)#ip access-group 100 in FEX-101#debug platform cpu-queues logging-q debug platform cpu-queue logging-q debugging is on
注:Instant Accessスイッチのスタックが存在する場合、コントローラへのアップリンクを持つスイッチでデバッグが実行されます。コマンド「session」を実行して、スタック内の別のスイッチにログインします。ここで、switch-noはスイッチ番号に対応します（たとえば、インターフェイスgi2/0/1の場合、switch-noは2です。インターフェイス5/0/11の場合、switch-noは5です）。
コントローラからのパケットがFEXに正常に送信されると、次の情報がsyslogに生成されます。
Pak recvd on LOGGING-Q: Local Port Fwding L3If: L2If:TenGigabitEthernet1/0/1 DI:0x1F2A, LT:0, Vlan:10 SrcGPN:456, SrcGID:456, ACLLogIdx:0x1, MacDA:0000.0000.0002, MacSA: 0000.0000.0001 Non (IPv4/IPv6/ARP/RARP) TPFFD:F38001C8_000A400A_01A00080-00011F2A_F5F50000_00002BFD Jun 7 15:37:24.482: Raw FEX packet Dump: Jun 7 15:37:24.482: 00 00 00 00 00 02 00 00 00 00 Jun 7 15:37:24.482: 00 01 89 26 80 01 0B FD 81 00 Jun 7 15:37:24.482: 00 0A 08 00 45 00 00 64 76 87 Jun 7 15:37:24.482: 00 00 FF 01 31 0F 0A 00 00 01 Jun 7 15:37:24.482: 0A 00 00 02 08 00 A9 FF 00 12
12ビット（対応する16進数値については、Instant AccessホワイトペーパーのVNTAGパケット形式を参照）は、パケット自体に渡された宛先VIF値に対応します。この値（10進数に変更）は、FEX上の終了点でさらに相互参照されます。
このコマンドは、出口を決定するために使用されます。これにより、ユニキャストVIFが考慮されます（VNTAGマネージャに関するポイント2.2.3の注を参照）。
FEX-101#sh platform fex ucast-entries vif sw_idb portname GPN handle res_index ==== ========== ====================== ==== ========= ========= 1 0x5CAC278 GigabitEthernet1/0/1 1 0x5 0x30F0000 2 0x5CAE2E0 GigabitEthernet1/0/2 2 0x6 0x30F0000
(...)
マルチキャストトラフィックの場合、ロジックは次のようになります。
1)特定のマルチキャストVIFの出力インターフェイスセットを決定します。
FEX-101#sh platform fex mcast-entries (...) Entry : 2 ================= Mcast VIF = 3072 : destid = 0x23DF : handle = 0x37 : result_index = 0x4D DestId 23DF details with GPN list index next flags cmi #GPN GPN 0x23DF 0xFFFF 0x00 0x0000 3 1 2 464 (...)
この例では、VIF=3072に対して、内部GPN番号1、2、および464の3つの出力インターフェイスが選択されています。 これらの内部GPNポート番号を物理インターフェイスに変換するには、次のコマンドを使用できます。
FEX-101#show platform pm if-numbers interface gid gpn lpn port slot unit slun port-type lpn-idb gpn-idb ---------------------------------------------------------------------- Gi1/0/1 1 1 1 0/2 1 1 1 local Yes Yes Gi1/0/2 2 2 2 0/1 1 2 2 local Yes Yes (...) Po2 464 464 0 16/0 9 2 2 local No No
これらの出力は、マルチキャスト宛先VIFが3072である受信パケットが、インターフェイスGi1/0/1、Gi1/0/2、およびポートチャネル2に転送されることを意味します。
4.まとめ
FEXに関連する問題が発生した場合は、次のコマンド出力が収集され、TACケースを開いたときに追加されます。
6880#show tech-support 6880#show tech-support fex infra 6880#attach fex <fex-id> Password: cisco FEX-101>en Password: cisco FEX-101#show tech-support
更新履歴
| 改定 | 発行日 | コメント |
|---|---|---|
1.0 |
12-May-2022 |
初版 |
フィードバック