内容

概要

ファブリック CRC 検出の概要

さまざまなファブリック CRC エラーの理解

ファブリック CRC のトラブルシューティング アプローチ

一般的な CRC トラブルシューティングのガイドライン

ケース スタディ

入力モジュールによるパケットの破損

ログ

問題

考えられる問題の原因

障害のあるコンポーネントの分離プロセス

装着不良の XBAR の挿入によるパケットの破損

ログ

問題

考えられる問題の原因

障害のあるコンポーネントの分離プロセス

障害のある出力モジュールによるファブリックからのパケットの破損

ログ

問題

考えられる問題の原因

障害のあるコンポーネントの分離プロセス

トラブルシューティングのためのコマンド

概要

このドキュメントでは、Cisco Nexus 7000 プラットフォームで報告されるファブリック エラーの解決方法について説明します。ファブリックの Cyclic Redundancy Checksum（CRC）のトラブルシューティングには、問題のあるコンポーネントを分離するための、データの収集、データの分析、および除外プロセスを伴います。このドキュメントでは、最も一般的なタイプのファブリック CRC エラーについて説明します。

ファブリック CRC 検出の概要

以下は、M1 ラインカードが搭載された Nexus 7018 ファブリック モジュールのハイレベルの構成図です。

前述のイメージは、パケットがファブリック モジュールを通過する際に関与するコンポーネントの概要を示しています。ステージ 1（S1）、ステージ 2（S2）、およびステージ 3（S3）は、Nexus 7000 ファブリックの 3 つのステージであり、Octopus はキュー エンジン、Santa Cruz（SC）はファブリック ASIC、インスタンス 1 と 2 は XBAR 上の 2 つの SC インスタンスです。このドキュメントでは、XBAR が 1 つの場合についてのみ説明していますが、ほとんどの Nexus 7000 シリーズ スイッチには、3 つ以上の XBAR がインストールされています。

モジュール 1（M1）からモジュール 2（M2）への単方向フローが存在すると仮定すると、M1 上の入力 Octopus-1 は、南側から受け取るパケットのエラー チェックを実行し、M2 上の出力 Octopus-1 は北側から受け取るパケットのエラー チェックを実行します。S3 で CRC が検出された場合、S1 および S2 ステージでは CRC チェックが実行されていないため、S1 または S2 で問題が発生している可能性があります。したがって、そのパスに関係するデバイスは、入力 Octopus、シャーシ、クロスバー ファブリック、および出力 Octopus です。

M1/Fab1 アーキテクチャでは、CRC は出力ラインカード（S3）でのみ検出されます。

次にエラー メッセージのサンプルを示します。

%OC_USD-SLOT1-2-RF_CRC: OC1 received packets with

CRC error from MOD 15 through XBAR slot 1/inst 1

これは M1 から報告されたエラーであり、XBAR スロット 1/インスタンス 1 経由で、モジュール 15（M15）から誤った CRC 付きのパケットを受信したことを示しています。

さまざまなファブリック CRC エラーの理解

この項では、ファブリック CRC エラーの最も一般的な 4 つのタイプについて説明します。

- 単一のソース モジュール、受信モジュール、および XBAR インスタンスがある場合の CRC エラー：
%OC_USD-SLOT1-2-RF_CRC: OC1 received packets with

CRC error from MOD 15 through XBAR slot 1/inst 1
これは、スロット1のモジュールがM15からXBARスロット1/インスタンス1までのCRCエラーを検出したことを意味します。CRCエラーが発生するモジュールは入力モジュール(M15)と呼ばれ、問題が報告されたモジュール(M1)です。XBAR 1 はパケットを受信したクロス バーであり、XBAR ごとに 2 つのインスタンスがあります。このケースでは、M1 は XBAR スロット 1/インスタンス 1 経由で M15 からの CRC エラーを検出しています。

- 単一のソース モジュール、受信モジュールがあり、XBAR インスタンスがない場合の CRC エラー：
%OC_USD-SLOT4-2-RF_CRC: OC2 received packets with

CRC error from MOD 1
このメッセージでは、モジュール4(M4)がM1からのCRCエラーを報告しています。XBAR情報が欠落していることに注意してください。システムは、パケットが通過した XBAR を確認することができません。原因はいろいろありますが、最も一般的な原因は次のとおりです。パケットのファブリック ヘッダーの情報が破損しているために、ソース モジュールを判断できない。エラーが増加したため、パケットが通過した XBAR がシステムから削除されているため、1 時間ごとの syslog メッセージに報告されていない。

- 受信モジュールがない場合の CRC エラー：
%OC_USD-2-RF_CRC: OC1 received packets with

CRC error from MOD 16 through XBAR slot 1/inst 1
この例では、デバイスがXBAR 1を介してモジュール16(M16)からCRCを検出しました。ただし、レシーバのモジュールはありません。スーパバイザ（SUP）がファブリック モジュールからの CRC を検出した場合、スロット情報はログに記録されません。スロット情報が表示されない場合は、SUP によって問題が検出されています。これは、SUP の不良を意味するものではありません。モジュールにより問題が報告される場合と同様に、問題の原因である可能性のあるコンポーネントは複数存在します。M16、シャーシ（可能性は低い）、XBAR 1、または SUP。

- 複数のソース モジュールが考えられるる場合の CRC エラー：
%OC_USD-SLOT6-2-RF_CRC: OC2 received packets with

CRC error from MOD 11 or 12 or 14 or 15 or 16 or 17 or 18
ソース モジュールは、不良パケットの発生元である入力 Octopus から情報を収集しています。このエラー メッセージを記録するために割り込みを行うドライバは、不良パケットの発生元である入力 Octopus を常に認識しているわけではありません。これは、入力 Octopus を表すために使用されているビットの一部が使用されていないためです。システムが複数のモジュールでこれらの未使用ビットをオンにしていると判断した場合は、いずれかのモジュールがソースであると想定し、すべてのモジュールを含むエラーメッセージが表示されます。考えられるソースとしてログに記録されません。

ファブリック CRC のトラブルシューティング アプローチ

新しいラインカード(M2)およびファブリックモジュール2(FAB2)は、S1、S2、またはS3のCRCを検出します。詳細を調査し、障害とログメッセージのパターンを見つけると、障害のあるコンポーネントの切り分けに役立ちます。

次に、検討すべき質問を示します。

- エラー メッセージは、一度だけのイベントか、または複数の CRC エラー メッセージがログに記録されているか。

- CRC エラー メッセージがログに記録される頻度（1 時間ごと、1 日に 1 回、月に一度）。

- CRC エラーが発生している入力モジュールはすべて同一か。

- CRC エラーが報告されている出力モジュールはすべて同一か。

- CRC エラーは、複数の入力モジュールで発生し、複数の出力モジュールで報告されているか。

- 複数のモジュールで CRC エラーが報告されている場合、共通のソース モジュールまたは XBAR モジュールが存在するか。

これらの質問に回答することで、迅速な解決につながる可能性が高い観点から、トラブルシューティング手順にアプローチすることができます。

一般的な CRC トラブルシューティングのガイドライン

この項では、問題のトラブルシューティングに使用する一般的な枠組みを定めます。

1. ファブリック CRC エラー メッセージが報告されている共通のモジュール（XBAR を含む）を見つけます。

2. 共通のモジュールを見つけたら、問題の原因である可能性が最も高いモジュールを選択し、モニタしながらシャットダウン（XBAR の場合）、機能している既知のスロットへの移動、再装着、および交換を行い、問題が解決するかどうか検証します。モジュールは、一度に 1 つずつシャットダウン、再装着、および交換します。これで、障害のある部品を分離しやすくなります。

3. 部品のシャットダウン、移動、再装着、または交換時には、問題の症状に変化がないか確認します。アクション プランは、実行した各ステップから学んだ内容で修正する必要があります。

4. 複数の部品を交換しても問題が解決しない場合は、次の可能性があります。

- 新しい部品が不良である。

- 複数の XBAR が不良である。

- シャーシ スロットの不良が原因である。

ケース スタディ

この項は、同様の問題に対するトラブルシューティング方法の例を紹介します。

入力モジュールによるパケットの破損

ログ

%OC_USD-SLOT1-2-RF_CRC: OC2 received packets with CRC error from MOD 7

%OC_USD-SLOT3-2-RF_CRC: OC2 received packets with CRC error from MOD 7

%OC_USD-SLOT1-2-RF_CRC: OC2 received packets with CRC error from MOD 7

%OC_USD-SLOT3-2-RF_CRC: OC2 received packets with CRC error from MOD 7

%OC_USD-SLOT1-2-RF_CRC: OC2 received packets with CRC error from MOD 7

%OC_USD-SLOT3-2-RF_CRC: OC2 received packets with CRC error from MOD 7

問題

数時間にわたり、M1 およびモジュール 3（M3）で CRC エラーが確認されており、モジュール 7（M7）でのみエラーが発生している。

考えられる問題の原因

不良または装着不良の XBAR により M7 に送信されるパケットを破損されているか、または M7 が不良または装着不良である。

障害のあるコンポーネントの分離プロセス

1. モニタしながら XBAR を 1 つずつシャットダウンし、問題が解決するかどうか確認します。

2. モニタしながら、入力 M7 を再装着します。

3. モニタしながら、M7 を交換します。

3 つの XBAR をインストールしている場合は、N+1 冗長性を得られるため、影響を最小限に抑えながら、一度に 1 つずつ XBAR をシャットダウンして（一度に 2 つ以上シャットダウンしないでください）、問題が解決したかどうか確認できます。以下のコマンドを入力して、このプロセスを完了させます。

N7K(config)# poweroff xbar 1

<monitor>

N7K(config)# no poweroff xbar 1

N7K(config)# poweroff xbar 2

<monitor>

N7K(config)# no poweroff xbar 2

N7K(config)# poweroff xbar 3

N7K(config)# no poweroff xbar 3

このケース スタディでは、XBAR をシャットダウンしても問題は解決していません。

CRC エラーを報告しているモジュールが 2 つあるため、その 2 つのモジュール（M1 と M3）が原因である可能性は低いです。次のステップでは、障害のあるコンポーネントである可能性が最も高い M7（入力モジュール）を再装着します。装着不良のラインカードがこの問題の原因であることもあるため、モジュールを交換する前に再装着することを推奨します。

このケーススタディでは、M7を再装着した後もファブリックモジュールでCRCエラーが増加し続けています。この時点（またはこの時点より前）でCisco Technical Assistance Center(TAC)に連絡して、M7を交換してください。

このケース スタディでは、M7 を交換することで、ファブリックの CRC エラー メッセージが表示されなくなり、パケット損失が解決されました。

装着不良の XBAR の挿入によるパケットの破損

ログ

%OC_USD-SLOT11-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT12-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT13-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT15-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT2-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT4-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT5-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT6-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT7-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

%OC_USD-SLOT8-2-RF_CRC: CRC error from MOD 12 through XBAR slot 3/inst 1

問題

複数のモジュールで、XBAR 3 を経由するモジュール 12（M12）からの CRC エラーが報告される。

考えられる問題の原因

XBAR 3 が不良または装着不良であるか、あるいは M12 が装着不良または不良である。

障害のあるコンポーネントの分離プロセス

1. モニタしながら、XBAR 3 をシャットダウンします。

2. モニタしながら、入力 M12 を再装着します。

3. モニタしながら、M12 を交換します。

このケースでは、（最初のケース スタディの）前述の手順を使用して XBAR 3 がシャットダウンされ、さらなるエラーがモニタされています。XBAR 3 をシャットダウンすると、エラーが停止することがわかりました。この時点で、XBAR 3 が再装着され、ミッドプレーン上のピンが曲がっていないこと、およびモジュールが正しく挿入されていることが注意深く確認されています。XBAR 3 が再度有効になってからは、問題は発生していません。この問題の原因は、装着不良の XBAR モジュールにあります。

障害のある出力モジュールによるファブリックからのパケットの破損

ログ

%OC_USD-SLOT6-2-RF_CRC: OC1 received packets with CRC error from

MOD 1 or 2 or 7 or 13 or 17 through XBAR

slot 1/inst 1 and slot 2/inst 1 and slot 3/inst 1

%OC_USD-SLOT6-2-RF_CRC: OC2 received packets with CRC error from

MOD 1 or 2 or 3 or 7 or 15 or 17 through XBAR

slot 2/inst 1 and slot 3/inst 1

%OC_USD-SLOT6-2-RF_CRC: OC1 received packets with CRC error from

MOD 1 or 2 or 5 or 7 or 16 or 17 through XBAR

slot 1/inst 1 and slot 2/inst 1 and slot 3/inst 1

問題

モジュール 6（M6）から、複数のラインカードと XBAR から受信した CRC エラーがあるパケットが報告される。

考えられる問題の原因

M6 が装着不良または不良である。

障害のあるコンポーネントの分離プロセス

1. モニタしながら、M6 を再装着します。

2. モニタしながら、M6 を交換します。

M6 はすべてのエラー メッセージに含まれている 1 つの共通モジュールであるため、この問題の原因である可能性が高いです。エラーメッセージに記載されているすべてのモジュールのうち、最も一貫して表示されるものはM6です。したがって、M6を交換する前に問題が解決したかどうかを確認するために、M6を取り付け直します。

このケースでは、M6 を再装着しても、エラーが続いているため、Cisco TAC ケースを開始して、M6 を交換する必要があります。M6 の交換後は、エラーは報告されていません。

トラブルシューティングのためのコマンド

以下は、トラブルシューティングまたはデバッグに使用されるコマンドの一覧です。

- show clock

- show mod xbar

- show hardware fabric-utilization detail

- show hardware fabric-utilization detail timestamp

- show hardware internal xbar-driver all event-history errors

- show hardware internal xbar-driver all event-history msgs

- show system internal xbar-client internal event-history msgs

- show system internal xbar all

- show module internal event-history xbar 1

- show module internal activity xbar 1

- show module internal event-history xbar 2

- show module internal activity xbar 2

- show module internal event-history xbar 3

- show module internal activity xbar 3

- show module internal event-history xbar 4

- show module internal activity xbar 4

- show module internal event-history xbar 5

- show module internal activity xbar 5

- show logging onboard internal xbar

- show logging onboard internal octopus

- show tech detail