輻輳管理

この章では、ファイバ チャネルまたは Fibre Channel over Ethernet（FCoE）ネットワークで輻輳を引き起こすデバイスについて説明し、そのようなデバイスを識別して回避または隔離する方法について説明します。これらのデバイスは、低速デバイスと、リンクの帯域幅を過剰に利用しようとしているデバイスの両方の可能性があります。

機能情報の確認

ご使用のソフトウェア リリースで、このモジュールで説明されるすべての機能がサポートされているとは限りません。最新の機能情報および警告については、 https://bst.cloudapps.cisco.com/bugsearch の Bug Search Tool およびご使用のソフトウェア リリースのリリース ノートを参照してください。

ガイドラインと推奨事項：

  • 16 Gbps リンクでは、Cisco MDS 9000 シリーズ スイッチの FEC を無効にする必要があります。

  • 特定のフレーム サイズの距離をカバーするのに十分なバッファ クレジットが MDS ポートで設定されていることを確認します。

  • パス長が異なる場合でも、DWDM リンク全体でポートチャネルを介した論理リンクバンドルを使用します。ポート チャネルは、業界の他の論理的なバンドル ソリューションよりも優れているため、これを可能にし、FSPF ルーティングの決定に影響を与えることなく信頼性を高めるというメリットを提供します。

  • 特に NOS/LOS 伝達に関する具体的な構成と設定については、DWDM ベンダーに確認してください。

このモジュールに記載されている機能の詳細を検索し、各機能がサポートされているリリースのリストを確認する場合は、「新機能および変更された機能」の章、または以下の「機能の履歴」表を参照してください。

輻輳管理機能の履歴

機能名

リリース

機能情報

HBA 拡張レシーバ レディ

9.3(1)

F および NP ポートのサポートが追加されました。HBA ER_RDY はプレビュー（ベータ）状態であり、本番環境では使用できません。
スイッチ モードおよび NPV モードでの DIRL サポート デバイスのリスト 9.3（3）

リリース 9.3（2）の NPV モードで DIRL をサポートするデバイスのリストを更新しました。

DIRL NPV のサポート

9.3(1)

NPV モードのスイッチをサポートするように拡張されました。

拡張レシーバ レディ

8.1（1）

この機能により、サポートするスイッチ間のスイッチ間リンク（ISL）を 4 つの個別の仮想リンクに分割し、各仮想リンクに独自のバッファ間クレジットを割り当てることができます。

次のコマンドが導入されました：

  • show flow-control {er_rdy | r_rdy} [module number]

  • switchport vl-credit {default | vl0 value vl1 value vl2 value vl3 value}

  • system fc flow-control {default | er_rdy | r_rdy}

輻輳分離

8.1（1）

この機能により、構成コマンドまたはポート モニターのいずれかによって、デバイスを低速として分類できます。

次のコマンドが導入されました。

  • congestion-isolation {include | exclude} pwwn pwwn vsan vsan-id

  • feature congestion-isolation

  • show congestion-isolation {exclude-list | global-list | ifindex-list | include-list | pmon-list | remote–list | status}

  cong-isolate ポートガード アクションが次のコマンドに追加されました。

  • counter credit-loss-reco

  • counter tx-credit-not-available

  • counter tx-slowport-oper-delay

  • counter tx-wait

ファイバチャネルの輻輳ドロップ タイムアウト、クレジットなしフレーム タイムアウト、および低速ポート モニター タイムアウト値

8.1(1)

次の機能が変更されました。

  • コア スイッチを Cisco NPV スイッチに接続するリンクは、輻輳ドロップ、ノークレジットドロップ、低速ポート モニター、およびポート モニターの目的で、ISL（コア ポート）として扱う必要があります。これを実現するために、 logical-type {all | core | edge} 機能が導入されました。

  • ファイバ チャネルの輻輳ドロップ タイムアウト値の範囲が 100 ～ 500 ミリ秒から 200 ～ 500 ミリ秒に変更されました。

次のコマンドが変更されました：

（注）  

 

Cisco MDS NX-OS リリース 8.1（1）以降、 system timeout congestion-drop 、 system timeout no-credit-drop 、および system timeout slowport-monitor コマンドで、E ポートはコアとして扱われ、F ポートはエッジとして扱われます。

  • system timeout congestion-drop milliseconds logical-type {core | edge}

  • system timeout no-credit-drop milliseconds logical-type edge

  • system timeout slowport-monitor milliseconds logical-type {core | edge}

  • switchport logical-type {auto | core | edge}

SAN 輻輳

SAN の輻輳は、次の 3 つの理由の 1 つ以上により発生します：

低速ドレイン デバイスによって引き起こされる SAN 輻輳について

ほとんどの SAN エッジ デバイスは、リンク レベルのフロー制御を備えたクラス 2 またはクラス 3 ファイバチャネル サービスを使用します。このフロー制御機能により、受信ポートがフレームを限界まで受け入れるたびに、受信ポートがアップストリーム送信ポートに背圧を与えることができます。エッジ デバイスがファブリックからのフレームを長時間受け入れないと、低速ドレインと呼ばれる輻輳状態がファブリックに発生します。低速エッジ デバイスのアップストリーム ソースが ISL である場合、その ISL でクレジット枯渇または低速ドレインが発生します。このクレジット枯渇は、同じ共有 ISL を使用する無関係なフローにも影響します。このタイプの輻輳は、ファイバチャネルと FCoE のどちらでも発生する可能性がありますが、フロー制御メカニズムはそれぞれで異なります。輻輳の原因となっているデバイスのプロトコルに関係なく、輻輳はファイバチャネルと FCoE リンクの両方を介してフレームの送信元に伝播する可能性があります。

ファイバチャネルは、バッファ間クレジット（BB_credits）を使用します。これは、ファイバチャネル リンクのそれぞれの側が着信フレームのレートを制御できるようにするためのフロー制御メカニズムです。BB_credit は、ホップベースで設定されます。ファイバチャネル接続のそれぞれの側は、フレームを受信するために使用できるバッファの数を相手側に通知します。送信側は、受信側にバッファがある場合にのみフレームを送信できます。受信したフレームごとに、受信側は R_RDY（BB_credit とも呼ばれる）をそのフレームの送信側に送信します。受信側で処理の遅延がある場合、送信側に BB_credit を送るのを保留して、フレームを受信するレートを制限することができます。受信者がかなりの量の BB_credits を保留すると、そのリンクで輻輳が発生します。SAN でも同じ理由で輻輳が発生する可能性があります。この BB_credit のメカニズムは、トラフィック フローの各方向で独立して機能します。

フレームと BB_credit は必ずしも確実に送信されません。認識できないほど破損しているフレームを受信した場合、そのフレームの受信側は BB_credit を返しません。または、フレームがそのまま受信され、BB_credit が返されたものの、リンクでの送信時に破損した場合、その BB_credit の受信側はそれを BB_credit として認識しません。どちらの場合も、送信クレジットが失われます。クレジット損失回復（LR または LRR）は、時間の経過とともにすべての送信クレジットが失われたときに発生します。BB_SCN 機能は、クレジットが完全に枯渇して輻輳が発生する前に、失われたクレジットを回復するために使用されます。フレームと返されるクレジットのカウントは定期的に交換され、カウントに不一致がある場合は、クレジットを回復できます。 F ポートの場合、接続されたデバイスは、送信される FLOGI で BB_SCN をサポートしているか示す必要があります。

FCoE では、フロー制御メカニズムは優先フロー制御（PFC）と呼ばれます。PFC は受信側で構成されます。送信側に対し、あるクラスのフレームの送信を停止することを要請する必要が生じた場合には、そのクラスベースの一次停止フレームを送信します。PFC 一次停止フレームには、クォンタムと呼ばれる値が含まれています。クォンタムは、トラフィックのクラスが一時停止される時間を決定します。PFC 一次停止フレームには、非ゼロ クォンタムとゼロ クォンタムの 2 種類があります。ゼロ以外のクォンタムを持つ PFC 一次停止フレームは、直ちに、指定された時間だけフレームの送信を停止するように通知します。クォンタムがゼロの PFC 一次停止フレームは、フレームの送信をすぐに再開できることを通知します。受信側で処理遅延が発生するか、バッファが定義されたしきい値に達すると、受信側は非ゼロ クォンタムの PFC 一次停止フレームを送信できます。バッファが十分に利用可能になった後、受信側はゼロ クォンタムを含む別の PFC 一次停止フレームを送信します。これは、送信側にトラフィックを再開するように伝える信号となります。この PFC 一時停止メカニズムは、トラフィック フローの各方向で相互に独立して機能します。

送信側によって生成されたレートでフレームを受け入れないデバイスとしては、ファイバチャネルと FCoE の両方があり得ます。基盤となるフロー制御メカニズムは、ファイバチャネルと FCoE とでは異なります。ただし、ファイバチャネルと FCoE は、どちらも SAN で輻輳を引き起こす可能性があります。そのようなデバイスは、低速ドレイン デバイスと呼ばれます。

低速ドレインの遅いデバイスを検出すれば、結果として生じ得る輻輳を軽減するためのアクションを講じることができます。

アクションには次のものがあります。

  • 設定されたしきい値を超える低速ドレイン インターフェイスにキューイングされているすべてのフレームまたは古いフレームをドロップします。

  • 低速デバイスを ISL 上の別の論理仮想リンクに分離します。

  • 影響を受けるポートのクレジットをリセットします。

  • 影響を受けるポートをフラップします。

  • 影響を受けるポートをエラーで無効にします。

これらの輻輳検出、輻輳回避、および輻輳分離機能は、低速ドレイン デバイスを検出し、それらに対して適切なアクションを実行するために使用されます。

スロードレイン状態は、次の 4 つのレベルに分類できます。

  • レベル 3：深刻な輻輳を意味します。ポートでクレジット切れの状態が続いたため、クレジット損失回復が開始されます。F ポートでは、ポートのクレジット切れ時間のしきい値は 1 秒で、E ポートでは 1.5 秒です。クレジット損失回復では、ファイバチャネル リンク クレジット リセット（LR）プリミティブを送信して、リンク上の BB_credit を双方向で復元します。受信側がリンク クレジット リセット応答（LRR）で応答すると、クレジットが復元され、リンクは通常の動作を再開します。

    輻輳が深刻な場合、LRR が返されず、リンクが失敗し、 タイムアウトのために LR が失敗 エラーが生じます。クレジット損失回復は、リンクのどちら側からでも開始できます。隣接デバイスがクレジット損失回復を回復したため、MDS が LR の受信側となった場合、MDS が LRR を返せるのは、インターフェイスの入力バッファが空になったときだけです。インターフェイスに、受信したが宛先インターフェイスに転送できなかったフレームがまだある場合、リンクは 受信キューが空でないため LR が失敗 エラーで失敗します。LR または LRR シーケンスが成功すると、リンクは通常の動作に戻ります。リンクが通常の動作に戻ったとしても、Tx クレジットがゼロの状態では、1 秒または 1.5 秒後に、SAN で深刻な逆方向の輻輳が発生します。この逆方向の輻輳は、フレームの送信元までさかのぼって影響する可能性があります。サーバーまたはイニシエータは、通常、タイムアウト ドロップが多数発生したために大量の IO エラーが記録されていることを確認できます。

    リンクでまず LR と LRR を初期化すれば、シーケンスは正常に発生し、レベル 3 の低速ドレイン状態にはなりません。

    深刻な輻輳は、ファイバチャネルと FCoE の両方で発生する可能性がありますが、リンク クレジット リセット（LR または LRR）アクションはファイバチャネルにのみ適用されます。

  • レベル 2：中程度の輻輳です。輻輳ドロップ タイムアウトしきい値に達したため、フレームがドロップします。インターフェイスで受信される各フレームにはタイムスタンプが付けられます。スイッチの輻輳ドロップしきい値内で適切な出力ポートにフレームを送信できなかった場合、そのフレームはドロップされ、スイッチ内の過度の内部輻輳を防止します。これは通常、出力インターフェイスの隣接デバイスが（ファイバチャネルで）クレジットを保留しているか、PFC 一時停止を送信していることが原因です。ドロップされた各フレームは、SCSI（または他のプロトコル）交換の一部をなすものであるため、交換は失敗します。サーバーまたはイニシエータは、I/O エラーを記録し、SCSI 交換が失敗すると通信を終了します。イニシエータとターゲット間のパスが共有インフラストラクチャ（ISL など）上にある場合、共有インフラストラクチャを利用している他のデバイスでも、タイムアウトによるドロップと、IO 完了時間の大幅な遅延が発生します。輻輳ドロップのしきい値はデフォルトで 500 ミリ秒で、200 ミリ秒まで低く設定できます。輻輳ドロップのしきい値は、ファイバチャネル ポートと FCoE ポートに対して個別に設定できます。

  • レベル 1 およびレベル 1.5：ポートにファイバチャネルの Tx バッファ間クレジットがないため、または FCoE の Rx 一時停止状態にあるために、フレームを出力ポートからすぐに送信できないときに生じる遅延です。遅延量は TxWait カウンタで測定され、時間に対する割合として計算できます。たとえば、ポートが 1 秒間隔で 200 ミリ秒（必ずしも連続していない）送信できない場合、その 1 秒間隔の TxWait 輻輳率は、指定された間隔で 20% になります。レベル 1.5 は、より深刻なレベルの遅延を意味します。30% 以上の TxWait 用に予約されています。レベル 1 は、TxWait が 30% 未満の場合です。

    ほとんどの場合、高いレベルの低速ドレインには低いレベルが含まれます。たとえば、レベル 3 の低速ドレインには、レベル 2、レベル 1.5、およびレベル 1 が含まれます。これは、送信能力の欠如によって遅延が発生し、遅延のためタイムアウトによるドロップ フレームが発生するためです。遅延が長くなると、クレジット損失回復が開始されます。

    このマニュアルでは、次の用語を使用しています。

    • バッファ間（BB）クレジット（ファイバチャネルのみ）：BB_credits は、ファイバチャネルで使用されるリンク フロー制御メカニズムです。ファイバ チャネル フレームは、 残りの Tx クレジット数 が 0 より大きい場合にのみ送信できます。フレームが送信されると、 残りの Tx クレジット数 の値が 1 だけ減少します。フレームの受信側がフレームを処理すると、受信側レディ（R_RDY）と呼ばれるクレジットが返されます。R_RDY が返されると、フレーム送信側は、 残りの Tx クレジット数 を 1 つインクリメントします。  残りの Tx クレジット数 が 0 に達すると、R_RDY が受信されるまで、それ以上フレームを送信できません。

    • R_RDY（ファイバチャネル）：バッファ間クレジットを表すファイバチャネル プリミティブ。詳細については、 バッファ間（BB）クレジット（ファイバチャネルのみ）を参照してください。

    • ER_RDY（拡張 R_RDY）：仮想リンク ベースのバッファ間クレジットを表すファイバチャネル プリミティブ。Cisco MDS NX-OS 8.1(1) から、MDS は輻輳分離機能を導入しました。この機能により、低速ドレイン デバイスを ISL（E ポート）上の低速トラフィック仮想リンク（VL2）に分離できます。この機能が機能するには、ISL が拡張受信側レディ（ER_RDY）モードである必要があります。ISL が ER_RDY モードの場合、リンクは論理的に 4 つの個別の仮想リンクに分割されます。ER_RDY には、BB クレジットがどの VL に使用されるかを示す VL 番号が含まれます。

    • PFC 一時停止（FCoE のみ）：プライオリティ フロー制御は、クラス ベースの一時停止フレームの送信により、特定のサービス クラスに対して一方向のデータ フローを停止する、クラス ベースのフロー制御メカニズムです。PFC 一次停止フレームには、クラス ビットマップと、クォンタムと呼ばれる値が含まれています。クラス ビットマップは、一次停止フレームが適用されるクラスまたは優先度を指定し、クォンタムはトラフィックのクラスが一時停止される時間を決定します。PFC 一次停止フレームには、非ゼロ クォンタムを含む一次停止フレームとゼロ クォンタムを含む一次停止フレームの 2 種類があります。ゼロ以外のクォンタムを持つ PFC 一次停止フレームは、直ちに、指定された時間の間クラスのフレームの送信を停止するように受信側に通知します。クォンタムがゼロの PFC 一次停止フレームは、そのクラスのフレームの送信をすぐに再開できることを受信側に通知します。クォンタムがゼロの PFC 一次停止フレームは、 一時停止の解除 または 再開と呼ぶことができます。

    • ゼロへの遷移（ファイバチャネルのみ）： 残りの Tx クレジット数 が 0 に達すると、Tx ゼロへの遷移カウンタが Tx 側でインクリメントされます。Rx 側（BB_credits を保留している側）では、Rx ゼロへの遷移カウンタがインクリメントされます。実際に 残りの Tx クレジット が 0 になっている時間は、このカウンターでは表されないことを理解することが重要です。パフォーマンスに影響しない短時間の場合もあれば、パフォーマンスに影響する長時間の場合もあります。このため、ゼロへの遷移は輻輳の適切な尺度ではありません。

    • TxWait（ファイバチャネルおよび FCoE）：TxWait は、ポートにフレームがキューイングされていてもポートが送信できない時間の尺度です。ポートの 残りの Tx クレジット数 が 0（ファイバー チャネル）の場合、または PFC 一時停止フレームを受信した場合、ポートは送信できません。TxWait がインクリメントするたびに、ポート（またはクラス）が 2.5 マイクロ秒間送信できなかったことを意味します。TxWait 値は、2.5 を掛けてから 1,000,000 で除算することにより、秒に変換できます。

    • RxWait（FCoE のみ）：RxWait は、ポートがフレームを受信できない時間の尺度です。ポートが PFC ポーズ フレーム（FCoE）を送信した場合、フレームを受信することはあり得ません。RxWait がインクリメントするたびに、ポート（またはクラス）は 2.5 マイクロ秒間受信できなかったことを意味します。RxWait は、2.5 を掛けてから 1,000,000 で除算することにより、秒に変換できます。

    • Tx クレジット利用不可（ファイバ チャネルのみ）：これはソフトウェア カウンタで、ポートで、 残りの Tx クレジット がゼロの時間が 100 ミリ秒間続くと、1 ずつインクリメントします。

      タイムアウト ドロップ（ファイバチャネルおよび FCoE）：構成された輻輳ドロップしきい値時間内に、受信フレームを出力インターフェイスから送信できなかった場合、そのフレームはドロップされます。これがタイムアウト ドロップです。この状態は通常、Tx BB_credits の不足（ファイバチャネル）または Rx 一時停止状態（FCoE）によって引き起こされる、出力インターフェイスでの輻輳が原因です。デフォルトのタイムアウト ドロップ値は、ファイバチャネルと FCoE の両方で 500 ミリ秒ですが、200 ミリ秒という低い値に設定できます。また、no-credit-drop（ファイバチャネル）または一次停止ドロップのしきい値に達したときにドロップされるフレームも、タイムアウト ドロップとしてマークされます。

    • クレジット損失回復（ファイバ チャネルのみ）: クレジット損失回復は、ポートの 残りの Tx クレジット が 1 秒間（F ポートまたは NP ポート）または 1.5 秒間（E ポート）連続してゼロになったときに発生します。この状態が発生すると、リンク クレジット リセット（LR）ファイバチャネル プリミティブが送信され、リンク上のクレジット（双方向）が再初期化されます。リンク クレジット リセット応答（LRR）が返されると、すべてのクレジットが復元され、リンクは通常の動作に戻ります。LRR が返されない場合、リンクは失敗し、完全に再初期化することが必要になります。クレジット損失の回復の理由については、 クレジット損失回復の理由を参照してください。

    • リンク クレジット リセット（LR）（ファイバー チャネルのみ）：LR は、リンクの初期化時に使用されるファイバチャネル プリミティブであり、クレジット損失時にアクティブ リンクで双方向の BB_credit を再初期化するためにも使用されます。

    • リンク クレジット リセット応答（LRR）（ファイバー チャネルのみ）：LRR は、LR に対する肯定の応答であるファイバー チャネル プリミティブです。

送信過剰使用による SAN 輻輳について

Small Computer Systems Interface（SCSI）イニシエーター デバイスは、さまざまな SCSI read コマンドを介してデータを要求します。これらの SCSI read コマンドには、特定の read 要求で要求されたデータの量であるデータ長フィールドが含まれています。同様に、SCSI ターゲットは、SCSI Xfr_rdy コマンドを介してデータを要求し、要求されたデータの量はバースト サイズに含まれます。これらの read 要求または Xfr_rdy 要求の速度と、要求されたデータの量が組み合わさると、特定のエンド デバイスに、そのリンクが所定の時間にサポートできるよりも多くのデータが流れる可能性があります。これは、速度の不一致、複数のターゲットにゾーニングされたホスト、および複数のホストにゾーニングされたターゲットによって悪化します。

スイッチ インフラストラクチャ（SAN）は、この過剰なデータの一部をバッファリングできますが、要求のレートが継続している場合、スイッチのキューがいっぱいになり、ファイバチャネルまたは FCoE で背圧が発生する可能性があります。この背圧は、ファイバチャネルで BB_credit を保留し、FCoE で PFC 一時停止を送信することによって生じます。SAN への結果として生じる影響は、低速ドレインと同じに見える場合がありますが、エンド デバイスが実際にはバッファ間クレジットを保留（または PFC 一時停止を送信）していないため、根本的な原因は大きく異なります。過剰使用による輻輳を検出する主なメカニズムは、エンド デバイス ポートの Tx データ レートを監視することです。ポート モニターを使用して、過剰使用による輻輳を検出できます。

クレジット損失回復の理由

クレジット損失のリカバリは、次のいくつかの理由で発生する可能性があります。

  • フレームまたは R_RDY の破損または損失：BB_SCN 機能のセクションで説明したように、フレームと BB_credit（R_RDY）はリンク上で破損し、失われる可能性があります。BB_SCN 機能をエンドポイント デバイス間でネゴシエートした場合、損失または破損したフレームまたは BB_credits の数が検出ウィンドウ全体のクレジットの合計数未満である限り、フレームの破損または損失を検出して回復できます。BB_SCN をネゴシエートしていないか、または失われたか破損したフレームまたは BB_credits の数が送信 BB_credits の数に等しかったために、インターフェイスが送信 BB_credits を完全に使い果たした場合、クレジット損失のリカバリが開始されます。フレームや BB_credit が損失したり破損したりするのは、リンクの物理的な問題が原因です。最初に SFP、光ファイバ ケーブル、およびパッチ パネルを確認して交換します。まれに、スイッチ ポートまたは HBA が故障している可能性があります。

  • 深刻な輻輳：エンド デバイスの深刻な輻輳が原因である場合があります。この理由は、OS やアプリケーション、エンドデバイスのタイプによって異なるため、ここでは説明しません。

クレジット損失のリカバリの理由を特定するには、次の手順を実行します。

  • クレジット損失のリカバリが生じたインターフェイスで、無効な CRC、無効な伝送ワード、入力エラー、他のデータ破損の兆候がないかどうかを確認します。これらの兆候のいずれかが見られる場合は、フレームや BB_credit の破損や損失が原因で問題が発生している可能性があります。ただし、無効な CRC、無効な送信ワード、または入力エラーの兆候がない場合でも、問題の原因がフレームや BB_credit の破損や損失である可能性があります。これは、MDS による送信後に、フレームや BB_credit が破損するか、損失する可能性があるためです。この場合、MDS はそれが発生したことを認識せず、問題を示すカウンタをインクリメントしません。これらのタイプのエラーをチェックするには、 show interface fc x/y counters detailed コマンドを使用します。

  • 隣接するデバイスのインターフェイスや HBA で、無効な CRC、無効な転送ワード、入力エラー、およびデータ破損のその他の兆候がないか確認します。エラーのチェックは、デバイス自体（たとえば、ホストまたはターゲット）で行えます。また、 show rdp fcid fcid_id vsan vsan_id コマンドを使用して、隣接デバイスの HBA にエラーがないか問い合わせることもできます。このコマンドを使用すると、MDS から受信したデータに無効な CRC、無効な伝送ワード、または入力エラーがあるかどうかを簡単に判断できます。すべての HBA が show rdp fcid fcid_id vsan vsan_id をサポートしているわけではないことに注意してください。

  • MDS インターフェイスでゼロ以外の BB_SCN カウントを確認します。ゼロ以外の BB_SCN カウントは、BB_SCN がいくつかの BB_credit やフレームの損失を検出し、それらを正常に回復していることを示します。これは、一部の BB_credit やフレームが失われたり破損したりしている明確な兆候です。BB_SCN リカバリの発生をチェックするには、 show interface fc x/y counters detailed コマンドを使用し、コマンド出力で BB_SCs credit resend actions の行および BB_SCr Tx credit increment actions の行を探します。

  • A ファブリックと B ファブリック両方の同じデバイスついて、同じ時間または近い時間にクレジット損失のリカバリが発生しているかどうかを確認します。その場合、両方のリンクの物理コンポーネントに同様の物理的な問題がある可能性は低いでしょう。問題はほとんどの場合、深刻な輻輳が原因で、それが MDS スイッチ ポートに反映されています。クレジット損失のリカバリ発生を確認するには、 show interface fc x/y counters detailed コマンドを使用し、コマンド出力で Tx Credit loss の行を探します。

  • 発生していた場合、1 日の同じ時間帯や 1 週間の同じ曜日に発生していないか確認します。フレームと BB_credits は、通常、1 日の特定の時間または曜日にのみ破損したり失われたりすることはありません。これは深刻な輻輳の兆候であり、BB_credit やフレームの損失や破損の兆候ではありません。

  • クレジット損失のリカバリが発生しているポートがポート チャネル（F ポート チャネルまたは E ポート チャネル/ISL）の一部であり、クレジット損失のリカバリが発生している同じポート チャネルに複数のポートがある場合、問題は輻輳が原因である可能性が非常に高くなります。これは、MDS がポート チャネルのすべてのメンバー間で負荷分散するためです。その結果、1 つ以上の低速デバイスのフローが、ポート チャネル内のすべてのメンバーに送信され、すべてのメンバーに影響を及ぼします。ポート チャネルの 1 つのメンバーだけがクレジット損失のリカバリを経験している場合、問題はリンクの物理コンポーネントが原因である可能性が高くなります。

輻輳管理について

輻輳検出について

次の機能を使用して、Cisco MDS スイッチのすべての低速ドレイン レベルで輻輳を検出します。

  • すべての低速ドレイン レベル

    ポートの残りのクレジットとともに合意されたクレジットの表示（ファイバチャネルのみ）：ISL の FLOGI（F ポート）および交換リンクパラメータ（ELP）で両方向で合意されたクレジットが show interface コマンドを介して表示されます。また、残りのクレジットの瞬時値も コマンドの出力に表示されます。 show interface コマンドを使用します。合意されたクレジットは、少なくともリンクがアップしているときには、静的で不変の情報です。ただし、フレームが送信されるたびに Tx 残りカウントがデクリメントされ、クレジットが受信されるたびに Tx 残りカウントがインクリメントされるため、残りのクレジット値は常に変化します。残りのクレジットがゼロに近づくかゼロに達すると、そのポートで輻輳が生じていることを示します。

    次の例では、F ポートで送受信されたクレジット情報を表示します：

    
switch# show interface fc9/16
fc9/16 is up
Hardware is Fibre Channel, SFP is short wave laser w/o OFC (SN)
Port mode is F, FCID is 0x0c0100
Transmit B2B Credit is 16
Receive B2B Credit is 32
.
.
.
32 receive B2B credit remaining
16 transmit B2B credit remaining

    次の例は、R_RDY モードの E ポートで送受信されたクレジット情報を表示します：

    
switch# show interface fc1/5
fc1/5 is trunking (Not all VSANs UP on the trunk)
Hardware is Fibre Channel, SFP is short wave laser w/o OFC (SN)
Transmit B2B Credit is 64
Receive B2B Credit is 500
.
.
.
500 receive B2B credit remaining
64 transmit B2B credit remaining

    次の例は、ER_RDY モードの E ポートで送受信されたクレジット情報を表示します：

    
switch# show interface fc9/1 | i i fc | credit
fc9/1 is trunking
Transmit B2B Credit for vl0:15 vl1:15 vl2:40 vl3:430
Receive B2B Credit for vl0:15 vl1:15 vl2:40 vl3:430
.
.
.
Transmit B2B credit remaining for virtual link 0-3: 15,15,40,428
Receive B2B credit remaining for virtual link 0-3: 15,15,40,430

  • Level 3

    レベル 3 の低速ドレイン状態は、ファイバチャネル BB_credit が 1 ～ 1.5 秒間継続的に使用できないことを特徴としています。この条件により、リンク上の Tx クレジットと Rx クレジットの両方を再初期化するために、クレジット損失回復メカニズムが呼び出されます。

    ER_RDY モードのリンクの場合、Tx BB_credits が仮想リンク 0、1、および 3 で 1.5 秒間利用できず、この期間を変更または構成できないとき、クレジット損失回復リンクのリセットがやはり開始されます。低速 VL である VL2 の場合、Tx BB_credit が 15 秒間利用できず、この期間を変更または構成できないときに開始されます。


    （注）  

    ER_RDY モードでは、クレジット損失回復はすべての VL のクレジットをリセットします。

    レベル 3 の低速ドレイン状態は、ほとんどの場合、レベル 2 とレベル 1 またはレベル 1.5 の低速ドレイン状態を伴います。

    リンクのいずれかの側で開始されるクレジット損失回復は、次の方法で確認できます。

    次の例は、R_RDY ポートのインターフェイス上のスイッチによって開始されたクレジット損失回復のカウントを表示します。


    （注）  

    このコマンド出力は、Cisco MDS NX-OS リリース 8.4(2) 以降のリリースに適用されます。Cisco MDS NX-OS Release 8.4(1a) 以前のリリースを使用している場合、コマンド出力は異なります。

    		 
    
switch# show interface fc1/4 counters detailed 
fc1/4 
  Rx 5 min rate bit/sec:                                                     0
  Tx 5 min rate bit/sec:                                                     0
  Rx 5 min rate bytes/sec:                                                   0
  Tx 5 min rate bytes/sec:                                                   0
  Rx 5 min rate frames/sec:                                                  0
  Tx 5 min rate frames/sec:                                                  0

Total Stats:
  Rx total frames:                                                           9
  Tx total frames:                                                          21
  Rx total bytes:                                                          716
  Tx total bytes:                                                         1436
  Rx total multicast:                                                        0
  Tx total multicast:                                                        0
  Rx total broadcast:                                                        0
  Tx total broadcast:                                                        0
  Rx total unicast:                                                          9
  Tx total unicast:                                                         21
  Rx total discards:                                                         0
  Tx total discards:                                                         0
  Rx total errors:                                                           0
  Tx total errors:                                                           0
 Rx class-2 frames:                                                         0
  Tx class-2 frames:                                                         0
  Rx class-2 bytes:                                                          0
  Tx class-2 bytes:                                                          0
  Rx class-2 frames discards:                                                0
  Rx class-2 port reject frames:                                             0
  Rx class-3 frames:                                                         9
  Tx class-3 frames:                                                        21
  Rx class-3 bytes:                                                        716
  Tx class-3 bytes:                                                       1436
  Rx class-3 frames discards:                                                0
  Rx class-f frames:                                                         0
  Tx class-f frames:                                                         0
  Rx class-f bytes:                                                          0
  Tx class-f bytes:                                                          0
  Rx class-f frames discards:                                                0

Link Stats:
  Rx Link failures:                                                          0
  Rx Sync losses:                                                            0
  Rx Signal losses:                                                          0
  Rx Primitive sequence protocol errors:                                     0
  Rx Invalid transmission words:                                             0
  Rx Invalid CRCs:                                                           0
  Rx Delimiter errors:                                                       0
  Rx fragmented frames:                                                      0
  Rx frames with EOF aborts:                                                 0
  Rx unknown class frames:                                                   0
  Rx Runt frames:                                                            0
  Rx Jabber frames:                                                          0
  Rx too long:                                                               0
  Rx too short:                                                              0
  Rx FEC corrected blocks:                                                   0
  Rx FEC uncorrected blocks:                                                 0
  Rx Link Reset(LR) while link is active:                                    0
  Tx Link Reset(LR) while link is active:                                    0
  Rx Link Reset Responses(LRR):                                              0
  Tx Link Reset Responses(LRR):                                              1
  Rx Offline Sequences(OLS):                                                 0
  Tx Offline Sequences(OLS):                                                 1
  Rx Non-Operational Sequences(NOS):                                         0
  Tx Non-Operational Sequences(NOS):                                         0

Congestion Stats:
  Tx Timeout discards:                                                       0
  Tx Credit loss:                                                            0
  BB_SCs credit resend actions:                                              0
  BB_SCr Tx credit increment actions:                                        0
  TxWait 2.5us due to lack of transmit credits:                              0
  Percentage TxWait not available for last 1s/1m/1h/72h:           0%/0%/0%/0%
  Rx B2B credit remaining:                                                  32
  Tx B2B credit remaining:                                                  16
  Tx Low Priority B2B credit remaining:                                     16
  Rx B2B credit transitions to zero:                                         1
  Tx B2B credit transitions to zero:                                         2

Other Stats:
  Zone drops:                                                                0
  FIB drops for ports  1-16:                                                 0
  XBAR errors for ports  1-16:                                               0
  Other drop count:                                                          0

Last clearing of "show interface" counters :                            never

    次の例では、HBA ER_RDY モードのインターフェイス カウンタ情報を表示します。


    （注）  

    このコマンド出力は、Cisco MDS NX-OS リリース 9.3(1) 以降のリリースに適用されます。

    		 
    
switch# show interface fc1/19 counters detailed 

fc1/19 
  Rx 5 min rate bit/sec:                                             214440352
  Tx 5 min rate bit/sec:                                           13299539744
  Rx 5 min rate bytes/sec:                                            26805044
  Tx 5 min rate bytes/sec:                                          1662442468
  Rx 5 min rate frames/sec:                                             394096
  Tx 5 min rate frames/sec:                                            1182737

Total Stats:
  Rx total frames:                                                229691429454
  Tx total frames:                                                687972064890
  Rx total bytes:                                               14553243684900
  Tx total bytes:                                              961041345018896
  Rx total multicast:                                                        0
  Tx total multicast:                                                        0
  Rx total broadcast:                                                        0
  Tx total broadcast:                                                        0
  Rx total unicast:                                               229691429433
  Tx total unicast:                                               687972064797
  Rx total discards:                                                         0
 Tx total discards:                                                     11544
  Rx total errors:                                                           0
  Tx total errors:                                                           0
  Rx class-2 frames:                                                         0
  Tx class-2 frames:                                                         0
  Rx class-2 bytes:                                                          0
  Tx class-2 bytes:                                                          0
  Rx class-2 frames discards:                                                0
  Rx class-2 port reject frames:                                             0
  Rx class-3 frames:                                              229691429406
  Tx class-3 frames:                                              687972064710
  Rx class-3 bytes:                                             14553243684900
  Tx class-3 bytes:                                            961041345018896
  Rx class-3 frames discards:                                                0
  Rx class-f frames:                                                         0
  Tx class-f frames:                                                         0
  Rx class-f bytes:                                                          0
  Tx class-f bytes:                                                          0
  Rx class-f frames discards:                                                0

Link Stats:
  Rx Link failures:                                                          0
  Rx Sync losses:                                                            0
  Rx Signal losses:                                                          0
  Rx Primitive sequence protocol errors:                                     0
  Rx Invalid transmission words:                                             0
  Rx Invalid CRCs:                                                           0
  Rx Delimiter errors:                                                       0
  Rx fragmented frames:                                                      0
  Rx frames with EOF aborts:                                                 0
  Rx unknown class frames:                                                   0
  Rx Runt frames:                                                            0
  Rx Jabber frames:                                                          0
  Rx too long:                                                               0
  Rx too short:                                                              0
  Rx FEC corrected blocks:                                                   0
  Rx FEC uncorrected blocks:                                                 0
  Rx Link Reset(LR) while link is active:                                   11
  Tx Link Reset(LR) while link is active:                                    0
  Rx Link Reset Responses(LRR):                                              0
  Tx Link Reset Responses(LRR):                                             22
  Rx Offline Sequences(OLS):                                                 0
  Tx Offline Sequences(OLS):                                                21
  Rx Non-Operational Sequences(NOS):                                        11
  Tx Non-Operational Sequences(NOS):                                         0
  BB_SCs credit resend actions:                                              0
  BB_SCr Tx credit increment actions:                                        0

Congestion Stats:
  Tx Timeout discards:                                                       0
  Tx Credit loss:                                                            0
  TxWait 2.5us due to lack of transmit credits for VL 0:                     0
  TxWait 2.5us due to lack of transmit credits for VL 1:                     0
  TxWait 2.5us due to lack of transmit credits for VL 2:                     0
  TxWait 2.5us due to lack of transmit credits for VL 3:              27223344
  Percentage VL3 TxWait for last 1s/1m/1h/72h:                     0%/0%/0%/0%
  Rx B2B credit remaining for VL 0:                                          0
  Rx B2B credit remaining for VL 1:                                         10
  Rx B2B credit remaining for VL 2:                                         10
  Rx B2B credit remaining for VL 3:                                         10
  Tx B2B credit remaining for VL 0:                                          0
  Tx B2B credit remaining for VL 1:                                         10
  Tx B2B credit remaining for VL 2:                                          3
  Tx B2B credit remaining for VL 3:                                          9
  Rx B2B credit transitions to zero for VL 0:                           505072
  Rx B2B credit transitions to zero for VL 1:                                7
  Rx B2B credit transitions to zero for VL 2:                              774
  Rx B2B credit transitions to zero for VL 3:                         32518514
  Tx B2B credit transitions to zero for VL 0:                            31356
  Tx B2B credit transitions to zero for VL 1:                                8
  Tx B2B credit transitions to zero for VL 2:                                8
  Tx B2B credit transitions to zero for VL 3:                         19932348

Other Stats:
  Zone drops:                                                                0
  FIB drops for ports 17-32:                                                 0
  XBAR errors for ports 17-32:                                               0
  Other drop count:                                                          0

Last clearing of "show interface" counters :                            never

    次の例は、OBFL エラー状態のスイッチによって開始されたクレジット損失回復のインスタンスを示しています。


    （注）  

    クレジット損失回復に伴って表示される他の低速ドレインの兆候。

    		 
    
switch# show logging onboard error-stats

----------------------------
 Show Clock
----------------------------
2018-08-22 12:59:20

---------------------------------
 Module: 1 error-stats
---------------------------------


------------------------------------------------------------------------
 ERROR STATISTICS INFORMATION FOR DEVICE DEVICE: FCMAC
------------------------------------------------------------------------
Interface|                                 |         |    Time Stamp
  Range  |   Error Stat Counter Name       |  Count  |MM/DD/YY HH:MM:SS
         |                                 |         |
-------------------------------------------------------------------------
fc1/1    |F16_TMM_TOLB_TIMEOUT_DROP_CNT    |14713116 |08/22/18 10:25:15
fc1/1    |FCP_SW_CNTR_TX_WT_AVG_B2B_ZERO   |1781669  |08/22/18 10:25:15
fc1/1    |FCP_SW_CNTR_CREDIT_LOSS          |18       |08/22/18 10:25:15
fc1/1    |F16_TMM_TOLB_TIMEOUT_DROP_CNT    |13338566 |08/22/18 10:24:55
fc1/1    |FCP_SW_CNTR_TX_WT_AVG_B2B_ZERO   |1781544  |08/22/18 10:24:55
fc1/1    |FCP_SW_CNTR_CREDIT_LOSS          |10       |08/22/18 10:24:55
fc1/1    |F16_TMM_TOLB_TIMEOUT_DROP_CNT    |11929676 |08/22/18 10:24:35
fc1/1    |FCP_SW_CNTR_TX_WT_AVG_B2B_ZERO   |1781418  |08/22/18 10:24:35
fc1/1    |F16_TMM_TOLB_TIMEOUT_DROP_CNT    |11881213 |08/22/18 10:24:15
fc1/1    |FCP_SW_CNTR_TX_WT_AVG_B2B_ZERO   |1781307  |08/22/18 10:24:15

    次の例は、隣接するデバイスが LR を返さないために失敗したクレジット損失回復のインスタンスを示しています。これにより、リンク障害が発生します。

    
switch# show logging log | i i timeout
…
2018 Aug 17 12:54:59 MDS9710 %PORT-5-IF_DOWN_LINK_FAILURE: %$VSAN 1%$ Interface fc1/2 is down (Link failure Link reset failed due to timeout) port-channel228
2018 Aug 17 13:42:01 MDS9710 %PORT-5-IF_DOWN_LINK_FAILURE: %$VSAN 1%$ Interface fc1/2 is down (Link failure Link reset failed due to timeout)

    次の例は、ポートで受信した LRR を表示します。

    
switch# show interface fc1/1 counters detailed
fc1/1
      27651428465 frames, 59174056872960 bytes received
…
      0 link reset received while link is active               <<<<< Credit Loss Recovery initiated from the adjacent device
…
      18 link reset responses received                         <<<<< LRRs received
      0 link reset responses transmitted                       <<<<< LRRs transmitted

    次の例は、そのインターフェイスでの深刻な入力輻輳が原因で受信した LR が失敗したことを示しています。

    
switch# show log last 20
…
2018 Aug 22 10:21:44 MDS9710 %PORT-5-IF_DOWN_LINK_FAILURE: %$VSAN 237%$ Interface fc1/13 is down (Link failure Link Reset failed nonempty recv queue)

  • Level 2

    レベル 2 の低速ドレイン状態は、リンクが非常に輻輳しているため、輻輳したリンク宛ての受信フレームを、輻輳ドロップしきい値内で送信できないことを示します。この状態が発生すると、これらのフレームは破棄されるか、タイムアウト ドロップとしてドロップされます。これらのドロップされたフレームのため、SCSI 交換がエンド ホストで失敗します。タイムアウトによる破棄には、通常、レベル 1 またはレベル 1.5 の輻輳が伴います。

    タイムアウト ドロップは、次の方法で表示されます。

    • インターフェイスのタイムアウト ドロップの数

      
switch# show interface fc1/1 counters | i fc | discard
fc1/13
      0 discards, 0 errors, 0 CRC/FCS
      14713116 discards, 0 errors    <<<<< total drops/discards
    14713116 timeout discards, 18 credit loss      <<<<< timeout drops/discards

      破棄：出力で破棄、またはドロップされたフレームの合計を示します。破棄は、フレーム ドロップとも呼ばれます。

      タイムアウト廃棄数：輻輳ドロップのため、またはクレジット ドロップなしのしきい値に達したために、廃棄された出力フレームの合計を指定します。

    • OBFL エラー統計のタイムアウト ドロップのインスタンス

      
switch# show logging onboard module 1 error-stats

----------------------------
 Show Clock
----------------------------
2018-08-22 17:15:32

---------------------------------
 Module: 1 error-stats
---------------------------------


--------------------------------------------------------------------------
 ERROR STATISTICS INFORMATION FOR DEVICE DEVICE: FCMAC
--------------------------------------------------------------------------
Interface  |                                 |         |    Time Stamp
  Range    |   Error Stat Counter Name       |  Count  |MM/DD/YY HH:MM:SS
           |                                 |         |
---------------------------------------------------------------------------
fc1/1      |F16_TMM_TOLB_TIMEOUT_DROP_CNT    |14713116 |08/22/18 10:25:15
fc1/1      |FCP_SW_CNTR_TX_WT_AVG_B2B_ZERO   |1781669  |08/22/18 10:25:15
fc1/1      |FCP_SW_CNTR_CREDIT_LOSS          |18       |08/22/18 10:25:15
fc1/1      |F16_TMM_TOLB_TIMEOUT_DROP_CNT    |13338566 |08/22/18 10:24:55
fc1/1      |FCP_SW_CNTR_TX_WT_AVG_B2B_ZERO   |1781544  |08/22/18 10:24:55
fc1/1      |FCP_SW_CNTR_CREDIT_LOSS          |10       |08/22/18 10:24:55

    • OBFL フロー制御タイムアウト ドロップのタイムアウト ドロップのインスタンス

      
switch# show logging onboard flow-control timeout-drops

---------------------------------
 Module: 1 flow-control timeout-drops
---------------------------------

----------------------------
 Show Clock
----------------------------
2018-08-22 17:16:57


-------------------------------------------------------------------------
 ERROR STATISTICS INFORMATION FOR DEVICE DEVICE: FCMAC
-------------------------------------------------------------------------
 Interface |                                |         |    Time Stamp
   Range   |    Error Stat Counter Name     |  Count  |MM/DD/YY HH:MM:SS
           |                                |         |
-------------------------------------------------------------------------
fc1/1      |F16_TMM_TOLB_TIMEOUT_DROP_CNT   |14713116 |08/22/18 10:25:15
fc1/1      |F16_TMM_TOLB_TIMEOUT_DROP_CNT   |13338566 |08/22/18 10:24:55
fc1/1      |F16_TMM_TOLB_TIMEOUT_DROP_CNT   |11929676 |08/22/18 10:24:35
fc1/1      |F16_TMM_TOLB_TIMEOUT_DROP_CNT   |11881213 |08/22/18 10:24:15
fc1/1      |F16_TMM_TOLB_TIMEOUT_DROP_CNT   |11771790 |08/22/18 10:23:55

  • レベル 1 またはレベル 1.5

    レベル 1 またはレベル 1.5 の低速ドレイン状態は、インターフェイスが BB_credit を送信しない場合があることを示します。インターフェイスは、ファイバチャネルでインターフェイスの送信クレジットがゼロになっている正確な時間と、FCoE クラスが双方向で一時停止されている正確な時間を追跡できます。FCoE インターフェイスが PFC ポーズを受信した場合、ファイバチャネル インターフェイスの送信クレジットがゼロのときと同じように、ファイバチャネル インターフェイスに送信できません。インターフェイスがクレジットを送信できないこの時間は TxWait と呼ばれ、2.5 マイクロ秒間隔でカウントされます。（相手側が送信しないようにするため） PFC ポーズを送信する FCoE インターフェイスは、BB_credit を返さないファイバチャネル インターフェイスに似ています。インターフェイスがクレジットを受信できないこの時間は RxWait と呼ばれ、やはり 2.5 マイクロ間隔でカウントされます。現在のところ、RxWait は FCoE に対してのみ測定されます。ファイバチャネルでは、インターフェイスがクレジットを受信できないこの期間は、ソフトウェア プロセスによってのみ測定されます。これは、インターフェイスの Rx クレジットが 100 ミリ秒継続して残っている場合にのみ測定されます。

    • ポートでのクレジット ゼロへの遷移の表示（ファイバチャネルのみ）：ポートで送信または受信 BB_credit がゼロになるたびに、送信（Tx）または受信（Rx）の BB_credit のゼロへの遷移がインクリメントされます。送信 BB_credit のゼロへの遷移がインクリメントされたときには、隣接デバイスが BB_credit を保留したか、BB_credit が損失したことを示します。受信 BB_credit のゼロへの遷移がインクリメントされたときには、スイッチポートが隣接デバイスからの BB_credit を保留していることを示します。これらのインターフェイス カウンタは、通常の状態でも時折増加します。これらのインターフェイス カウンタは、インターフェイスがゼロ クレジットであった時間の長さを示しているわけではありません。したがって、これらのカウンタは、ポートの輻輳を示す推奨値とはなりません。ポートの Tx および Rx 輻輳のより適切な表示については、TxWait および RxWait カウンタの説明を参照してください。 

      
switch# show interface fc1/13 counters
fc1/13
    5 minutes input rate 0 bits/sec, 0 bytes/sec, 0 frames/sec
    5 minutes output rate 0 bits/sec, 0 bytes/sec, 0 frames/sec
    0 frames input, 0 bytes
      0 class-2 frames, 0 bytes
      0 class-3 frames, 0 bytes
      0 class-f frames, 0 bytes
      0 discards, 0 errors, 0 CRC/FCS
      0 unknown class, 0 too long, 0 too short
    0 frames output, 0 bytes
      0 class-2 frames, 0 bytes
      0 class-3 frames, 0 bytes
      0 class-f frames, 0 bytes
      0 discards, 0 errors
    0 timeout discards, 0 credit loss
    0 input OLS, 0 LRR, 0 NOS, 0 loop inits
    0 output OLS, 0 LRR, 0 NOS, 0 loop inits
    0 link failures, 0 sync losses, 0 signal losses
     0 Transmit B2B credit transitions to zero
     0 Receive B2B credit transitions to zero
      0 2.5us TxWait due to lack of transmit credits
      Percentage Tx credits not available for last 1s/1m/1h/72h: 0%/0%/0%/0%
      32 receive B2B credit remaining
      31 transmit B2B credit remaining
      31 low priority transmit B2B credit remaining
    Last clearing of "show interface" counters: 2d00h


Transmit B2B credit transitions to zero – Count of times the interface was at zero Tx B2B credits remaining and unable to transmit. This could be because the adjacent device withheld B2B credits from this interface, credits (or frames which should have generated credits) were lost, or because there were insufficient credits for the speed, average frame size, and distance of the link.
Receive B2B credit transitions to zero – Count of times the interface was at zero Rx B2B credits remaining. This is due to this interface withholding B2B credits.

    • インターフェイス上の TxWait および RxWait の合計量の表示。それぞれのインクリメントは、インターフェイスがゼロ Tx または Rx クレジットであった時間が 2.5 マイクロ秒だけあったことを表します。これは、 show interface counters および show interface counters detailed コマンドを使用して表示されます。 

      
switch# show interface fc1/1 counters
fc1/1
    5 minutes input rate 0 bits/sec, 0 bytes/sec, 0 frames/sec
    5 minutes output rate 0 bits/sec, 0 bytes/sec, 0 frames/sec
    27651428465 frames input, 59174056872960 bytes
      0 class-2 frames, 0 bytes
      0 class-3 frames, 59174056872960 bytes
      0 class-f frames, 0 bytes
      0 discards, 0 errors, 0 CRC/FCS
      0 unknown class, 0 too long, 0 too short
    907817 frames output, 1942720200 bytes
      0 class-2 frames, 0 bytes
      907817 class-3 frames, 1942720200 bytes
      0 class-f frames, 0 bytes
      14713116 discards, 0 errors
    14713116 timeout discards, 18 credit loss
    0 input OLS, 18 LRR, 0 NOS, 0 loop inits
    0 output OLS, 0 LRR, 0 NOS, 0 loop inits
    0 link failures, 0 sync losses, 0 signal losses
     903218 Transmit B2B credit transitions to zero
     743093 Receive B2B credit transitions to zero
      108369199104 2.5us TxWait due to lack of transmit credits
      Percentage Tx credits not available for last 1s/1m/1h/72h: 0%/0%/0%/0%
      32 receive B2B credit remaining
      128 transmit B2B credit remaining
    Last clearing of "show interface" counters: 6w 4d
2.5us TxWait due to lack of transmit credits – Count of TxWait ticks in 2.5us since the interface counters have been cleared last. In this example, 108369199104 * 2.5 / 1000000 = 270922.99776 seconds of time the interface has not been able to transmit in the past 6 weeks and 4 days.
Percentage Tx credits not available for last 1s/1m/1h/72h: 0%/0%/0%/0% - Percentage of TxWait as calculated in the last 1 second, 1 minute, 1 hour, and 72 hour intervals.

    • 過去 1 秒、1 分、1 時間、および 72 時間に TxWait と RxWait が使用できなかったこと、およびそれらの Tx と Rx クレジットのパーセンテージの表示： show interface counters detailed コマンドを使用して表示できます。 

      
switch# show interface fc1/1 counters
fc1/1
    5 minutes input rate 0 bits/sec, 0 bytes/sec, 0 frames/sec
    5 minutes output rate 0 bits/sec, 0 bytes/sec, 0 frames/sec
    27651428465 frames input, 59174056872960 bytes
      0 class-2 frames, 0 bytes
      0 class-3 frames, 59174056872960 bytes
      0 class-f frames, 0 bytes
      0 discards, 0 errors, 0 CRC/FCS
      0 unknown class, 0 too long, 0 too short
    907817 frames output, 1942720200 bytes
      0 class-2 frames, 0 bytes
      907817 class-3 frames, 1942720200 bytes
      0 class-f frames, 0 bytes
      14713116 discards, 0 errors
    14713116 timeout discards, 18 credit loss
    0 input OLS, 18 LRR, 0 NOS, 0 loop inits
    0 output OLS, 0 LRR, 0 NOS, 0 loop inits
    0 link failures, 0 sync losses, 0 signal losses
     903218 Transmit B2B credit transitions to zero
     743093 Receive B2B credit transitions to zero
      108369199104 2.5us TxWait due to lack of transmit credits
      Percentage Tx credits not available for last 1s/1m/1h/72h: 0%/0%/0%/0%
      32 receive B2B credit remaining
      128 transmit B2B credit remaining
    Last clearing of "show interface" counters: 6w 4d
2.5us TxWait due to lack of transmit credits – Count of TxWait ticks in 2.5us since the interface counters have been cleared last. In this example, 108369199104 * 2.5 / 1000000 = 270922.99776 seconds of time the interface has not been able to transmit in the past 6 weeks and 4 days.
Percentage Tx credits not available for last 1s/1m/1h/72h: 0%/0%/0%/0% - Percentage of TxWait as calculated in the last 1 second, 1 minute, 1 hour, and 72 hour intervals.


switch# show interface vfc1/3 counters

vfc1/3
    3166 fcoe in packets
    460532 fcoe in octets
    3166 fcoe out packets
    1005564 fcoe out octets
    0 2.5 us TxWait due to pause frames for VL3
    0 2.5 us RxWait due to pause frames for VL3
    0 Tx frames with pause opcode for VL3
    0 Rx frames with pause opcode for VL3
    Percentage pause in TxWait per VL3 for last 1s/1m/1h/72h: 0%/0%/0%/0%
    Percentage pause in RxWait per VL3 for last 1s/1m/1h/72h: 0%/0%/0%/0%

    • 過去 60 秒、60 分、および 72 時間の Tx クレジットの使用不可 TxWait（ファイバチャネル）および PFC の一時停止（TxWait および RxWait）を示すヒストグラムの表示： show process creditmon txwait-history （ファイバチャネル）および show system {txwait-history | rxwait-history} （FCoE）コマンド


      （注）  

      Cisco MDS NX-OS リリース 8.4（1）以降、 show process creditmon txwait-history および show hardware internal {txwait-history | rxwait-history} コマンドが show interface [interface-range] {txwait-history | rxwait-history} コマンドを変更します。

      TxWait（またはクレジット利用不可）は、送信 BB_credit（ファイバチャネル）の不足、または PFC 一次停止フレーム（FCoE）の受信が原因でインクリメントします。

      RxWait（現在は FCoE のみ）は、インターフェイスが PFC 一次停止フレームを送信するとインクリメントします。

      コマンドごとに 3 つのグラフがあり、各グラフの X 軸に最新の秒、分、または時間の単位が示されます。

      1. 秒スケール：過去 60 秒を示します。各列は 1 秒を表します。ヒストグラムの上には、ポートが送信できなかった時間（ミリ秒）が縦に表示されます。表示されている最初のグラフでは、コマンドが実行される 8 秒前に、1 秒間隔で 857 ms の TxWait（クレジット利用不可）がありました。最新の秒が左側に表示されます。

      2. 分スケール：過去 60 分を示します。各列は 1 分を表します。ヒストグラムの上には、ポートが送信できなかった時間（秒）が縦に表示されます。示されている 2 番目のグラフでは、コマンドが実行される 1 分前に、1 分間隔で 22.7 秒の TxWait（クレジット利用不可）がありました。最新の分が左側に表示されます。

      3. 時間スケール：過去 72 時間を示します。各列は 1 時間を表します。ヒストグラムの上には、ポートが送信できなかった時間 (秒) が縦に表示されます。示されている 3 番目のグラフでは、コマンドが実行される 24 時間前に、1 分間隔で 342 秒の TxWait（クレジット使用不可）がありました。そして、52 時間前には、1 時間に 220 秒の TxWait がありました。最新の時間が左側に表示されます。 

      
switch#  show interface fc1/1 txwait-history | no-more

TxWait history for port fc1/1:
==============================
            8999994              299999999999999999999997
            5888883              188879888888888889999998
     000000076362570000000000000066468354635464357888708700000000
1000         #####                ######################
 900        ######                ######################
 800        ######                #######################
 700        ######                #######################
 600        ######                #######################
 500        ######                #######################
 400        #######               #######################
 300        #######               #######################
 200        #######              ########################
 100        #######              ########################
    0....5....1....1....2....2....3....3....4....4....5....5....6
              0    5    0    5    0    5    0    5    0    5    0

          Tx Credit Not Available per second (last 60 seconds)
                 # = TxWait (ms)

   245 45         1
   239121000000000800000000000000000000000000000000000000000000
   ............................................................
   772006000000000800000000000000000000000000000000000000000000
60   #
54   #  #
48   #  #
42  ## ##
36  ## ##
30  ## ##
24 ### ##
18 ### ##         #
12 ### ##         #
 6 ### ##         #
  0....5....1....1....2....2....3....3....4....4....5....5....6
            0    5    0    5    0    5    0    5    0    5    0

          Tx Credit Not Available per minute (last 60 minutes)
                 # = TxWait (secs)


                            3                           2
                            4                           2
     000000000000000000000002000000000000000000000000000000000000000000000000
3600
3240
2880
2520
2160
1800
1440
1080
 720
 360                        #                           #
    0....5....1....1....2....2....3....3....4....4....5....5....6....6....7.7
              0    5    0    5    0    5    0    5    0    5    0    5    0 2

          Tx Credit Not Available per hour (last 72 hours)
                 # = TxWait (secs)

        show interface [interface-range] rxwait-history （FCoE）コマンドは、ポートが PFC 一時停止を受信していた時間を表示することを除いて、TxWait history コマンドに似ています。したがって、隣接するデバイスが送信するのを防ぎます。 

      
switch# show interface e1/47 rxwait-history 
  
RxWait history for port Eth1/47:
  ==============================
                                                                   
       788777778777777877777778877877877778777877777777777877777778
       900999990999999099999990099099099990999099999999999199999990
  1000                                                             
   900                                                             
   800                                                             
   700                                                             
   600                                                             
   500                                                             
   400                                                             
   300                                                             
   200                                                             
   100 ############################################################
      0....5....1....1....2....2....3....3....4....4....5....5....6
                0    5    0    5    0    5    0    5    0    5    0
  
            RxWait per second (last 60 seconds)
                   # = RxWait (ms)
  
               1                                                 
     444444444557000000000000000000000000000000000000000000000000
     ............................................................
     777777777587000000000000000000000000000000000000000000000000
  60                                                             
  54                                                             
  48                                                             
  42                                                             
  36                                                             
  30                                                             
  24                                                             
  18           #                                                 
  12           #                                                 
   6 ############                                                
    0....5....1....1....2....2....3....3....4....4....5....5....6
              0    5    0    5    0    5    0    5    0    5    0
  
            RxWait per minute (last 60 minutes)
                   # = RxWait (secs)
  
                                                                               
       2                  1                           1                        
       7                2 5                           9                        
       000000000000000006060002000000000000000000000009000000000000000000000001
  3600                                                                         
  3240                                                                         
  2880                                                                         
  2520                                                                         
  2160                                                                         
  1800                                                                         
  1440                                                                         
  1080                                                                         
   720                                                                         
   360 #                                              #                        
      0....5....1....1....2....2....3....3....4....4....5....5....6....6....7.7
                0    5    0    5    0    5    0    5    0    5    0    5    0 2
  
      RxWait per hour (last 72 hours)
                   # = RxWait (secs)

    • デルタ TxWait が 100 ミリ秒より長い 20 秒間隔でのデルタ TxWait および RxWait 値の表示： show logging onboard txwait （ファイバ チャネルおよび FCoE） show logging onboard rxwait （FCoE） コマンドを使用して、デルタ TxWait および RxWait 値を表示できます。

      TxWait および RxWait は、ポートが 20 秒間隔で 100 ms 以上の TxWait または RxWait を蓄積するたびに、永続的なログ（オンボードまたは OBFL のログ）に記録します。ポートに蓄積された TxWait または RxWait が 100 ミリ秒未満の場合、その 20 秒間は何も記録されません。

      次の情報は、オンボード TxWait および RxWait のログに表示されます。

      • Delta TxWait または RxWait（ティック）：各ティックは 2.5 マイクロ秒を表します。ログに記録される最小値は 100 ミリ秒に相当するため、出力に表示される最小値は 40,000 です。

      • Delta TxWait または RxWait（秒）：TxWait 値を 2.5 で乗算してから 1,000,000 で割ると、秒単位の TxWait 値が得られます。TxWait 値は、出力に整数として表示されます。したがって、1 秒未満の TxWait 値は 0 と表示されます。

      • 輻輳率（%）：TxWait または RxWait の値を 20 で割ると、秒単位の TxWait または RxWait になります。この値により、20 秒間隔で輻輳がどのように発生したかをすばやく確認できます。

      • タイムスタンプ：デルタ TxWait が決定されたときの 20 秒間隔の終了時の日付と時刻を示します。

        
switch# show logging onboard txwait module 2

---------------------------------
  Module: 2 txwait count
---------------------------------

----------------------------
  Show Clock
----------------------------
2019-04-08 13:56:52
Notes:
      - Sampling period is 20 seconds
      - Only txwait delta >= 100 ms are logged

--------------------------------------------------------------------------
| Interface | Delta TxWait Time     |Congestion| Timestamp               |
|           | 2.5us ticks | seconds |          |                         |
--------------------------------------------------------------------------
|Eth2/2(VL3)|   882562    |    2    |   11%    | Tue Sep 11 08:52:34 2018| 
|Eth2/1(VL3)|  4647274    |   11    |   58%    | Tue Sep 11 08:52:14 2018|
|Eth2/2(VL3)|  7529479    |   18    |   94%    | Tue Sep 11 08:52:14 2018|
|Eth2/1(VL3)|  7829159    |   19    |   97%    | Tue Sep 11 08:51:54 2018|
|Eth2/2(VL3)|  7923544    |   19    |   99%    | Tue Sep 11 08:51:54 2018|
|Eth2/1(VL3)|  5299754    |   13    |   66%    | Tue Sep 11 08:50:34 2018|
|Eth2/2(VL3)|   362484    |    0    |     4%   | Tue Sep 11 08:50:34 2018|
|Eth2/1(VL3)|  7924925    |   19    |   99%    | Tue Sep 11 08:50:14 2018|
|Eth2/2(VL3)|  2566450    |    6    |   32%    | Tue Sep 11 08:50:14 2018|
|Eth2/1(VL3)|  7935558    |   19    |   99%    | Tue Sep 11 08:49:54 2018|
|Eth2/2(VL3)|  6762560    |   16    |   84%    | Tue Sep 11 08:49:54 2018|
|Eth2/1(VL3)|  7908259    |   19    |   98%    | Tue Sep 11 08:49:34 2018|
|Eth2/2(VL3)|  5264976    |   13    |   65%    | Tue Sep 11 08:49:34 2018|    
|Eth2/1(VL3)|  7925639    |   19    |   99%    | Tue Sep 11 08:49:14 2018|

switch# show logging onboard rxwait module 2

---------------------------------
  Module: 2 rxwait count
---------------------------------

----------------------------
  Show Clock
----------------------------
2019-04-08 13:58:03
Notes:
      - Sampling period is 20 seconds
      - Only rxwait delta >= 100 ms are logged

----------------------------------------------------------------------------
| Interface | Delta RxWait Time     | Congestion | Timestamp               |
|           | 2.5us ticks | seconds |            |                         |
----------------------------------------------------------------------------
|Eth2/1(VL7)|  6568902    |   16    |      82%   | Thu Aug  2 14:29:54 2018|
|Eth2/1(VL6)|  6568927    |   16    |      82%   | Thu Aug  2 14:29:54 2018|
|Eth2/1(VL5)|  6568951    |   16    |      82%   | Thu Aug  2 14:29:54 2018|
|Eth2/1(VL4)|  6568975    |   16    |      82%   | Thu Aug  2 14:29:54 2018|
|Eth2/1(VL3)|  6569000    |   16    |      82%   | Thu Aug  2 14:29:54 2018|
|Eth2/1(VL2)|  6569024    |   16    |      82%   | Thu Aug  2 14:29:54 2018|
|Eth2/1(VL1)|  6569050    |   16    |      82%   | Thu Aug  2 14:29:54 2018|
|Eth2/1(VL0)|  6569075    |   16    |      82%   | Thu Aug  2 14:29:54 2018|
|Eth2/2(VL7)|  7523430    |   18    |      94%   | Thu Aug  2 14:29:54 2018|
|Eth2/2(VL6)|  7523455    |   18    |      94%   | Thu Aug  2 14:29:54 2018|
|Eth2/2(VL5)|  7523479    |   18    |      94%   | Thu Aug  2 14:29:54 2018|
|Eth2/2(VL4)|  7523504    |   18    |      94%   | Thu Aug  2 14:29:54 2018|
|Eth2/2(VL3)|  7523528    |   18    |      94%   | Thu Aug  2 14:29:54 2018|
|Eth2/2(VL2)|  7523552    |   18    |      94%   | Thu Aug  2 14:29:54 2018|
|Eth2/2(VL1)|  7523578    |   18    |      94%   | Thu Aug  2 14:29:54 2018|

    • 平均 Tx クレジットの表示（100 ミリ秒間隔では使用不可）：Cisco MDS スイッチには、100 ミリ秒ごとに実行されるソフトウェア プロセスがあり、残り Tx クレジットが 0 の連続状態にあるポートをチェックします。  show system internal snmp credit-not-available [module module] および show logging onboard error-stats コマンドの出力には、0 Tx クレジットの連続状態にあるポートが表示されます。これらのコマンドは、100 ミリ秒、200 ミリ秒、またはそれ以上の連続した 0 Tx クレジットの状態を表示します。

        show system internal snmp credit-not-available [module module] コマンドは、ポート モニターからの Tx クレジット使用不可アラートを表示します。アラートは、構成されたポート モニターのポーリング間隔の割合として、100 ミリ秒間隔で表示されます。Tx Credit 使用不可（tx-credit-not-available）ポート モニター カウンタがアクティブ ポリシーで設定されていない場合、イベントは表示されません。

        [使用不可の持続時間（Duration of time not available）] の列は、Tx クレジットがゼロで利用できなかったポーリング間隔のパーセンテージです。コマンド出力では、イベント時間（2018 年 8 月 18 日火曜日 19 時 41 分 34 秒）について、 [使用不可の持続時間（Duration of time not available）] は 10% で、100 ミリ秒を示します（1 秒のポーリング間隔の 10% は 100 ミリ秒です）。2018 年 8 月 18 日火曜日 19:52:52 に、ポート モニター ポリシーが変更され、tx-credit-not-available カウンタのポーリング間隔が 10 秒、上昇しきい値が 20% に変更されました。  [使用不可の持続時間（Duration of time not available）] 列は 49% を示しており、Tx クレジットの 10 秒のうちほぼ 5 秒がゼロであることを示しています。 

      
switch# show system internal snmp credit-not-available
Module: 1      Number of events logged: 20
-----------------------------------------------------------------------------------
Port     Threshold Rising Interval(s) Event Time        Type      Duration of time 
         /Falling                                                 not available
-----------------------------------------------------------------------------------
fc1/94   10/0(%)            1          Tue Aug 18       Rising    10%
                                       19:41:34 2018  
fc1/94   10/0(%)            1          Tue Aug 18       Falling   0%
                                       19:42:14 2018  
fc1/94   10/0(%)            1          Tue Aug 18       Rising    10%
                                       19:42:15 2018  
fc1/94   10/0(%)            1          Tue Aug 18       Falling   0%
                                       19:42:55 2018  
fc1/94   10/0(%)            1          Tue Aug 18       Rising    10%
                                       19:42:56 2018  
fc1/94   10/0(%)            1          Tue Aug 18       Falling   0%
                                       19:44:34 2018  
fc1/94   10/0(%)            1          Tue Aug 18       Rising    10%
                                       19:44:35 2018  
fc1/94   10/0(%)            1          Tue Aug 18       Falling   0%
                                       19:48:50 2018  
fc1/94   10/0(%)            1          Tue Aug 18       Rising    20%
                                       19:48:51 2018  
fc1/94   10/0(%)            1          Tue Aug 18       Falling   0%
                                       19:49:31 2018  
fc1/94   10/0(%)            1          Tue Aug 18       Rising    20%
                                       19:49:32 2018  
fc1/94   10/0(%)            1          Tue Aug 18       Falling   0%
                                       19:51:42 2018  
fc1/94   10/0(%)            1          Tue Aug 18       Rising    10%
                                       19:51:43 2018  
fc1/94   10/0(%)            1          Tue Aug 18       Falling   0%
                                       19:52:51 2018  
fc1/94   10/0(%)            1          Tue Aug 18       Rising    10%
                                       19:52:52 2018  
fc1/94   10/0(%)            1          Tue Aug 18       Falling   0%
                                       19:53:14 2018  
fc1/94   10/0(%)            1          Tue Aug 18       Rising    20%
                                       19:53:15 2018  
fc1/94   10/0(%)            1          Tue Aug 18       Falling   0%
                                       19:58:36 2018  
fc1/94   20/0(%)            10         Tue Aug 18       Rising    49%
                                       20:20:02 2018  
fc1/94   20/0(%)            10         Tue Aug 18       Falling   0%
                                       20:21:45 2018

    • ロギング オンボード エラー統計の、Tx クレジット使用不可の平均値の表示： show logging onboard error-stats コマンドは、FCP_SW_CNTR_TX_WT_AVG_B2B_ZERO カウンタで示される、100 ミリ秒間隔での Tx クレジット使用不可の平均値を表示します。このカウンタは、インターフェイスが 0 Tx クレジットの継続状態にある場合、100 ミリ秒ごとに 1 ずつインクリメントします。インクリメントは、20 秒ごとにコマンド出力に記録されます。コマンド出力には、他のカウンタに関する情報も含まれています。 

      
switch# show logging onboard error-stats

----------------------------
    Module:  1
----------------------------

----------------------------
 Show Clock
----------------------------
2018-08-28 12:28:15

---------------------------------
 Module: 1 error-stats
---------------------------------


--------------------------------------------------------------------------------
 ERROR STATISTICS INFORMATION FOR DEVICE: FCMAC
--------------------------------------------------------------------------------
    Interface|                                   |         |    Time Stamp
      Range  |     Error Stat Counter Name       |  Count  |MM/DD/YY HH:MM:SS
             |                                   |         |
--------------------------------------------------------------------------------
fc7/2        |IP_FCMAC_CNT_STATS_ERRORS_RX_BAD_  |35806503 |03/17/19 11:32:44
              WORDS_FROM_DECODER  
fc7/2        |FCP_SW_CNTR_TX_WT_AVG_B2B_ZERO     |2        |03/17/19 11:32:44
fc7/1        |FCP_SW_CNTR_TX_WT_AVG_B2B_ZERO     |1        |03/17/19 11:32:44
fc7/15       |FCP_SW_CNTR_RX_WT_AVG_B2B_ZERO     |1        |03/15/19 22:10:25
fc7/15       |FCP_SW_CNTR_RX_WT_AVG_B2B_ZERO     |16       |03/15/19 18:32:44
fc7/15       |F16_TMM_TOLB_TIMEOUT_DROP_CNT      |443      |03/15/19 15:39:42
fc7/15       |FCP_SW_CNTR_RX_WT_AVG_B2B_ZERO     |12       |03/15/19 13:37:59
fc7/15       |FCP_SW_CNTR_RX_WT_AVG_B2B_ZERO     |8        |03/15/19 13:29:59
fc7/15       |FCP_SW_CNTR_RX_WT_AVG_B2B_ZERO     |4        |03/15/19 13:26:19
fc7/15       |FCP_SW_CNTR_RX_WT_AVG_B2B_ZERO     |3        |01/01/17 13:12:14
fc7/15       |FCP_SW_CNTR_RX_WT_AVG_B2B_ZERO     |25       |03/14/19 21:13:34
fc7/15       |FCP_SW_CNTR_RX_WT_AVG_B2B_ZERO     |21       |03/14/19 21:06:34
fc7/15       |FCP_SW_CNTR_RX_WT_AVG_B2B_ZERO     |17       |03/14/19 20:58:34

    • Tx および Rx の 0 への遷移の表示（ファイバチャネルのみ）：インターフェイスで、いずれかの方向の残りクレジットが 0 に達すると、 ゼロへの遷移 カウンタがインクリメントされます。このカウンタのインクリメントは、ポートのクレジットが不足していることを示していますが、ポートのクレジットが 0 であった期間を示しているわけではありません。ポートは、一時的に、または長期間にわたって 0 クレジットになっていた可能性があります。TxWait は、ポートの Tx クレジットが残り 0 であった実際の時間を提供するため、クレジットがなくなった場合の影響をより適切に表示できます。0 への遷移は、 show interface counters コマンドおよび show interface counters detailed コマンドに示されています。

      次の例は、送信クレジットと受信クレジットのカウントが ゼロへの遷移 を示しています： 

      
switch# show interface fc1/1 counters | i fc | transitions
fc1/1
0 Transmit B2B credit transitions to zero
0 Receive B2B credit transitions to zero

    • 優先順位フロー制御（PFC）一次停止（FCoE のみ）：インターフェイスで送受信された PFC 一次停止フレームの数を提供します。PFC 一時停止はカウントであり、非ゼロ量の PFC 一時停止（実際の一時停止フレーム）とゼロ量の PFC 一時停止（一時停止解除または再開フレーム）の両方が含まれます。このカウントは、ポートが一時停止していた時間を示すものではありません。ポートは、一時的に、または長期間にわたって一次停止になっていた可能性があります。TxWait と RxWait は、ポートが各方向で一時停止された実際の時間を提供するため、これらの一時停止フレームの影響をよりよく理解できます。PFC 一時停止は、 show interface コマンドと show interface priority-flow-control コマンドで表示できます。

      次の例では、送信方向と受信方向の 一時停止 カウントを表示します。 

      
switch# show interface eth3/1
Ethernet3/1 is up
admin state is up, Dedicated Interface
Belongs to Epo540
...snip
RX
555195 unicast packets 105457 multicast packets 0 broadcast packets
...snip
230870335 Rx pause
TX
326283313 unicast packets 105258 multicast packets 0 broadcast packets
...snip
0 Tx pause

      次の例では、FCoE に使用されるイーサネット ポートの RxPause、TxPause カウント、対応する RxWait、および TxWait を表示します。

      
switch# show interface priority-flow-control
RxPause: No. of pause frames received
TxPause: No. of pause frames transmitted
TxWait: Time in 2.5uSec a link is not transmitting data[received pause]
RxWait: Time in 2.5uSec a link is not receiving data[transmitted pause]
====================================================================================
Interface Admin Oper (VL bmap) VL RxPause    TxPause RxWait-    TxWait-
                                                     2.5us(sec) 2.5us(sec)
====================================================================================

Epo540    Auto   NA    (8)     3   456200000  0      0(0)       152866694355(382166)
Eth2/1    Auto   On    (8)     3   4481929    0      0(0)       5930346153(14825)
...snip
Eth2/48   Auto   Off
Eth3/1    Auto   On    (8)     3   0          0      0(0)       0(0)
...snip
Eth3/6    Auto   Off
Eth3/7    Auto   On    (8)     3   0          0      0(0)       0(0)

  • 低速ポート モニター（ファイバチャネルのみ）：低速ポート モニターのしきい値は、指定された継続時間の間、送信クレジットが 0 であるポートを検出するために指定されます。ポートの Tx クレジットが指定されたしきい値の間連続して 0 の場合、スイッチは、slowport-monitor ログおよびロギング オンボードにエントリを記録します。このエントリは、 show process creditmon slowport-monitor-events コマンドおよび show logging onboard slowport-monitor-events コマンドに表示されます。これらのコマンドの出力に表示されるエントリは同じですが、slowport-monitor ログにはポートごとの最後の 10 個のイベントのみが保持されます。オンボードのロギングはイベントを時系列で保持し、slowport-monitor ログと比較するとより多くのイベントを保持できます。

    イベントは、最大 100 ミリ秒の頻度で記録されます。カウントが上がると、コマンド出力に動作遅延が表示されます。動作遅延は、ポートが 0 Tx クレジットであった時間の長さを示します。カウントが前のエントリから 1 つ以上増加した場合、操作遅延は 100 ミリ秒間隔内の複数のイベントからの平均操作遅延です。

    次の例では、02/02/18 18:12:37.308 のスローポート検出カウントは 276 で、以前の値は 273 でした。この例は、前の 100 ミリ秒内に、ポートが 1 ミリ秒以上ゼロ Tx クレジットだった時間間隔が 3 つあったことを示しています。ポートがゼロ クレジットであった平均時間は、 [操作遅延（oper delay）] 列 （4 ミリ秒）に表示されます。操作遅延が 4 ミリ秒ということは、前の 100 ミリ秒内でポートがゼロ Tx クレジットであった時間の合計が 12 ミリ秒だったことを示しています。12 ミリ秒の持続時間は、3 つの別々の間隔に生じました。

    ポート モニターは、port-monitor slowport-monitor アラートを生成することもできます。デフォルトでは、slowport-monitor アラートはオフに設定されています。port-monitor slowport-monitor アラートを取得するには、slowport-monitor を構成する必要があります。

      show process creditmon slowport-monitor-events [module number] [port number] コマンドは、ポートごとに最新の 10 個のイベントを表示します。 

    
switch# show process creditmon slowport-monitor-events

        Module: 01      Slowport Detected: NO


        Module: 09      Slowport Detected: YES
=========================================================================
 Interface = fc9/2
----------------------------------------------------------------
| admin  | slowport  | oper  |            Timestamp            |
| delay  | detection | delay |                                 |
| (ms)   | count     | (ms)  |                                 |
----------------------------------------------------------------
|   1    |       289 |    2  | 1. 02/02/18 21:33:20.853        |
|   1    |       279 |   10  | 2. 02/02/18 21:33:20.749        |
|   1    |       279 |   19  | 3. 02/02/18 21:33:20.645        |
|   1    |       276 |    4  | 4. 02/02/18 18:12:37.308        |
|   1    |       273 |    3  | 5. 02/02/18 17:07:44.395        |
|   1    |       258 |    2  | 6. 02/02/18 13:33:08.451        |
|   1    |       254 |    1  | 7. 02/02/18 12:49:01.899        |
|   1    |       253 |   14  | 8. 02/02/18 12:49:01.794        |
|   1    |       242 |    1  | 9. 02/02/18 10:07:33.594        |
|   1    |       242 |    3  |10. 02/02/18 10:07:32.865        |

      show logging onboard slowport-monitor-events コマンドは、モジュールごとのすべての低速ポート モニター イベントを表示します。 

    
switch# show logging onboard slowport-monitor-events module 9

---------------------------------
 Module: 9 slowport-monitor-events
---------------------------------

----------------------------
 Show Clock
----------------------------
2018-02-03 12:27:45

---------------------------------
 Module: 9 slowport-monitor-events
---------------------------------

--------------------------------------------------------------------------
| admin  | slowport  | oper  |            Timestamp         | Interface
| delay  | detection | delay |                              |
| (ms)   | count     | (ms)  |                              |
--------------------------------------------------------------------------
|   1    |       289 |    2  | 02/02/18 21:33:20.853        | fc9/2
|   1    |       279 |   10  | 02/02/18 21:33:20.749        | fc9/2
|   1    |       277 |   19  | 02/02/18 21:33:20.645        | fc9/2
|   1    |       276 |    4  | 02/02/18 18:12:37.308        | fc9/2
…snip

  • RxWait（FCoE のみ）：ポートが送信 PFC 一時停止状態にあり、隣接デバイスがポートに送信するのを妨げている時間の測定値です。RxWait は、ポートが受信できない時間 2.5 マイクロ秒ごとに 1 ずつインクリメントします。

    RxWait は、次の方法で表示されます。

    • 累積カウント： show interface counters 、 show interface counters detailed 、および show interface priority-flow-control コマンドを使用して、インターフェイス カウンタが最後にクリアされた時刻を示します。

    • カウント（パーセント）： show interface counters および show interface counters detailed コマンドを使用して、過去 1 秒、1 分、1 時間、および 72 時間にクレジットを送信できなかったことを示します。

    • 過去 60 秒、60 分、および 72 時間のカウントのグラフィック表示：FCoE では、カウントは show interface [interface-range] rxwait-history コマンドを使用して表示されます。

    • オンボード障害ログ（OBFL）：ポートが 20 秒間隔で 100 ミリ秒以上 RxWait を累積した場合の OBFL のエントリ。このエントリは、 show logging onboard rxwait コマンドを使用して表示されます。

    次の例では、 show interface counters コマンド出力に「1104349910 2.5 us TxWait due to pause frames (VL3)」というデータが表示されます。このデータは、カウンタが最後にクリアされたとき、またはモジュールが最初に起動したときから累積されます。この例では、TxWait は 1104349910 回インクリメントされています。このデータを秒に変換すると、（1104349910 * 2.5）/1000000 = 2760.874 秒です。VFC ポート チャネルは 2760.874 秒間送信できなかったことになります。

    次の例では、 show interface counters コマンド出力に「205484298144 2.5 us RxWait due to PFC Pause frames (VL3)」というデータが表示されます。このデータは、カウンタが最後にクリアされたとき、またはモジュールが最初に起動したときから累積されます。この例では、RxWait は 205484298144 回インクリメントされています。このデータを秒に変換すると、（205484298144 * 2.5）/1000000 = 513710.745 秒です。VFC ポート チャネルは 513710.745 秒間受信できなかったことになります。

    次の例は、過去 1 秒、1 分、1 時間、および 72 時間に VFC が各方向で一時停止した時間の割合も示しています。TxWait の場合、これは、VFC が PFC を受信した時間のパーセンテージです。RxWait の場合、これは、VFC が一次停止フレームを送信して相手側の送信を妨げていた時間の割合です。この例では、過去 1 分間に、VFC は 33% の時間（20 秒）送信を妨げられました（TxWait）。


    （注）  

    表示されるインターフェイスが VFC ポート チャネルまたはイーサネット ポート チャネルにバインドされた VFC である場合、すべての値はイーサネット ポート チャネルのすべてのメンバーについて累積されます。

    		 
    
switch# show interface vfc-po540 counters

vfc-po540
    1571394073 fcoe in packets
    3322884900540 fcoe in octets
    79445277 fcoe out packets
    69006091691 fcoe out octets
    1104349910 2.5 us TxWait due to pause frames (VL3)
    205484298144 2.5 us RxWait due to pause frames (VL3)
    0 Tx frames with pause opcode (VL3)
    3302000 Rx frames with pause opcode (VL3)
    Percentage pause in TxWait per VL3  for last 1s/1m/1h/72h: 0%/33%/0%/0%
    Percentage pause in RxWait per VL3  for last  1s/1m/1h/72h: 0%/0%/0%/30%

      show logging onboard error-stats コマンドには、SAN の輻輳に関連するいくつかの異なるカウンタがあります。これらのカウンタのほとんどは、モジュールまたはスイッチに依存します。tx-credit-not-available または rx-credit-not-available に関する情報については、次のカウンタが使用されます。

    • FCP_SW_CNTR_TX_WT_AVG_B2B_ZERO5、50i、48S、96S

    • F32_MAC_KLM_CNTR_TX_WT_AVG_B2B_ZERO6

    • 100ms の間、インターフェイスの Tx BB_credits が 0 になった回数のカウントです。このカウントは通常、そのインターフェイスにアタッチされているデバイスでの輻輳を示します。

    • FCP_SW_CNTR_RX_WT_AVG_B2B_ZERO5、50i、48S、96S

    • F32_MAC_KLM_CNTR_RX_WT_AVG_B2B_ZERO6

    • 100ms の間、インターフェイスの Rx BB_credits が 0 になった回数のカウントです。このカウントは通常、通信しているデバイスへのパス内の輻輳が原因で、スイッチが、別のスイッチのインターフェイスにアタッチされたデバイスに R_RDY プリミティブを保留していることを示します。

      また、ポート モニターは tx-credit-not-available アラートを生成できます（ファイバチャネルのみ）。詳細については、 ポート モニター セクションを参照します。

  • 過剰使用：Tx データレートおよび Rx データレート カウンタを使用してポート モニターを構成すると、MDS はアラート、syslog エントリを発行し、 logging onboard datarate コマンドの出力にエントリを記録できます。どの MDS 環境でも、過剰使用を判断するために必要なのは Tx データレートのみです。Tx データレートをサポートしない他のタイプのスイッチがある混合環境では、Rx データレートを設定すると、非 MDS スイッチからの入力レートを判断するのに役立ちます。

    Tx データレートと Rx データレートは次のように構成し、アクティブなポート モニター ポリシーに含める必要があります。

    
counter tx-datarate poll-interval 10 delta rising-threshold 80 event 4 falling-threshold 79 event 4
counter rx-datarate poll-interval 10 delta rising-threshold 80 event 4 falling-threshold 79 event 4

      show logging log および show logging onboard datarate コマンドでは、インターフェイスが高い Tx 使用率で実行されていた時間は、上昇しきい値から下降しきい値までの時間です。 

    
switch# show logging log
2018 Aug 24 13:09:07 %PMON-SLOT1-3-RISING_THRESHOLD_REACHED: TX Datarate has reached the rising threshold (port=fc1/4 [0x1003000], value=820766704) .
2018 Aug 24 13:09:09 %PMON-SLOT12-5-FALLING_THRESHOLD_REACHED: TX Datarate has reached the falling threshold (port=fc12/11 [0x158a000], value=34050354) .
2018 Aug 24 13:09:18 %PMON-SLOT1-5-FALLING_THRESHOLD_REACHED: TX Datarate has reached the falling threshold (port=fc1/4 [0x1003000], value=233513787) .
2018 Aug 24 13:09:42 %PMON-SLOT12-3-RISING_THRESHOLD_REACHED: TX Datarate has reached the rising threshold (port=fc12/11 [0x158a000], value=878848923) .
2018 Aug 24 13:10:45 %PMON-SLOT12-5-FALLING_THRESHOLD_REACHED: TX Datarate has reached the falling threshold (port=fc12/11 [0x158a000], value=387111312) .



    
switch# show logging onboard datarate

----------------------------
    Module:  1
----------------------------

---------------------------------
 Module: 1 datarate
---------------------------------

----------------------------
 Show Clock
----------------------------
2018-08-28 15:43:33

---------------------------------
 Module: 1 datarate
---------------------------------
      - DATARATE INFORMATION FROM FCMAC

 ----------------------------------------------------------------------------------
| Interface |  Speed  |     Alarm-types      |   Rate  |         Timestamp         |
 ----------------------------------------------------------------------------------
|  fc1/94   |    4G   |  TX_DATARATE_FALLING |    57%  | Tue Aug 28 15:42:52 2018 |
|  fc1/94   |    4G   |  TX_DATARATE_RISING  |    86%  | Tue Aug 28 15:38:54 2018 |
|  fc1/94   |    4G   |  TX_DATARATE_FALLING |     8%  | Tue Aug 28 15:38:33 2018 |
|  fc1/94   |    4G   |  TX_DATARATE_RISING  |    85%  | Tue Aug 28 15:37:42 2018 |

ポート モニター

  • （ファイバチャネルのみ）：ポート モニターは、さまざまな輻輳関連のカウンタのアラートを生成できます。ポート モニターには、上昇しきい値と下降しきい値と呼ばれる 2 つのしきい値があります。上昇しきい値は、ポートのカウンタが設定されたしきい値に達するか超えた場合です。下限しきい値は、ポートのカウンタが設定値に達するか、またはそれを下回った場合です。イベントごとに、アラートが生成されます。ポートが上昇しきい値と下降しきい値の間にあった時間は、イベントが発生していた時間です。これらのアラートは、すべてのリリースで RMON ログに記録されます。

  • ポート モニターは、tx-datarate および rx-datarate の場合を除いて、さまざまな輻輳カウンタのログに影響を与えません。 過剰使用を検出するための最適な tx-datarate および rx-datarate カウンタ構成については、「過剰使用」セクションを参照してください。

表 1 低速ドレイン状態の検出に役立つ機能について説明します。

表 1. 低速ドレイン検出機能

機能名

説明

ポートモニターの credit-loss-reco カウンタ

credit-loss-reco カウンタは、エッジ ポートで 1 秒間、コア ポートで 1.5 秒間使用できるだけの送信クレジットがない場合にリンクをリセットします。

ポート モニターの invalid-crc カウンタ

Invalid-crc カウンタは、ポートが受信した CRC エラーの総数を表します。

ポートモニターの invalid-words カウンタ

Invalid-words カウンタは、ポートが受信した無効なワードの総数を表します。

ポートモニターの link-loss カウンタ

link-loss カウンタは、ポートで発生したリンク障害の総数を表します。

ポートモニターの lr-rx カウンタ

lr-rx カウンタは、ポートが受信するリンク リセット プリミティブ シーケンスの総数を表します。

ポートモニターの lr-tx カウンタ

lr-tx カウンタは、ポートが送信するリンク リセット プリミティブ シーケンスの総数を表します。

ポートモニターの rx-datarate カウンタ

rx-datarate カウンタは、受信フレーム レートを毎秒のバイト数で表したものです。

ポートモニターの signal-loss カウンタ

signal-loss カウンタは、ポートでレーザーまたは信号の損失が発生した回数を表します。

ポートモニターの state-change カウンタ

state-change カウンタは、ポートが動作可能なアップ状態に移行した回数を表します。

ポートモニターの sync-loss カウンタ

sync-loss カウンタは、Rx でポートの同期が失われた回数を表します。

ポートモニターの tx-credit-not-available カウンタ

tx-credit-not-available カウンタは、100 ミリ秒の期間に使用可能な送信バッファ間クレジットがなかった場合、1 ずつインクリメントします。

ポートモニターの timeout-discards カウンタ

timeout-discards カウンタは、輻輳タイムアウトまたは no-credit-drop タイムアウトのために出力でドロップされたフレームの総数を表します。

ポートモニターの tx-datarate カウンタ

tx-datarate カウンタは、送信フレーム レートを毎秒のバイト数で表したものです。

ポートモニターの tx-discards カウンタ

tx-discards カウンタは、タイムアウト、中止、オフラインなどのために出力時にドロップされたフレームの総数を表します。

ポートモニターの tx-slowport-count カウンタ

tx-slowport-count カウンタは、設定された slowport-monitor タイムアウトの間、ポートによって低速ポート イベントが検出された回数を表します。このカウンタは、第 3 世代モジュールにのみ適用されます。

ポートモニターの tx-slowport-oper-delay カウンタ

tx-slowport-oper-delay カウンタは、ポートで発生した平均クレジット遅延（または R_RDY 遅延）をキャプチャします。値はミリ秒単位です。

ポートモニターの txwait カウンタ

txWait カウンタは、ポートの送信待機時間をカウントする、集約時間カウンタです。送信待機とは、ポートに利用可能な送信クレジットがなく（Tx B2B = 0）、フレームが送信待ちになっている状態です。

ポートモニターの tx-datarate-burst カウンタ

tx-datarate-burst カウンタは、データレートが設定されたしきい値データレートを超えた回数を 1 秒間隔でモニタリングします。

ポートモニターの rx-datarate-burst カウンタ

rx-datarate-burst カウンタは、データレートが設定されたしきい値データレートを超えた回数を 1 秒間隔でモニタリングします。

輻輳回避について

輻輳回避は、輻輳したポートへのフレームのキューイングに起因する輻輳を最小限に抑えるか、完全に回避することに重点を置いています。

Cisco MDS スイッチには、SAN の輻輳を回避するように設計された複数の機能があります。

  • 輻輳ドロップ タイムアウトしきい値（ファイバチャネルおよび FCoE）：輻輳ドロップ タイムアウトしきい値は、キューに入れられたファイバチャネルまたは FCoE フレームが送信を待機してスイッチに留まる時間を決定します。しきい値に達すると、フレームは タイムアウト ドロップとして破棄されます。値が小さいほど、これらのキューに入れられたフレームはより速くドロップされ、その結果バッファが解放されます。これにより、特に ISL で、スイッチの背圧をいくらか緩和できます。デフォルトでは 500 ミリ秒ですが、1 ミリ秒単位で 200 ミリ秒まで構成できます。  system timeout congestion-drop （ファイバ チャネル）および system timeout fcoe congestion-drop FCOE コマンドを使用して構成します。

  • クレジット切れドロップのタイムアウトしきい値（ファイバチャネルのみ）：クレジット切れドロップのタイムアウトしきい値は、ファイバ チャネル ポートの Tx クレジットがゼロになったときに使用されます。ファイバチャネル ポートがゼロ Tx クレジットに達すると、タイマーが開始されます。設定されたしきい値に達すると、そのポートにキューイングされたすべてのフレームは、スイッチでの実際の経過時間に関係なくドロップされます。さらに、ポートの Tx クレジットがゼロのままである限り、新しく到着したすべてのフレームはすぐにドロップされます。これは、特にアップストリーム ISL での輻輳の緩和に劇的な影響を与える可能性があります。これにより、無関係なフローが継続的に移動できます。これはデフォルトです。構成する場合は、構成された（またはデフォルトの）ファイバチャネル輻輳ドロップ タイムアウトよりも低い値に設定する必要があります。これは、 system timeout no-credit-drop コマンドで構成します。エッジ ポートは低速ドレイン デバイスに直接接続されているため、クレジット切れタイムアウト機能はエッジ ポートにのみ使用されます。

  • 一時停止タイムアウトしきい値 （FCoE のみ）： 一時停止タイムアウトしきい値は、FCoE ポートが Rx 一時停止（送信できない）の連続状態にあるときの時間を計測するために使用されます。FCoE ポートが非ゼロ量で PFC 一時停止を受信すると、タイマーが開始されます。ポートが非ゼロ量で PFC 一次停止を受信し続け、一次停止ドロップしきい値の間 Rx 一次停止状態が継続する場合、そのポートにキューイングされたすべてのフレームは、スイッチでの実際の経過時間に関係なくドロップされます。さらに、ポートが Rx 一時停止状態のままである限り、新しく到着したすべてのフレームはすぐにドロップされます。これは、特にアップストリーム ISL での輻輳の緩和に劇的な効果をもたらす可能性があります。これにより、無関係なフローが継続的に移動できます。これはデフォルトでオンになっており、値は 500 ミリ秒です。構成する場合は、構成されている（またはデフォルトの）FCoE 輻輳ドロップ タイムアウトよりも低い値に設定する必要があります。これは、 system timeout fcoe pause-drop コマンド（Cisco MDS NX-OS リリース 8.2（1）以降で使用可能）を介して構成されます。これらのポートは低速ドレイン デバイスに直接接続されているため、FCoE 一次停止ドロップ タイムアウト機能はエッジ ポートにのみ使用されます。

  • フラップおよびエラー ディセーブルのポートガード アクションを使用したポート モニタ：詳細については、 ポート モニタ のセクションを参照してください。

輻輳分離について

輻輳分離機能は、ポート モニターまたは手動構成を介して低速ドレイン デバイスを検出し、ISL 上で正常に実行されている他のデバイスから低速ドレイン デバイスを分離できます。低速ドレイン デバイスへのトラフィックが分離された後、正常に動作している残りのデバイスへのトラフィックは影響を受けません。トラフィックの分離は、次の 3 つの機能を使用して実現されます：

  • 拡張レシーバー レディ：この機能により、サポートするスイッチ間の各 ISL を 4 つの個別の仮想リンクに分割し、各仮想リンクに独自のバッファ間クレジットを割り当てることができます。仮想リンク 0 は制御トラフィックの伝送に使用され、仮想リンク 1 は優先順位の高いトラフィックの伝送に使用され、仮想リンク 2 は低速デバイスの伝送に使用され、仮想リンク 3 は通常のトラフィックの伝送に使用されます。

  • 輻輳分離：この機能により、構成コマンドまたはポート モニターのいずれかによって、デバイスを低速として分類できます。

  • 輻輳分離のためのポート モニター ポートガード アクション：ポート モニターには、デバイスを低速として分類できる新しいポートガード オプションがあり、デバイスに流れるすべてのトラフィックを低速仮想リンクにルーティングできます。

拡張レシーバ準備完了


Note

拡張レシーバ準備完了(ER_RDY)) 機能は、ファイバチャネル スイッチ間リンク（ISL）でのみ、およびこの機能をサポートするスイッチ間でのみ機能します。

ER_RDY プリミティブは、レシーバ準備完了（R_RDY）の代わりに使用されます。ER_RDY プリミティブは、物理リンクを複数の仮想リンク（VL）仮想化します。VL には、個別のバッファツーバッファ クレジットが割り当てられ、物理リンクへのフローを制御します。ER_RDY 機能は、輻輳分離によって使用され、低速フローを低優先度 VL（VL2）と呼ばれる特定の VL にルーティングし、すべての通常フローが影響を受けないようにします。ER_RDY は、最大 4 つの VL をサポートします。

仮想リンクを使用したトラフィック フロー は、良好なフローと低速なフローを管理する VL を示しています。VL0（赤のリンク）は制御トラフィックに使用され、VL1（オレンジのリンク）は高優先度のトラフィックに使用され、VL2（青のリンク）は低速のトラフィックに使用され、VL3（緑のリンク）は通常のデータ トラフィックに使用されます。ホスト H2 で検出された低速フローは自動的に VL2 に割り当てられます。これにより、リンクの輻輳が防止され、ホスト H1 からの良好なフローがフローの優先度に応じて VL1 または VL3 を使用できるようになります。

Figure 1. 仮想リンクを使用したトラフィック フロー

Table 1 は、VL から QoS への優先順位マッピング情報を提供します。QoS 優先が低速フローとして扱われないようにするため、輻輳分離が有効になっているゾーンでゾーン QoS プライオリティを設定するときに、この情報を使用します。

Table 2. 仮想リンクから QoS への優先順位マッピング

仮想リンク

QoSの優先順位

VL0（制御トラフィック）

7

VL1（トラフィックには使用されません）

5、6

VL2（低速トラフィック）

2、3、4

VL3（通常のトラフィック）

0、1

輻輳分離

輻輳分離機能は、VL 機能を使用して、ISL 上の輻輳デバイスへのフローを、通常のトラフィック VL に使用されるバッファ間クレジットよりも少ないバッファ間クレジットを持つ低優先度 VL に分離します。輻輳したデバイスの方向のトラフィックは、優先度の低い VL にルーティングされます。通常のデバイスは、より多くのバッファ間クレジットを持つ通常の VL を引き続き使用します。輻輳したデバイスは、ポート モニターまたは手動で低速としてマークできます。


Note

Cisco MDS NX-OS リリース 8.5(1) より前では、デバイスが輻輳デバイスとして手動でマークされるか、ポート モニターを介して輻輳デバイスとして自動的に検出されると、ファイバチャネル ネーム サーバー（FCNS）データベースでデバイスに輻輳デバイス属性（slow-dev）を登録し、ファブリック全体に情報を配布します。詳細については、次を参照してください。 輻輳分離の構成を参照してください。

Cisco MDS NX-OS リリース 8.5(1) 以降、デバイスが輻輳デバイスとして手動でマークされるか、ポート モニターを介して輻輳デバイスとして自動的に検出されると、輻輳デバイスに関する情報が FPM データベースに表示され、FPM はこの情報をファブリック全体に配布します。詳細については、次を参照してください。 輻輳分離の構成を参照してください。

輻輳分離機能を有効にする前に、次の要件が満たされていることを確認する必要があります。

  • 輻輳分離はファイバチャネル ISL 間でのみ機能するため、フローは ISL を通過する必要があります。

  • ISL またはポートチャネルは、ER_RDY フロー制御モードにする必要があります。

  • ポート モニターで低速デバイスを自動的に検出する場合は、輻輳分離ポート ガード アクション（cong-isolate）を使用するようにポート モニター ポリシーを構成する必要があります。

    必要に応じて、デバイスを輻輳デバイスとして手動で構成できます。

輻輳分離のためのポート モニター ポートガード アクション

cong-isolate port-monitor portguard アクションは、指定されたイベントの上昇しきい値に達した後、ポートを自動的に分離します。


Note

絶対カウンタはポートガード アクションをサポートしていません。ただし、tx-slowport-oper-delay 絶対カウンタは、輻輳分離ポートガード アクション（cong-isolate）をサポートします。

以下は、輻輳分離ポート監視ポートガード アクション（cong-isolate）をトリガーするために使用できるカウンタのリストです。

  • credit-loss-reco

  • tx-credit-not-available

  • tx-slowport-oper-delay

  • txwait

静的な入力ポート レート制限

静的なポートレート制限機能は、 switchport ingress-rate limit コマンドを使用して、個々のファイバチャネルポートの帯域幅を制御できるようにします。ポート レート制限はファイバ チャネル ポートへの入力トラフィックを制御するため、入力レート制限とも呼ばれます。この機能は、FC ポートから隣接デバイスに送信される B2B クレジットのレートを下げることにより、トラフィック フローを制御します。ポート レート制限は、すべてのファイバ チャネル ポートで動作します。Cisco MDS NX-OS リリース 8.5(1) より前では、レート制限の範囲は 1 ～ 100% でした。 デフォルトのレート制限は 100% です。

Cisco MDS NX-OS リリース 8.5（1）以降では、Cisco MDS 9250i および MDS 9148S スイッチを除くすべての Cisco MDS スイッチで、動的または静的な入力ポート レート制限機能を構成する前に、FPM 機能を構成する必要があります。Cisco MDS NX-OS リリース 8.5（1）より前、または Cisco MDS 9250i および MDS 9148S スイッチでは、QoS 機能が有効になっている場合にのみ、すべての Cisco MDS スイッチおよびモジュールで静的入力ポート レート制限を構成できます。

スマート モニタリングおよびアラート（SMA）とは

スマート モニタリングおよびアラート（SMA）は、エラーまたはトラフィックパターンと輻輳の早期検出を行います。SSMA はアラートによって通知を行い、必要なアクションの実行を支援します。SMA は、重要なスイッチのイベントまたは状態をリアルタイムで監視し、検出するのに役立ちます。

SMA 機能は登録ベースの機能です。この機能は、次の場合に登録できます。

  • SMA 機能ステータス通知を受信、

  • スイッチを再起動、または、

  • 機能を有効または無効にする時です。

SMA の利点

利点 説明
ユニファイド モニタリング

単一の機能でスイッチの全側面を監視。
タイムリーな検出

  • カウンタのエラーと異常を検出するため、データ ストリームとシステム属性をリアルタイムで継続的に監視します。

  • 予期しないパターンについては、ポート カウンタとプロトコルカウンタだけが監視されます。
プロアクティブな通知

  • 関心のあるイベントが検出されるたびに、SMA によって通知またはアラートが送信されます。

  • snmp トラップ、システム ログ、 OBFL ログなどのアラート。

容易な構成

  • デフォルト ポリシーやエンティティ グループなどの構成要素を使用して SMA 機能を簡単に構成できます。

システムの正常性の維持

  • SMA は、タイムリーなアクションで、有効にしたスイッチを常に監視して、システムの正常性を維持します

イベントの履歴

  • SMA はイベントの履歴を保持し、全体的なシステムの正常性レポートを提供することを目的としています。

優先順位としきい値のカスタマイズ

  • SMA は、特定の要件に基づいてカスタムのしきい値、優先度、または条件を設定できる柔軟性を提供しています。

  • システムの理解に基づいてしきい値を定義し、

  • ポートごとのモニタリングの構成など、カスタマイズされたモニタリングとアラートを有効にします。

SMA コンポーネントのアーキテクチャの仕組み

SMA アーキテクチャは、さまざまな運用レイヤを監視、管理し、アラートを発するための集中型システムを提供します。

Summary

このプロセスに関与する主要なコンポーネントは次のとおりです。

  • [SMA サーバー（SMA SERVERv）]：データの処理、アクションの管理、通知の生成を担当する中央コンポーネント。

  • [モニター クライアント（Monitor Client(s)）]：モニタリングデータを収集してSMA サーバーに送信するコンポーネント。

  • [アクション クライアント（Action Client(s)）]： SMA サーバーから特定のアクションのコマンドを開始または受信するコンポーネント。

  • [libsma]：クライアントと SMA サーバー間の通信を支援するライブラリ。

  • [SUP（監視レイヤ）]：SMA サーバーとその直接のクライアントが存在する上位レベルの運用レイヤ。

  • [LC（ローカル コンポーネント レイヤ）]：ローカル クライアントと SMA エージェントが中央の SMA サーバーと通信するための下位の運用レイヤ。

  • [LC SMA]：中央の SMA サーバーと通信する LC レイヤ内のローカル SMA エージェントまたはコンポーネント。

  • [アラート、Syslog、トラップ（Alert(s), Syslog, Trap）]：通知とログを出力するために SMA サーバーによって使用されるさまざまなメカニズム。

Result

SMA アーキテクチャにより、分散システムのコンポーネントを包括的に監視、制御することができ、効率的な運用とイベントのタイムリーな通知が実現されます。

SMA ワークフローの動作方法

SMA ワークフローは、インフラストラクチャ内のイベントを管理してモニタし、処理する集中型システムについての記述です。同時に、堅牢なアラート機能も提供します。このプロセスに関与する主要なコンポーネントは次のとおりです。

Summary

  • [SMA （システム管理エージェント）（SMA (System Management Agent)）]： 中央管理エンティティは、統合された監視インフラインフラストラクチャ、簡単な構成オプション、およびイベント履歴の維持を提供します。

  • [構成入力（Config Input）]： SMA へのポリシー設定の提供元で、通常はコマンドライン インターフェイス（CLI）を介して与えます。

  • [モニター クライアント（LC- SMA、ゾーン サーバー、FCNS、F ポート サーバー）（Monitor Clients (LC-SMA, Zone Server, FCNS, F-port Server)）]： 設定の更新を受信してイベント トリガーを送信するために SMA に登録しておく、さまざまなシステムまたはサービス。

  • [アクション クライアント（FPM、ポート マネージャ）（Action Clients (FPM, Port Manager)）]： 特定のアクションを受信して実行するために SMA に登録しておくシステムまたはモジュール。

  • [アラート（Syslog、 SNMP TRAP、 OBFL）（Alerting (Syslog, SNMP TRAP, OBFL)）]： ロギングとアラート生成の通知を送信するためにSMAが使用する外部システムまたはプロトコル。

Result

SMA ワークフローは、インフラストラクチャ管理に対する包括的で一元化されたアプローチを提供し、さまざまなアラートメカニズムによる自動モニタリング、ダイナミック構成、能動的イベント処理、効率的な通知を可能にします。

SMA ポリシー アーキテクチャの仕組み

ポリシー アーキテクチャは、システムとネットワークの動作を管理するルールを定義して適用するための構造化されたフレームワークを提供します。要素を論理的なグループに編成して、特定のモニタリング条件を自動化されたアクションに関連付けます。

Summary

このプロセスに関与する主要なコンポーネントは次のとおりです。

  • [ポリシー（Policy）]：システムまたはネットワークの動作を管理するためのルールと応答を定義する、包括的なフレームワーク。

  • [エンティティグループ（Entity Group）]：特定のモニタリングルールとアクションルールが適用されるネットワーク要素またはシステム（エッジポート、コアポート、システムなど）の論理的な集合。

  • [モニター グループ（Monitor Group）]：特定の状態またはイベント（低速ドレイン、リンクの完全性、設定の規模、環境など）を検出するためにエンティティグループ内で継続的に観察される、一連の事前定義された条件またはメトリック。

  • [アクション グループ（Action Group）]：モニター グループによって定義された条件（FPIN、Syslog、ポート ガード、トラップなど）が満たされたときにトリガーされる、自動応答または操作のコレクション。

Result

ポリシー アーキテクチャは、モジュール的でスケーラブルな自動化されたアプローチを使用して、さまざまなネットワークおよびシステム エンティティ全体でイベントを管理および対応できるようにします。これにより、ルールの適用の一貫性と効率的な運用制御が保証されます。

サポートされるハードウェア

SMAは、次の MDS スイッチでサポートされます：

  • Cisco MDS 9700 48 ポート 64 Gbps ファイバ チャネル スイッチ

  • Cisco MDS 9700 48 ポート 32 Gbps ファイバ チャネル スイッチ

  • Cisco MDS 9396T 32 Gbps 96 ポート ファイバ チャネル スイッチ

  • Cisco MDS 9132T 32-Gbps 32 ポート ファイバ チャネル スイッチ

  • Cisco MDS 9148T 32-Gbps 48 ポート ファイバチャネル スイッチ

  • Cisco MDS 9124V 64-Gbps 24 ポート ファイバ チャネル スイッチ

  • Cisco MDS 9148V 64 Gbps 48 ポート ファイバ チャネル スイッチ

  • Cisco MDS 9396V 64-Gbps 96 ポート ファイバ チャネル スイッチ

  • Cisco MDS 9220i

  • Cisco MDS 9000 24/10-ポート SAN 拡張モジュール（Cisco MDS 9700 シリーズ マルチレイヤ ダイレクタ向け）

サポートされるソフトウェア

SMA は以下でサポートされています：

  • Cisco MDS 9000 NX-OS リリース 9.4（4）

  • Cisco MDS 9000 NX-OS リリース 9.4（3）

  • Cisco MDS 9000 NX-OS リリース 9.4（2a）

  • Cisco MDS 9000 NX-OS リリース 9.4（1）

PMON 機能の SMA 機能への移行

PMON を SMA に移行できるようになりました。

移行コマンド

次のコマンドを使用して、PMON を SMA に移行します。

PMONmigratetoSMA [--src PMON-policy-name] [--dst SMA-policy-name] [--protocol-counters]
移行に関するガイドライン

移行に関するガイドラインは次のとおりです。

  • PMON ポリシーを SMA ポリシーに移行すると、新しいユーザー定義の SMA ポリシーが作成されます。

  • スイッチで使用可能な PMON ポリシーがない場合、SMA ポリシーは作成できません。

  • 移行された SMA ポリシーは、移行中に PMON ポリシーがアクティブになっていても、デフォルトではアクティブになりません。

  • SMA ポリシー名は 64 文字を超えることはできないため、PMON ポリシー名が 64 文字未満であることを確認してください。

PMON から SMA への移行

PMON ポリシーを SMA ポリシーに移行すると、PMON から SMA へのカウンタが移行されます。次の表は、PMON カウンタから SMA カウンタへのマッピングを示しています。

SMAカウンタにマッピングされた PMON カウンタ
表 3. PMON から SMA カウンタへのマッピング
PMON カウンタ名 SMA カウンタ名

リンク損失

link-loss

同期の喪失

sync-loss

信号損失

signal-loss

無効な単語

rx-invalid-words

無効な CRC

rx-invalid-crc

状態の変化

state-change

Tx 廃棄

tx-discards

LR RX

rx-lr

LRTX

tx-lr

タイムアウト破棄

tx-timeout-discards

クレジット損失 Reco

credit-loss-recovery

TX クレジットが利用できません

tx-credit-not-available

RX データ速度

rx-datarate

TX データ速度

tx-datarate

TX-Slowport-Oper-Delay

tx-slowport-oper-delay

TxWait

tx-wait

Rx データレート バースト

rx-datarate-burst

Tx データレート バースト

tx-datarate-burst

入力エラー

rx-input-errors

SFP TX 電力低下警告

tx-xcvr-power-low-warning

SFP RX 電力低下警告

rx-xcvr-power-low-warning

ポートからの ASIC エラーパケット

同等のカウンタはありません。

xbar への ASIC エラーパケット

同等のカウンタはありません。

xbar からの ASIC エラー パケット

同等のカウンタはありません。

tx-slowport-count

同等のカウンタはありません。

PMON：アラート

SMA：アラート

syslog

syslog

rmon

snmp-trap

イベント

severity-level

PMON：PortGuard

SMA - アクション

FPIN

fpin-congestion/fpin-link-integrity

DIRL

DIRL

cong-isolate

congestion-isolate

cong-isolate-recover

congestion-isolate

errordisable

error-disable

フラップ

フラップ
カウンタ マッピングに関するガイドラインと制約事項

  • XBAR カウンタは PMON ポリシーから SMA ポリシーに移行されません

  • tx-slowport-count カウンタは、ハードウェアの SMA でサポートされていないため、移行されません。

  • SMAの tx-slowport-oper-delay カウンタに使用できる期間はありません。

  • tx-slowport-oper-delay カウンタを除き、いずれかのカウンタに PMON ポリシーのしきい値タイプとして絶対値がある場合、移行されたSMAポリシーでは、同じカウンタが同じ設定の定期カウンタとして設定されます。

  • 同じアクション/アラートを持つデフォルトのアクション グループが SMA に存在する場合、ユーザー定義のアクション グループは作成されず、同じアクションが使用されます。

  • PMON ポリシーを SMA ポリシーに移行する際、デフォルトのエンティティ グループが使用されます。

  • PMON で、ポーリング間隔が 600 を超える場合、移行された SMA ポリシーでは 600 にマッピングされます。

  • 移行された SMA ポリシーでは、アラームのパーセンテージは PMON オプション パラメータにマッピングされます [割合（Percentage）] の SFP カウンタ、および下降パーセンテージは 50% になります。下限しきい値に対する SMA の変更範囲は 49 ～ 149 です。

  • PMON 設定の上昇および下降しきい値カウントは無視されます。

  • 警告しきい値が PMON でサポートされていない場合、移行された SMA ポリシーでは、警告しきい値は設定されません。

輻輳管理の注意事項と制限事項

輻輳回避の注意事項と制限事項

  show tech-support slowdrain コマンドには、輻輳検出表示、カウンタ、およびログ メッセージのすべてと、スイッチ、MDS NX-OS バージョン、およびトポロジを理解できるその他のコマンドが含まれています。輻輳は 1 つのスイッチから別のスイッチに伝播する可能性があるため、輻輳がどこから始まってどのように広がったかを最もよく把握するには、ほぼ同時にすべてのスイッチから show tech-support slowdrain コマンドを収集する必要があります。これは、 [ツール（Tools）]-> [CLI の実行（Run CLI）] 機能を使用して、DCNM SAN クライアント経由で簡単に実行できます。この機能は、ファブリック内のすべてのスイッチにコマンドを発行し、個々のスイッチの出力ファイルを単一のファブリック zip ファイルに統合します。

コマンドの中には、 show interface counters コマンドなど単純なカウンタを表示するものもあれば、日付とタイム スタンプを伴うカウンタ情報を表示するものもあります。日付とタイム スタンプを伴うカウンタを表示するコマンドは、ほとんどが show logging onboard コマンドです。

show logging onboard には、スロー ドレインと過剰使用に関する情報を含む、さまざまな セクション があります。ほとんどの セクション は定期的に更新されますが、前の間隔で実際に変更があった場合にのみカウンタが含まれます。更新期間はセクションごとに異なります。その内容は次のとおりです。

  • Error-stats：日付とタイム スタンプを伴う多くのエラー カウンタを含みます。

  • Txwait：20 秒間隔で 100 ミリ秒以上の TxWait を記録するインターフェイスが含まれます。表示される値は、TxWait の現在の値ではなく、前の 20 秒間隔からの差分のみです。TxWait が 100 ミリ秒未満の分だけインクリメントされた場合、エントリは含まれません。

  • Rxwait：20 秒間隔で 100 ミリ秒以上の RxWait を記録するインターフェイスが含まれます。表示される値は、RxWait の現在の値ではなく、前の 20 秒間隔からの差分のみです。RxWait が 100 ミリ秒未満の分だけインクリメントされた場合、エントリは含まれません。

間隔内でカウンタが増加すると、カウンタの現在値が、カウンタがチェックされた日時とともに表示されます。間隔内でカウンタがインクリメントした量、デルタ値を決定するには、前に記録された値から現在の値を差し引く必要があります。

たとえば、次の show logging onboard error-stats 出力は、カウンタが 01/12/18 11:37:55 にチェックされたとき、ポート fc1/8 のタイムアウト ドロップ カウンタ F16_TMM_TOLB_TIMEOUT_DROP_CNT の値が 743 であったことを示しています。前回インクリメントしたのは 12/20/17 06:31:47 で 626 の値でした。これは、error-stats 間隔が 20 秒であるため、01/12/18 11:37:35 と 01/12/18 11:37:55 の間で、カウンタが 743 – 626 = 117 フレームだけインクリメントされることを意味します。2018 年 1 月 12 日 11:37:55 で終了する 20 秒間のタイムアウト ドロップで 117 個のフレームが破棄されました。 


switch# show logging onboard error-stats

----------------------------
 Show Clock
----------------------------
2018-01-24 15:01:35

---------------------------------
 Module: 1 error-stats
---------------------------------


----------------------------------------------------------------------------------------------
 ERROR STATISTICS INFORMATION FOR DEVICE DEVICE: FCMAC
----------------------------------------------------------------------------------------------
    Interface      |                                          |         |    Time Stamp
      Range        |                Error Stat Counter Name   |  Count  |MM/DD/YY HH:MM:SS
                   |                                          |         |
----------------------------------------------------------------------------------------------
fc1/8              |F16_TMM_TOLB_TIMEOUT_DROP_CNT             |743      |01/12/18 11:37:55
fc1/8              |F16_TMM_TOLB_TIMEOUT_DROP_CNT             |626      |12/20/17 06:31:47
fc1/5              |F16_TMM_TOLB_TIMEOUT_DROP_CNT             |627      |12/20/17 06:31:47
fc1/3              |F16_TMM_TOLB_TIMEOUT_DROP_CNT             |556      |12/20/17 06:31:47
fc1/8              |F16_TMM_TOLB_TIMEOUT_DROP_CNT             |623      |12/20/17 04:05:05

輻輳回避の注意事項と制限事項

システム タイムアウトの輻輳ドロップのデフォルト値は 500 ミリ秒です。この値は 200 ミリ秒まで安全に減らすことができます。

システム タイムアウトの no-credit-drop は、デフォルトで無効になっています。この機能を構成すると、ファブリックの低速ドレインの影響が軽減されます。ただし、低すぎる値に構成すると、中断が発生する可能性があります。デバイスが短期間でもクレジットを保留すると、多くのフレームが破棄されるため、中断が発生します。値が小さいほど、アップストリーム ISL からこの（低速）ポートへのキューに入れられたフレームの廃棄がより速く始まる可能性があります。これにより、その ISL の背圧つまり輻輳が緩和され、正常に動作している他のデバイスが動作を継続できるようになります。選択される実際の値は、ファブリックと実装に依存します。

次に、システム タイムアウトのノークレジットドロップ値を選択するためのガイドラインをいくつか示します：

  • 200 ミリ秒：ほとんどのファブリックで安全な値

  • 100 ミリ秒：積極的な値

  • 50 ミリ秒：非常に積極的な値

一般に、no-credit-drop 値を構成する前に、ゼロ Tx クレジットで多数の連続時間が生じているかどうかスイッチをチェックする必要があります。  show logging onboard start time mm/dd/yy-hh:mm:ss error-stats コマンドを実行して、ゼロ クレジットで 100 ミリ秒間隔を示す FCP_SW_CNTR_TX_WT_AVG_B2B_ZERO カウンタのインスタンスを探すことができます。また、 port-monitor tx-credit-not-available および show system internal snmp credit-not-available コマンドは同様の情報を表示します。ファブリックがゼロ Tx クレジットで 100 ミリ秒をごくわずかしか示さない場合にのみ、no-credit-drop を検討してください。ゼロ Tx クレジットで 100 ミリ秒のポートが多数ある場合は、no-credit-drop を構成する前に、それらのエンド デバイスの問題を調査して解決する必要があります。


（注）  

no-credit-drop は、 logical-type エッジに分類されるポートに対してのみ構成できます。これらは通常 F ポートです。

slowport-monitor が構成されている場合は、no-credit-drop よりも小さい値にする必要があります。これは、少なくとも構成された時間、ポートにクレジットがなく、さらに送信用にキューに入れられたフレームがある場合にのみ、低速ポートの問題が生じるためです。no-credit-drop は送信のためにキューに入れられたフレームをすべてドロップするため、no-credit-drop を slowport-monitor 以下の値に構成した場合、送信のためにキューに入れられたフレームはなくなってしまい、slowport-monitor は遅いポートの問題を検出できなくなります。

輻輳の分離に関する注意事項と制限事項

拡張レシーバー準備完了

  • ER_RDY は、以下のデバイスのファイバチャネル ポートでのみサポートされています：

    • Cisco MDS 9000 シリーズ 24/10 SAN 拡張モジュール（DS-X9334-K9）（ファイバ チャネル ポートのみ）

    • Cisco MDS 9700 16 Gbps ファイバチャネル スイッチング モジュール（DS-X9448-768K9）を搭載した Cisco MDS 9700 シリーズ

    • Cisco MDS 9700 48-Port 32-Gbps Fibre Channel Switching Module（DS-X9648-1536K9）

    • Cisco MDS 9700 64 Gbps ファイバチャネル スイッチング モジュール（DS-X9748-3072K9）を搭載した Cisco MDS 9700 シリーズ

    • Cisco MDS 9396S 16G マルチレイヤ ファブリック スイッチ

    • Cisco MDS 9132T 32-Gbps 32-Port Fibre Channel Switch

    • Cisco MDS 9148T 32-Gbps 48 ポート ファイバチャネル スイッチ

    • Cisco MDS 9220i マルチサービス ファブリック スイッチ

    • Cisco MDS 9396T 32 Gbps 96 ポート ファイバチャネル スイッチ

    • Cisco MDS 9124V 64-Gbps 24 ポート ファイバ チャネル スイッチ

    • Cisco MDS 9148V 64 Gbps 48 ポート ファイバ チャネル スイッチ

  • サポートされているスイッチとサポートされていないスイッチで構成されるファブリック（混合ファブリック）では、この機能が効果的に機能しない場合があります。混合ファブリックでは、ER_RDY フロー制御モードはサポートされているスイッチ間でのみ使用され、サポートされていないスイッチ間では R_RDY フロー制御モードが使用されます。

  • ER_RDY フロー制御モードを機能させるには、トポロジ内のすべての ISL でトランキングを有効にする必要があります。

  • ローカル スイッチとその隣接スイッチの両方で system fc flow-control er_rdy コマンドを構成した後、スイッチを接続している ISL をフラップして、ISL を ER_RDY フロー制御モードにする必要があります。ポート チャネルでは、これらのリンクを 1 つずつフラップして、接続の損失を防ぐことができます。

  •   system fc flow-control er_rdy コマンドを使用して Cisco MDS NX-OS リリース 9.3（1）より前のリリースで ER_RDY を有効にしていて、Cisco MDS NX-OS リリース 9.3（1）にアップグレードすると、実行構成はこのコマンドを system fc flow- control er_rdy logical-type core のように表示します。

  • 移行の目的で、ポート チャネルは、R_RDY および ER_RDY フロー制御モードの両方のメンバー リンクを持つことができます。これは、R_RDY から ER_RDY フロー制御モードへの中断のない変換を容易にするためです。この矛盾した状態は、R_RDY から ER_RDY フロー制御モードへの変換を終えたら、直ちに解消してください。

  • VSAN 間ルーティング（IVR）、ファイバチャネル リダイレクト（FCR）、Fibre Channel Over TCP/IP（FCIP）、Fibre Channel over Ethernet（FCoE）は、ER_RDY フロー制御モードではサポートされていません。

  • Cisco MDS NX-OS リリース 8.5(1) 以降では、IOD の使用を、アウトオブオーダーのフレーム配信をサポートできない環境の場合に限ってください。インオーダー デリバリ（IOD）を実現するには、 in-order-guarantee vsan id を使用して IOD を有効にします。フローが通常の VL から低速 VL に、またはその逆に移動すると、IOD 機能を実現するためにトラフィックの中断が発生する可能性があります。ロスレス IOD は保証されません。

    Cisco MDS NX-OS リリース 8.5（1）より前のリリースでは、フロー制御モードが最初に ER_RDY に設定されているとき、およびデバイスのフローが 1 つの VL から別の VL に移動されるときに、インオーダー デリバリ（IOD）が影響を受ける可能性があります。

  • ファブリック内で Cisco MDS NX-OS リリース 8.1（1）より前のリリースを実行しているスイッチは、低速デバイスを認識しません。Cisco MDS NX-OS リリース 8.1（x）以降にアップグレードすると、これらのスイッチは低速デバイスを認識します。

  • を使用してバッファ間クレジットを構成している場合 switchport fcrxbbcredit value コマンドを使用してバッファ間クレジットを構成し、Cisco MDS NX-OS リリース 8.1（1）にアップグレードし、フロー制御モードを ER_RDY に構成すると、すでに構成されているバッファ間クレジットが、次の方法で VL に配布されます。

    • 構成されているバッファ間クレジット値が 50 の場合、デフォルトのバッファ間クレジット値として 5、1、4、および 40 が、それぞれ VL0、VL1、VL2、および VL3 に割り当てられます。

    • 構成されているバッファ間クレジットの値が 34 より大きく 50 未満の場合、バッファ間クレジットは 5：1：4：40 の比率で分配されます。

    • 構成されているバッファ間クレジットの値が 50 を超える場合、デフォルト値の 5、1、4、および 40 がそれぞれ VL0、VL1、VL2、および VL3 に割り当てられます。残りのバッファ間クレジットは、15：15：40：430（VL0：VL1：VL2：VL3）の比率で分配されます。

    • Cisco MDS NX-OS リリース 8.1(1) にアップグレードしている場合、または使用している場合、ER_RDY が有効になっていて、構成されているバッファ間クレジット値が 34 未満だと、制御レーン（VL0）の割り当てが 0 クレジットになるため、VL は初期化状態でスタックします。この状況から回復するには、リンクをシャットダウンし、 switchport fcrxbbcredit value コマンドを使用して34以上のバッファ間クレジットを割り当てるか、 switchport vl-credit vl0 value vl1 value vl2 value vl3 value コマンドを使用して少なくとも1つのバッファ間クレジットをVL0に割り当てます。


    Note

    VL 用に構成されたバッファ間クレジットの合計は、500 を超えることはできません。

  • ​ switchport fcrxbbcredit value mode E コマンドを使用してバッファ間クレジットを構成し、 switchport vl-credit vl0 value vl1 value vl2 value vl3 value コマンドを使用してVLの新しいバッファ間クレジット値を設定した場合、VLに設定されたバッファ間クレジットの合計が switchport fcrxbbcredit value mode E コマンドにプッシュされます。

  • ​ no switchport fcrxbbcredit value または switchport vl-credit default コマンドを使用して、VL のバッファ間クレジットのデフォルト値を設定してください。

  • Cisco MDS NX-OS リリース 7.3（x）以前で、 switchport fcrxbbcredit extended value を使用して拡張バッファ間クレジットを構成し、Cisco MDS NX-OS リリース 8.1（1）にアップグレードして、フロー制御モードを ER_RDY に構成した場合、すでに構成されている拡張バッファ間クレジットは、次の方法で VL に配布されます。

    • 構成されているバッファ間クレジット値が 50 未満の場合、最小値 5、1、4、および 40 がそれぞれ VL0、VL1、VL2、および VL3 に割り当てられます。

    • 構成されているバッファ間クレジットの値が 34 より大きく 50 未満の場合、バッファ間クレジットは 5：1：4：40 の比率で分配されます。

    • 構成されているバッファ間クレジットの値が 50 を超える場合、最小値の 15、15、4、および 430 がそれぞれ VL0、VL1、VL2、および VL3 に割り当てられます。残りのバッファ間クレジットは、30：30：100：3935（VL0：VL1：VL2：VL3）の比率で分配されます。

    • Cisco MDS NX-OS リリース 8.1(1) にアップグレードしている場合、または使用している場合、ER_RDY が有効になっていて、構成されているバッファ間クレジット値が 34 未満だと、制御レーン（VL0）の割り当てが 0 クレジットになるため、VL は初期化状態でスタックします。この状況から回復するには、リンクをシャットダウンし、 switchport fcrxbbcredit value コマンドを使用して 34 以上のバッファ間クレジットを割り当てるか、 switchport vl-credit vl0 value vl1 value vl2 value vl3 value コマンドを使用して VL0 に少なくとも1つのバッファ間クレジットを割り当てます。


    Note

    VL 用に構成された拡張バッファ間クレジットの合計は、Cisco MDS 9700 16 Gbps ファイバチャネル スイッチング モジュールでは 4095、Cisco MDS 9700 48 ポート 32 Gbps ファイバチャネル スイッチング モジュール、MDS 9132T、MDS 9148T、MDS 9220i、および MDS 9396T スイッチでは 8191 を超えることはできません。

  • 拡張バッファ間クレジットを構成した後は、通常のバッファ間クレジットを構成することは構成できません。まず、 no fcrxbbcredit extended enable コマンドを使用して拡張バッファ間クレジットを無効にし、次に通常のバッファ間クレジットを設定する必要があります。

  • 1 つのリンクが拡張バッファ間クレジット モードで実行されている場合でも、拡張バッファ間クレジット構成を無効にすることはできません。

  • ER_RDY は、速度が 10 Gbps に設定されているインターフェイスではサポートされていません。

  • ER_RDY 機能は、デフォルトでは無効にされています。すべてのポートのデフォルトのフロー制御モードは R_RDY です。

  • ハードウェアがサポートしていないため、ER_RDY パケットに F_CTL（17）ビットを設定できません。

輻輳分離

  • 輻輳分離はデフォルトで無効になっています。

  • 輻輳分離のポート モニター ポートガード アクションは、E（コア）ポートではサポートされていません。したがって、 logical-type エッジ ポート モニター ポリシーの作成

  • 輻輳分離とその構成は、構成中のスイッチにのみ適用でき、ファブリック全体には適用できません。

  • ER_RDY フロー制御モードを使用しているファブリックに追加する前に、サポートされているスイッチで ER_RDY および輻輳分離機能を有効にすると、サポートされているスイッチとその隣接スイッチの間に接続されている ISL は、自動的に ER_RDY フロー制御モードになります。また、リンクが ER_RDY フロー制御モードを使用するために、スイッチ上のリンクをフラップする必要はありません。

  • サポートされているスイッチとサポートされていないスイッチで構成されるファブリックでは、サポートされているスイッチ間でのみ輻輳分離が機能します。サポートされていないデバイス間の輻輳分離機能の結果は予測できません。

  • デバイスが低速であると検出されると、低速デバイスの方向に向かうトラフィックのみが低優先度の VL（VL2）にルーティングされます。逆方向のトラフィックは低速として分類されず、影響を受けません。

  • Cisco MDS NX-OS リリース 8.5(1) より前では、低速デバイスが検出されるか、デバイスが低速として構成されると、スイッチは、輻輳分離機能をサポートできる他のすべてのスイッチに、FCNS 通知を送信します。また、この機能が有効になっていない可能性のあるスイッチにも送信します。スイッチがこの機能をサポートできるが、有効になっていない場合、FCNS 通知は拒否され、次のメッセージが発信元のスイッチに表示されます。

    • %FCNS-2-CONGESTION_ISOLATION_FAILURE: %$VSAN vsan-id%$ SWILS-RJT received from domain domain-id for congestion-isolation（SWILS-RJT を輻輳分離に関してドメイン domain-id から受信しました）. Issue includes CLI/FCNS DB refresh on the remote domain（問題には、リモート ドメインでの CLI/FCNS DB の更新が含まれます）

    • %FCNS-2-CONGESTION_ISOLATION_INT_ERROR: %$VSAN 237%$ Error reason: Congestion-Isolation disabled on the remote domain（エラーの理由: リモート ドメインで輻輳分離が無効になっています）Please enable the feature on the remote domain（リモート ドメインで機能を有効にしてください）

    輻輳分離機能が対象のすべてのスイッチで設定されている場合、これらのメッセージは悪影響を及ぼさず、無視してかまいません。たとえば、Cisco MDS スイッチが FCoE ISL を介して接続されている場合、輻輳分離機能はこのスイッチには適用されず、これらのメッセージは無視できます。ただし、メッセージが表示されないように、ER_RDY および輻輳分離機能を FCoE 接続スイッチで構成することができます。

  • 図 は、スイッチ SW1 に接続された複数のターゲットと、スイッチ SW2 に接続された 2 つのホスト（ホスト H1 とホスト H2）を持つファブリックを示しています。ホスト H1 と H2 の両方が、T1 から T4 の 4 つのターゲットすべてでゾーニングされています。ホスト H2 が低速デバイスとして検出されました。ターゲットからホスト H2 へのトラフィックは低速としてマークされ、VL2 にルーティングされます。VL2 のバッファ間クレジットが少なく、ホスト H2 自体が SW2 からのバッファ間クレジットを保留しているため、SW1 から SW2 への VL2 上のトラフィックは、ホスト H2 が受信できるものによって制限されます。この結果、スイッチ SW1 は、T1 から T4 の 4 つのターゲットすべてからのバッファ間クレジットを保留します。これは、ターゲットから任意の宛先に送信されるすべてのトラフィックに影響します。その結果、ホスト H1 など、ターゲットでゾーニングされた他のホストにも、トラフィックが影響を受けることになります。これは予期された動作です。このような状況では、トラフィックが正常に流れるように、低速ドレインの状態を解決します。

    Figure 2. 複数のターゲットが接続されている場合のトラフィック フロー

  • ゾーン内で、ゾーンの QoS 優先度が中に設定され、ゾーン内のスイッチで輻輳の分離が有効になっている場合、ゾーンの QoS 優先度が中のトラフィックは低速として扱われ、輻輳の分離はトラフィックを低優先度の VL にルーティングします（VL2）。この状況を回避するには、ゾーンの QoS 優先度を低または高に設定します。

  • 複数のファブリック ログイン（FLOGI）を伝送する Cisco NPV スイッチへのリンクが低速デバイスとして検出されると、Cisco NPV スイッチに接続されているすべてのデバイスが低速デバイスとしてマークされます。

  • 輻輳分離および輻輳分離回復機能を有効にすると、サポートされているリリースからサポートされていないリリースへのダウングレードは無効になります。サポートされていないリリースにダウングレードするには：

    1. ポート モニター ポリシーで cong-isolate または cong-isolate-recover ポート モニター ポートガード アクションが構成されている場合は、そのアクションをポリシーから削除します。

    2. 低速ドレイン デバイスとして手動で含めたり除外したりしたデバイスをすべて削除します。

    3. 輻輳分離機能を無効にします。

    4. フロー制御モードを R_RDY にリセットします。

    5. すべての ISL をフラップします。

    6. 現在 R_RDY モードで機能している ISL を表示します。

    7. 現在 ER_RDY モードで機能している ISL を表示します。


Note

ポート モニターは、特定の上昇しきい値に達すると低速デバイスを検出し、スイッチの輻輳分離機能をトリガーして、その低速デバイスへのトラフィックを低速仮想リンク（VL2）に移動します。スイッチは、輻輳分離からデバイスを自動的に削除しません。これは、低速デバイスの問題を特定して解決してから、手動で行う必要があります。

ガイドライン

SMA 機能については、次のガイドラインに従ってください。

  • SMA はデフォルトで有効になっています。SMA を無効にすることはできません。

  • SMA では、最大 5 つのポリシー（1 つのデフォルトと 4 つのユーザー定義）がサポートされます。

  • SMA プロセスは、コア スイッチと NPV スイッチの両方でサポートされます。

制限事項

SMA の機能には次の既知の制約事項と制限事項があります。

  • 最大 13K エントリまで蓄積される履歴を保存するための 1MB のメモリ

  • 予期しないパターンについては、ポート カウンタとプロトコルカウンタだけが監視されます。

  • Tx-OverUtilization カウンタは、MDS 9700 シリーズの MDS 24/10 ポート SAN 拡張モジュールではサポートされていません。

  • FPIN および DIRL ポートガードアクションは NPV ではサポートされていません

  • 以下の PMON カウンタはサポートされていません。

    • ポートからの ASIC エラー パケット

    • xbar への SIC エラー パケット

    • xbar からの ASIC エラー パケット

  • PMON カウンタ TX-Slowport-Oper-Delay はしきい値タイプ絶対値で監視されますが、 SMA ではカウンタしきい値タイプは差分値になります。

輻輳管理の設定

輻輳検出の構成

輻輳検出に使用されるほとんどの機能はデフォルトで有効になっており、追加の構成は必要ありません。これらの機能には、txwait、rxwait、インターフェイス プライオリティ フロー制御、OBFL エラー統計、および tx-credit-not-available が含まれます。次の輻輳検出機能を構成できます。

表 20 の「モジュールとスイッチのサポート」セクションに含まれるモジュールとスイッチ。

  • 16 Gbps モジュールまたはスイッチ:

    • Cisco MDS 9700 シリーズ 16 Gbps ファイバチャネル モジュール（DS-X9448-768K9）

    • Cisco MDS 9000 シリーズ 24/10 SAN 拡張モジュール（DS-X9334-K9）

    • Cisco MDS 9250i ファブリック スイッチ

    • Cisco MDS 9148S ファブリック スイッチ

    • Cisco MDS 9396S ファブリック スイッチ

  • 10 Gbps FCoE モジュール

    • Cisco MDS 9700 48 ポート 10 Gbps Fibre Channel over Ethernet（DS-X9848-480K9）

  • 40 Gbps FCoE モジュール

    • Cisco MDS 9700 40 Gbps 24 ポート Fibre Channel over Ethernet モジュール（DS-X9824-960K9）

ファイバー チャネルの低速ポート モニターのタイムアウト値の構成

低速ポート モニター機能は、フレームをドロップしないことを除いて、クレジットなしのフレーム タイムアウトおよびドロップ機能に似ており、適格なイベントのみを記録します。ファイバチャネルの出力ポートに、低速ポート モニターのタイムアウト期間中に継続して送信クレジットがない場合、イベントがログに記録されます。クレジットなしのフレーム タイムアウト期間に達し、クレジットなしのフレーム タイムアウト ドロップが有効になっていない限り、フレームはドロップされません。クレジットなしのフレーム タイムアウト ドロップが有効になっていない場合、輻輳フレーム タイムアウト期間に達するまでフレームはドロップされません。

低速ポート モニターは、ポート モニターを介してアラートと syslog メッセージを生成することもできます。

低速ポート モニターのタイムアウト値を構成するには、次の手順を実行します：

Procedure

Step 1

次の構成モードを入力します：

switch# configure terminal

Step 2

低速ポート モニターのタイムアウト値を指定します：

低速ポート モニター タイムアウトの有効な値は次のとおりです：

  • 32 Gbps および 16 Gbps のモジュールまたはスイッチ：1 ミリ秒単位で 1 ～ 500 ミリ秒。

（オプション）指定されたポート タイプのデフォルトの低速ポート モニター タイムアウト値（50 ミリ秒）に戻します：

（オプション）低速ポート モニターを無効にします：

ポート モニター用の低速ポート モニターの構成

低速ポート モニターは、tx-slowport-oper-delay カウンタを介してポート モニターで構成できます。また、 system timeout slowport-monitor コマンドには、tx-slowport-oper-delay 上昇しきい値以下の値を設定する必要があります。ポート モニターの論理タイプも system timeout slowport-monitor logical-type コマンドと一致する必要があります。そうでないと、tx-slowport-oper-delay に対してポート モニター アラートが生成されません。

ポート モニターでの送信平均クレジット使用不可期間のしきい値とアクションの構成

Cisco MDS は、送信クレジットがゼロのポートを 100 ミリ秒以上監視します。これは、送信平均クレジット使用不可期間と呼ばれます。ポート モニター機能では、TX クレジット使用不可カウンタを使用してこれを監視できます。送信平均クレジット使用不可期間がポート モニター ポリシーで設定されたしきい値を超えると、インターフェイスの詳細を含む SNMP トラップが送信され、とともに送信平均クレジット使用不可期間イベントを示され、syslog メッセージも記録されます。さらに、次のイベントが構成することができます。

  • 警告メッセージが表示されます。

  • ポートはエラー ディセーブル状態になることがあります。

  • ポートはフラップすることがあります。

ポート モニター機能は、しきい値とアクションを設定するための CLI を提供します。しきい値の構成は、間隔のパーセンテージとして構成されます。しきい値のパーセント値は 10 の倍数で 0 から 100%、間隔は 1 秒から 1 時間です。デフォルトは 1 秒間隔の 10% であり、transmit-average-credit-not-available 期間が 100 ミリ秒に達すると、SNMP トラップと syslog メッセージが生成されます。

次のエッジ ポート モニター ポリシーは、デフォルトでアクティブです。デフォルトでは、コア ポートに対して有効なポート監視ポリシーはありません。

switch# show port-monitor slowdrain

Policy Name  : slowdrain
Admin status : Not Active
Oper status  : Not Active
Port type    : All Edge Ports
--------------------------------------------------------------------------------------------------------------------------------------------------------------------
|         Counter         | Threshold  | Interval |      Warning       |     Thresholds      |             Rising/Falling actions              | Congestion-signal |
|                         |    Type    |  (Secs)  |--------------------|---------------------|-------------------------------------------------|-------------------|
|                         |            |          | Threshold | Alerts |  Rising  | Falling  | Event |     Alerts       |     PortGuard        | Warning | Alarm   |
--------------------------------------------------------------------------------------------------------------------------------------------------------------------
| Credit Loss Reco        | Delta      | 1        | none      | n/a    | 1        | 0        | 4     | syslog,rmon      | none                 | n/a     | n/a     |
| TX Credit Not Available | Delta      | 1        | none      | n/a    | 10%      | 0%       | 4     | syslog,rmon      | none                 | n/a     | n/a     |
| TX Datarate             | Delta      | 10       | none      | n/a    | 80%      | 70%      | 4     | syslog,rmon      | none                 | n/a     | n/a     |
--------------------------------------------------------------------------------------------------------------------------------------------------------------------

次の例は、tx-credit 使用不可しきい値を 200 ミリ秒に設定して、slowdrain ポリシーと同様の新しいポリシーを構成する方法を示しています。


Note

デフォルトの slowdrain ポート モニター ポリシーは変更できません。したがって、新しいポリシーを構成する必要があります。 


switch# configure
switch(config)# port-monitor name slowdrain_tx200ms
switch(config-port-monitor)# logical-type edge
switch(config-port-monitor)# no monitor counter all
switch(config-port-monitor)# monitor counter credit-loss-reco
switch(config-port-monitor)# monitor counter tx-credit-not-available
switch(config-port-monitor)# counter tx-credit-not-available poll-interval 1 delta rising-threshold 20 event 4 falling-threshold 0
switch(config-port-monitor)# no port-monitor activate slowdrain
switch(config)# port-monitor activate slowdrain_tx200ms
switch(config)# end

switch# show port-monitor active
Policy Name  : slowdrain_tx200ms
Admin status : Not Active
Oper status  : Not Active
Port type    : All Edge Ports
--------------------------------------------------------------------------------------------------------------------------------------------------------------------
|         Counter         | Threshold  | Interval |      Warning       |     Thresholds      |             Rising/Falling actions              | Congestion-signal |
|                         |    Type    |  (Secs)  |--------------------|---------------------|-------------------------------------------------|-------------------|
|                         |            |          | Threshold | Alerts |  Rising  | Falling  | Event |     Alerts       |     PortGuard        | Warning | Alarm   |
--------------------------------------------------------------------------------------------------------------------------------------------------------------------
| Credit Loss Reco        | Delta      | 1        | none      | n/a    | 1        | 0        | 4     | syslog,rmon      | none                 | n/a     | n/a     |
| TX Credit Not Available | Delta      | 1        | none      | n/a    | 20%      | 0%       | 4     | syslog,rmon      | none                 | n/a     | n/a     |
--------------------------------------------------------------------------------------------------------------------------------------------------------------------

その他の輻輳関連のポート モニター カウンタの構成

SAN 輻輳に関連する次のポート モニター カウンタを設定できます。

表 4. ポートモニター カウンタ

カウンタ名

説明

invalid-words

ポートが受信した無効なワードの総数を表します。

link-loss

ポートで発生したリンク障害の総数を表します。

lr-rx

ポートが受信したリンク リセット プリミティブ シーケンスの総数を表します。

lr-tx

ポートによって送信されたリンク リセット プリミティブ シーケンスの総数を表します。

rx-datarate

1 秒あたりバイト数での受信フレーム レート。

signal-loss

ポートでレーザーまたは信号損失が発生した回数を表します。

state-change

ポートが運用上アップ状態に遷移した回数を表します。

sync-loss

Rx でポートの同期が失われた回数を表します。

tx-credit-not-available

100 ミリ秒の間、使用可能なバッファ間クレジットがなかった場合、1 ずつインクリメントします。

timeout-discards

輻輳タイムアウトまたはクレジット切れドロップ タイムアウトのために出力でドロップされたフレームの総数を表します。

tx-datarate

1 秒あたりのバイト数で送信フレーム レートを表します。

tx-discards

タイムアウト、中止、オフラインなどのために出力時にドロップされたフレームの総数を表します。

tx-slowport-count

構成された slowport-monitor タイムアウトのポートによって低速ポート イベントが検出された回数を表します。これは、第 3 世代のモジュールにのみ適用されます。

tx-slowport-oper-delay

ポートで発生した平均クレジット遅延（または R_RDY 遅延）をキャプチャします。値はミリ秒単位です。

輻輳回避の設定

輻輳回避のために、次の機能を構成できます。

  • 輻輳ドロップ

  • ノークレジットドロップ

  • 一時停止ドロップ

  • 輻輳回避のためのポート監視ポートガード アクション

FCoE の輻輳ドロップ タイムアウト値の構成

FCoE フレームが出力ポートによって送信される輻輳ドロップ タイムアウト期間より長い時間かかる場合、フレームはドロップされます。このフレームのドロップは、ほぼ継続的に一時停止される（輻輳を引き起こすのに十分な長さ）が、一時停止タイムアウトのドロップをトリガーするほど長くない低速出力ポートの影響を制御するのに役立ちます。輻輳ドロップしきい値のためにドロップされたフレームは、出力ポートに対する出力廃棄としてカウントされます。出力は、スイッチのアップストリーム入力ポートのリリース バッファを破棄し、無関係なフローがポートを継続的に移動できるようにします。

輻輳ドロップ タイムアウト値は、すべてのポート タイプのデフォルトで 500 ミリ秒です。コア ポートのデフォルト タイムアウトは維持し、エッジ ポートの値は小さく構成することを検討することをお勧めします。輻輳ドロップ タイムアウト値は、そのポート タイプの一次停止ドロップ タイムアウト値以上である必要があります。

FCoE の輻輳ドロップ タイムアウト値を構成するには、次の手順を実行します：

Procedure

Step 1

次の構成モードを入力します：

switch# configure terminal

Step 2

使用している Cisco MDS NX-OS リリース バージョンに応じて、次のコマンドのいずれかを使用して、コア ポートまたはエッジ ポートのシステム全体の FCoE 輻輳ドロップ タイムアウトをミリ秒単位で構成します：

  • Cisco MDS NX-OS リリース 8.1（1）以前のリリース

    switch(config)# system default interface congestion timeout milliseconds mode {core | edge}

    FCoE 輻輳ドロップ タイムアウトの範囲は 100 ～ 1000 ミリ秒です。

    Note

     

    早期のパケット ドロップを防ぐための、FCoE 輻輳ドロップ タイムアウトの推奨最小値は 200 ミリ秒です。

（オプション）使用している Cisco MDS NX-OS リリース バージョンに応じて、次のコマンドのいずれかを使用して、デフォルトの FCoE 輻輳ドロップ タイムアウト値である 500 ミリ秒に戻します。

  • Cisco MDS NX-OS リリース 8.1（1）以前のリリース

    switch(config)# no system default interface congestion timeout milliseconds mode {core | edge}

FCoE の一次停止ドロップ タイムアウトの構成

FCoE 一次停止ドロップ タイムアウト期間中に FCoE ポートが継続的なポーズ状態にある場合、そのポートにキューイングされているすべてのフレームはすぐにドロップされます。ポートが一時停止状態のままである限り、ポート宛てに新しく到着したフレームはすぐにドロップされます。これらのドロップは、出力ポートでの出力廃棄としてカウントされます。スイッチのアップストリーム入力ポートのバッファが解放されるので、無関係なフローはそれらを通過し続けることができます。

無関係なトラフィック フローに対する低速ドレイン デバイスの影響を軽減するには、エッジ ポートの輻輳フレーム タイムアウト値よりも低い一次停止ドロップ タイムアウト値を設定します。これにより、低速ポート宛てのフレームは、輻輳タイムアウト期間がドロップするのを待つのではなく、FCoE 一次停止ドロップ タイムアウト期間が発生した直後にドロップされます。

デフォルトでは、FCoE 一次停止ドロップ タイムアウトはすべてのポートで有効になっており、値は 500 ミリ秒に設定されています。デフォルトのタイムアウト コア ポートを保持し、エッジ ポートの設定値を小さくすることを検討するようにお勧めします。

FCoE 一次停止ドロップ タイムアウト値を設定するには、次の手順を実行します：

Procedure

Step 1

次の構成モードを入力します：

switch# configure terminal

Step 2

使用している Cisco MDS NX-OS リリース バージョンに応じて、次のコマンドのいずれかを使用して、エッジ ポートまたはコア ポートのシステム全体の FCoE 一次停止ドロップ タイムアウト値をミリ秒単位で設定します：

  • Cisco MDS NX-OS リリース 8.1（1）以前のリリース

    switch(config)# system default interface pause timeout milliseconds mode {core | edge}

範囲は 100 ～ 500 ミリ秒です。

（オプション）使用している Cisco MDS NX-OS リリース バージョンに応じて、次のコマンドのいずれかを使用して、エッジ ポートまたはコア ポートの FCoE 一次停止ドロップ タイムアウトをデフォルト値の 500 ミリ秒に有効にします：

  • Cisco MDS NX-OS リリース 8.1（1）以前のリリース

    switch(config)# system default interface pause mode {core | edge}

    （オプション）使用している Cisco MDS NX-OS リリース バージョンに応じて、次のコマンドのいずれかを使用して、エッジ ポートまたはコア ポートの FCoE 一次停止ドロップ タイムアウトを無効にします：

    • Cisco MDS NX-OS リリース 8.1（1）以前のリリース

      switch(config)# no system default interface pause mode {core | edge}

      ファイバチャネルの輻輳ドロップ タイムアウト値の構成

      ファイバチャネル フレームが出力ポートによって送信される輻輳タイムアウト期間より長くかかる場合、フレームはドロップされます。フレームがドロップされるこのオプションは、送信クレジットがほぼ継続的に不足している低速の出力ポートの影響を制御するのに役立ちます（不足が、輻輳を引き起こすのに十分な長さであるものの、クレジット切れタイムアウト ドロップをトリガーするのに十分な長さではない場合です）。これらのドロップは、出力ポートでの出力廃棄としてカウントされ、バッファをスイッチのアップストリーム入力ポートに解放し、無関係なフローがそれらを通過し続けることを可能にします。

      デフォルトでは、輻輳タイムアウト値はすべてのポート タイプで 500 ミリ秒です。コア ポートのデフォルトのタイムアウトを保持し、エッジ ポートの値を小さく（200 ミリ秒以上）設定することをお勧めします。輻輳タイムアウト値は、そのポート タイプのクレジット切れフレーム タイムアウト値以上である必要があります。

      ファイバチャネルの輻輳フレーム タイムアウト値を構成するには、次の手順を実行します：

      Procedure

      Step 1

      次の構成モードを入力します：

      switch# configure terminal

      Step 2

      指定されたポート タイプのファイバチャネル輻輳ドロップ タイムアウト値をミリ秒単位で構成します：

      Step 3

      （オプション）指定されたポート タイプの輻輳タイムアウトをデフォルト値に戻します。

      ファイバ チャネルのクレジット切れドロップ フレーム タイムアウト値の構成

      ファイバ チャネル出力ポートに送信クレジットがない場合、クレジットなしのタイムアウト期間が経過すると、そのポートですでにキューに入れられていたすべてのフレームがすぐにドロップされます。ポートがこの状態のままである限り、そのポート宛てに新しく到着したフレームはすぐにドロップされます。これらのドロップは、出力ポートでの出力廃棄としてカウントされ、スイッチのアップストリーム入力ポートのバッファが解放されるので、無関係なフローはそれらを通過し続けることができます。

      クレジットなしのドロップ（no-credit-drop）は、有効または無効にすることができます。デフォルトでは、フレーム ドロップは無効になっており、フレーム タイムアウト値はすべてのポート タイプで 500 ミリ秒です。コア ポートのデフォルトのフレーム タイムアウトを保持し、エッジ ポートの値は小さく構成すること（300 ミリ秒）をお勧めします。低速ドレイン イベントが、無関係なトラフィック フローに影響を与え続ける場合は、エッジ ポートのフレーム タイムアウト値を下げることにより、低速ドレインだったフレームをドロップすることができます。これにより、無関係なフローのフレームの入力バッファが解放されるため、スイッチを通過するフレームの遅延が減少します。


      Note

      • クレジットなしフレーム タイムアウト値は、同じポート タイプの輻輳フレーム タイムアウトよりも常に小さくする必要があり、エッジ ポート フレーム タイムアウト値は、常にコア ポート フレーム タイムアウト値よりも小さくする必要があります。

      • 低速ポート モニタの遅延値は、同じポート タイプのクレジットなしフレーム タイムアウト値よりも常に小さくする必要があります。

      16 Gbps 以上のモジュールとシステムでは、クレジットなしのタイムアウト値は、1 ミリ秒の倍数で 1 ～ 500 ミリ秒です。ドロップは、クレジットなしの状態が発生し、構成されたタイムアウト値が経過するとただちに開始されます。

      クレジットなしタイムアウト値を構成するには、次の手順を実行します：

      Procedure

      Step 1

      次の構成モードを入力します。

      switch# configure terminal

      Step 2

      クレジットなしのタイムアウト値を指定します。

      （オプション）デフォルトのクレジットなしタイムアウト値（500 ミリ秒）に戻します。

      （オプション）クレジット切れドロップのタイムアウト値を無効にします。

      輻輳分離の構成

      輻輳分離機能により、ポート モニターが低速ドレイン状態を検出すると、低速デバイスを自動的に独自の仮想リンクに配置できます。

      次のポート モニター カウンタは、低速ドレインを検出し、インターフェイス上のデバイスを分離するために使用されます。

      • credit-loss-reco

      • tx-credit-not-available

      • tx-slowport-oper-delay

      • txwait

      低速ドレイン デバイスの検出と輻輳の分離機能を次の順序で構成します。

      1. 拡張レシーバ レディ機能を構成します。詳細については、次を参照してください。 拡張レシーバー レディの有効化を参照してください。

      2. 輻輳分離機能を構成します。詳細については、 輻輳分離の構成を参照してください。

      3. ポートガード アクション cong-isolateを含む 1 つ以上のカウンタを使用して、ポート モニター ポリシーを構成します。詳細については、 輻輳分離の構成を参照してください。

      拡張レシーバ レディの構成

      拡張レシーバー レディの有効化

      スイッチで拡張レシーバー レディ（ER_RDY）を有効にするには、次の手順を実行します：

      Before you begin

      ローカル スイッチおよび隣接スイッチの system fc flow-control er_rdy コマンドを使用して ER_RDY フロー制御モードを有効にする必要があります。

      ローカル スイッチと隣接スイッチを接続する ISL をフラップして、ISL で ER_RDY フロー制御モードを有効にします。

      Procedure

      Step 1

      次の構成モードを入力します：

      switch# configure terminal

      Step 2

      ER_RDY フロー制御モードを有効にします：

      switch(config)# system fc flow-control er_rdy

      Note

       

      ステップ 3 に進む前に、既存のスイッチ間リンク（ISL）に接続された両方のスイッチで ER_RDY フロー制御モードを有効にします。

      Step 3

      ファイバチャネル インターフェイスを選択し、インターフェイス構成サブモードを開始します：

      switch(config-if)# interface fc slot/port

      Step 4

      インターフェイスを適切にシャットダウンし、トラフィック フローを管理上無効にします：

      switch(config-if)# shutdown

      Step 5

      インターフェイスでトラフィック フローを有効にします：

      switch(config-if)# no shutdown

      Step 6

      特権実行モードに戻ります：

      switch(config-if)# end

      Step 7

      リンクが ER_RDY フロー制御モードになっているかどうかを確認します：

      switch# show flow-control er_rdy

      拡張レシーバ レディの無効化

      スイッチで拡張レシーバ レディ（ER_RDY）を無効にするには、次の手順を実行します。

      Before you begin

      1. ポート モニタ ポリシーのリンクの輻輳分離ポートガード アクションを削除します。詳細については、次を参照してください。 輻輳分離の構成。

      2. 輻輳分離機能を無効にします。詳細については、次を参照してください。 輻輳分離の構成を参照してください。

      Procedure

      Step 1

      次の構成モードを入力します。

      switch# configure terminal

      Step 2

      ER_RDY フロー制御モードを無効にします。

      switch(config)# no system fc flow-control

      Step 3

      ファイバチャネル インターフェイスを選択し、インターフェイス構成サブモードを開始します。

      switch(config-if)# interface fc slot/port

      Step 4

      インターフェイスを適切にシャットダウンし、トラフィック フローを管理上無効にします（デフォルト）。

      switch(config-if)# shutdown

      Step 5

      インターフェイスでトラフィック フローを有効にします。

      switch(config-if)# no shutdown

      Step 6

      特権実行モードに戻ります。

      switch(config-if)# end

      Step 7

      リンクが R_RDY フロー制御モードになっているかどうかを確認します。

      switch# show flow-control r_rdy

      輻輳分離の構成

      輻輳分離を構成するには、次の手順を実行します：

      Before you begin

      拡張レシーバ レディを構成します。詳細については、次を参照してください。 拡張レシーバー レディの有効化を参照してください。

      Procedure

      Step 1

      次の構成モードを入力します：

      switch# configure terminal

      Step 2

      輻輳の分離を有効にする：

      Cisco MDS NX-OS リリース 8.5（1）より前

      switch(config)# feature congestion-isolation

      Cisco MDS NX-OS リリース 8.5（1）以降のリリース

      switch(config)# feature fpm

      Step 3

      ポートで輻輳分離アクションを実行するポートガードのカウンタ パラメータを指定します：

      Cisco MDS NX-OS リリース 8.5（1）より前

      switch(config-port-monitor)# counter { credit-loss-reco | tx-credit-not-available | tx-slowport-oper-delay | txwait } poll-interval seconds {absolute | delta} rising-threshold count1 event event-id warning-threshold count2 falling-threshold count3 event event-id portguard cong-isolate

      switch(config-port-monitor)# exit

      Cisco MDS NX-OS リリース 8.5（1）以降のリリース

      switch(config-port-monitor)# counter { credit-loss-reco | tx-credit-not-available | tx-slowport-oper-delay | txwait } poll-interval seconds {absolute | delta} rising-threshold count1 event event-id warning-threshold count2 falling-threshold count3 portguard cong-isolate

      switch(config-port-monitor)# exit

      Note

       

      絶対カウンタはポートガード アクションをサポートしていません。ただし、tx-slowport-oper-delay 絶対カウンタは、輻輳分離ポートガード アクションをサポートします。

      Step 4

      指定したポート モニタ ポリシーをアクティブ化します。

      switch(config)# port-monitor activate policyname

      輻輳デバイスを含めるまたは除外する

      Cisco MDS NX-OS リリース 8.5（1）の以前に、ポート モニターによって輻輳デバイスとして識別されるようにデバイスを輻輳として明示的に含めるか、ポート モニターによって輻輳デバイスとして識別されたデバイスを除外するには、次の手順を実行します。

      手順

      ステップ 1

      次の構成モードを入力します：

      switch# configure

      ステップ 2

      デバイスを輻輳として明示的に含めるか、デバイスが輻輳として検出されないように除外します：

      switch# congestion-isolation {exclude | include} pwwn pwwn vsan vsan-id

      インターフェイスの削除

      ポート モニターは、特定のしきい値に達すると低速デバイスを検出し、スイッチの輻輳分離機能をトリガーして、その低速デバイスへのトラフィックを低速仮想リンク（VL2）に移動します。スイッチは、輻輳分離からデバイスを自動的に削除しません。これは、低速デバイスの問題を特定して解決してから、手動で行う必要があります。

      Cisco MDS NX-OS リリース 8.5（1）以前は、インターフェイスが低速として検出されないように手動で削除するには、次の手順を実行します：

      手順

      ポート モニターによって低速として検出されるインターフェイスを削除します：

      switch#: congestion-isolation remove interface slot/port

      静的入力ポート レート制限の構成

      静的ポート レート制限値を設定するには、次の手順を実行します。

      手順

      ステップ 1

      次の構成モードを入力します。

      switch# configure

      ステップ 2

      インターフェイスを選択して、静的入力ポートのレート制限を指定します。

      switch(config)# interface fc slot/port

      ステップ 3

      選択したインターフェイスの静的ポート レート制限を構成します。

      switch(config-if)# switchport ingress-rate limit

      SMA カスタム エンティティ グループの作成

      エンティティ グループを作成するには、次の手順を実行します。

      手順

      ステップ 1

      エンティティグループに名前を構成します

      ステップ 2

      エンティティ グループのエンティティタイプを追加します。

      ステップ 3

      エンティティ グループのサブ エンティティタイプを追加

      次のタスク

      エンティティ グループを SMA ポリシーに追加します。

      カスタム エンティティグループの作成または削除

      SMA ポリシーの類似した種類のエンティティを監視するには、フィルタとして機能するエンティティグループが必要です。すべてのエッジ ポート、すべてのコア ポート、ポートなどのエンティティは、FDMI、FCNS、デバイス エイリアス、FCID、FPIN などの属性でフィルタリングされます。

      エンティティグループの追加または削除には、次の条件が適用されます。

      • 複数のエンティティグループをSMAポリシーに追加できます。

      • エンティティグループがアクティブなポリシーに存在する場合、エンティティタイプまたはサブエンティティを追加または削除することはできません。

      • 非アクティブなポリシーの一部であるエンティティグループは削除できません。

      手順

      ステップ 1

      構成モードを開始します： 

      switch# configure terminal

      ステップ 2

      SMA ポリシーで使用するためのエンティティグループを作成します。

      switch(config)# [no] sma entity-group name entity-group-name

      ステップ 3

      エンティティグループにエンティティタイプを追加します。

      switch(config-sma-entity-group)# [no] entity-type fc-port {all | core | edge | interface}

      SMA カスタム アクション グループの作成

      アクション グループを作成するには、次の手順を実行します。

      手順

      ステップ 1

      アクショングループに名前を設定する

      ステップ 2

      レベルごとのアクションの設定（アラーム、警告、下限）

      次のタスク

      アクション グループを SMA ポリシーに追加します。

      SMA カスタム アクション グループの作成または削除

      アクション グループは、 SMAポリシーのアクションを構成します。フラップ、error-disable、syslog、call-home、FPIN、 SNMP-trap などのアクションです。

      手順

      ステップ 1

      構成モードを入力します。

      例:
      switch# configure terminal

      ステップ 2

      SMA ポリシーで使用するカウンタ グループに基づいてアクション グループを作成します。

      例:
      switch(config)# [no] sma action-group name action-group-name counter-group {cg-all | cg-congestion | cg-datarate | cg-fcport-all | cg-link-integrity | cg-protocol-all | cg-slowdrain }

      ステップ 3

      SMA ポリシーで使用されるカウンタに基づいてアクション グループを作成します。

      例:
      switch(config)# [no] sma action-group name action-group-name  counter {cg-all | cg-congestion | cg-datarate | cg-fcport-all | cg-link-integrity | cg-protocol-all | cg-slowdrain }

      SMA ポリシーの構成

      次のいずれかのオプションを使用して SMA ポリシーを作成できます。


      （注）  

      • カスタム エンティティ グループとアクション グループは、ポリシーで使用する前にポリシーの外部で作成されます。

      • eg-fcport-all、eg-fcport-edge、eg-fcport-core エンティティ グループなどの事前定義されたエンティティ グループが、ポート カウンタの構成に使用されます。

      • eg-switch エンティティ グループなどの定義済みのエンティティ グループは、プロトコルカウンタの設定に使用されます。

      手順

      ステップ 1

      ポリシーの名前を設定する

      ステップ 2

      エンティティグループの設定（事前定義/ユーザー定義）

      ステップ 3

      エンティティ グループのカウンタまたはカウンタ グループの構成

      ステップ 4

      これらのしきい値を使用してモニタリンググループを設定します。

      • デフォルトまたは
      • アラーム、警告、下限のユーザー定義の期間値。

      ステップ 5

      アクション グループの設定

      既存のカウンタまたはカウンタグループ向けに作成された、事前定義またはユーザー定義のアクション グループを関連付けます。

      ユーザー定義の SMA ポリシーを作成します

      ユーザー定義の SMA ポリシーを作成できます。

      始める前に

      以下がユーザー定義であることを確認してください

      • エンティティ グループ

      • アクション グループ

      手順

      ステップ 1

      構成モードを入力します。

      switch# configure terminal

      ステップ 2

      ポリシーを構成します。 

      switch(config)# [no] sma policy name policy_name

      ステップ 3

      エンティティグループの構成 

      switch(config)# [no] entity-group name entity-group-name [{before|after} name ref-entity-group-name]

      ステップ 4

      モニタ レベル、間隔、およびアクション グループを含むカウンタグループを構成します。

      switch(config)# [no] {counter counter-name|counter-group countergrp-name} monitor-level {default| period period alarm alarm-threshold [warning warn-threshold] falling fall-threshold} action-group {ag-default|ag-none|action-group-name}

      デフォルトの SMA ポリシーをアクティブ化または非アクティブ化する

      MDS 9000 で使用可能なデフォルトの SMA ポリシーをアクティブ化します。

      始める前に

      これらの条件が満たされた場合に、デフォルトポリシーをアクティブにできます。

      • ポリシーをアクティブにするために、アクティブなポリシーが存在する必要はありません。

      • このコマンドの no 形式を使用すると、すべての設定の詳細が表示されます。

      • ポリシーを非アクティブにするには、ポリシーがアクティブである必要があります。

      手順

      ステップ 1

      構成モードを開始します：

      switch# configure terminal

      ステップ 2

      SMA ポリシーをアクティブ化または非アクティブ化します。

      switch(config)# [no] sma policy activate name {default | policy_name}

      ユーザー定義の SMA ポリシーの名前を作成または削除する

      ユーザー定義のポリシーの名前を指定します。

      手順

      ステップ 1

      構成モードを開始します： 

      switch# configure terminal

      ステップ 2

      ユーザー定義のポリシーを作成します。

      switch(config)# [no] sma policy name policy_name

      （注）  

       

      このコマンドの no 形式を使用すると、すべての設定の詳細が表示されます。

      デフォルトの SMA ポリシーの複製またはコピー

      既存の SMA ポリシーを複製またはコピーします。

      始める前に

      MDS 9000 でアクティブなポリシーをコピーまたは複製することはできません。

      手順

      ステップ 1

      構成モードを開始します： 

      switch# configure terminal

      ステップ 2

      SMA ポリシーをコピーします。

      switch(config)#  sma policy name copy default policy_name

      輻輳管理の構成例

      輻輳検出の構成例

      次の例は、Cisco MDS NX-OS リリース 8.1(1) 以前のリリースで、コア ポート タイプの FCoE 輻輳ドロップ タイムアウトをデフォルトの 500 ミリ秒に構成する方法を示しています。 

      
switch# configure terminal
switch(config)# system default interface congestion timeout 500 mode core

      次の例は、Cisco MDS NX-OS リリース 8.1(1) 以前のリリースのエッジ ポート タイプに対して、FCoE 輻輳ドロップ タイムアウトをデフォルトの 500 ミリ秒に構成する方法を示しています。 

      
switch# configure terminal
switch(config)# system default interface congestion timeout 500 mode edge

      次の例は、Cisco MDS NX-OS リリース 8.1(1) 以前のリリースのコア ポート タイプの FCoE 輻輳ドロップ タイムアウトを 200 ミリ秒に構成する方法を示しています。 

      
switch# configure terminal
switch(config)# system default interface congestion timeout 200 mode core

      次の例は、Cisco MDS NX-OS リリース 8.1(1) 以前のリリースで、エッジ ポート タイプの FCoE 輻輳ドロップ タイムアウトを 200 ミリ秒に構成する方法を示しています。 

      
switch# configure terminal
switch(config)# system default interface congestion timeout 200 mode edge

      次の例は、Cisco MDS NX-OS リリース 8.1(1) 以前のリリースで、コア ポート タイプの FCoE 一次停止ドロップ タイムアウトを 100 ミリ秒に構成する方法を示しています。 

      
switch# configure terminal
switch(config)# system default interface pause timeout 100 mode core

      次の例は、Cisco MDS NX-OS リリース 8.1(1) 以前のリリースで、エッジ ポート タイプの FCoE 一次停止ドロップ タイムアウトを 100 ミリ秒に構成する方法を示しています。 

      
switch# configure terminal
switch(config)# system default interface pause timeout 100 mode edge

      次の例は、Cisco MDS NX-OS リリース 8.1(1) 以前のリリースで、コア ポート タイプの FCoE 一次停止ドロップ タイムアウトをデフォルトの 500 ミリ秒に構成する方法を示しています。

      
switch# configure terminal
switch(config)# system default interface pause mode core

      次の例は、Cisco MDS NX-OS リリース 8.1(1) 以前のリリースで、エッジ ポート タイプの FCoE 一次停止ドロップ タイムアウトをデフォルトの 500 ミリ秒に構成する方法を示しています。

      
switch# configure terminal
switch(config)# system default interface pause mode edge

      次の例は、Cisco MDS NX-OS Release 8.1(1) 以前のリリースでコア ポート タイプの FCoE 一次停止ドロップ タイムアウトを無効にする方法を示しています。 

      
switch# configure terminal
switch(config)# no system default interface pause mode core

      次の例は、Cisco MDS NX-OS Release 8.1(1) 以前のリリースで、エッジ ポート タイプの FCoE 一次停止ドロップ タイムアウトを無効にする方法を示しています。 

      
switch# configure terminal
switch(config)# no system default interface pause mode edge

      輻輳回避の構成例


      Note

      • Cisco MDS NX-OS リリース 8.1（1）以降、モード E は論理タイプ コアとして扱われ、モード F は論理タイプ エッジとして扱われます。

      • ポート 論理型 は、 ポート タイプとして表示されます。

      次の例は、現在アクティブなポート モニター ポリシーをチェックする方法を示しています：

      
switch# show port-monitor active
Policy Name  : sample
Admin status : Active
Oper status  : Active
Port type    : All Ports
------------------------------------------------------------------------------------------
Counter     Threshold  Interval Rising     event Falling   event Warning      PMON 
                                Threshold        Threshold       Threshold    Portguard
-------------------------------------------------------------------------------------------
Link 
Loss          Delta      10       6          4     5          4   Not enabled  Flap
Sync 
Loss          Delta      60       5          4     1          4   Not enabled  Not enabled
Signal 
Loss          Delta      60       5          4     1          4   Not enabled   Not enabled
Invalid 
Words         Delta      60       1          4     0          4   Not enabled   Not enabled
Invalid 
CRC's         Delta      30       20         2     10         2   Not enabled   Not enabled
State 
Change        Delta      60       5          4     0          4   Not enabled   Not enabled
TX 
Discards      Delta      60       200        4     10         4   Not enabled   Not enabled
LR RX         Delta      60       5          4     1          4   Not enabled   Not enabled
LR TX         Delta      60       5          4     1          4   Not enabled   Not enabled
Timeout 
Discards      Delta      60       200        4     10         4   Not enabled   Not enabled
Credit 
Loss Reco     Delta      1        1          4     0          4   Not enabled   Not enabled
TX Credit 
Not Available Delta      3        40%        4     2%         4   Not enabled   Not enabled
RX Datarate   Delta      60       80%        4     20%        4   Not enabled   Not enabled
TX Datarate   Delta      60       80%        4     20%        4   Not enabled   Not enabled
ASIC Error 
Pkt to xbar   Delta      300      5          4     0          4   Not enabled   Not enabled
-----------------------------------------------------------------------------------------------

      Note

      クレジット切れタイムアウト値は、デフォルトで無効になっています。

      Note

      スローポートの監視値はデフォルトで無効になっています。

      輻輳分離の構成例

      次の例は、HBA ER_RDY フロー制御モードを有効にする方法を示しています。 

      
switch# configure terminal
switch(config)# system fc flow-control er_rdy logical-type{core| edge | all} 
Use the CLI show flow-control r_rdy to list the ports that are still in R_RDY mode. The core option enables ER_RDY flow-control for E/NP ports. The edge option enables ER_RDY flow-control for F ports. The all option enables ER_RDY flow-control for all ports.

      次の例は、HBA ER_RDY フロー制御モードを無効にする方法を示しています。


      Note

      ER_RDY フロー制御モードを無効にする前に、輻輳分離機能を無効にする必要があります。

      		 
      
switch# configure terminal
switch(config)# no feature congestion-isolation
switch(config)# no system fc flow-control

      次の例は、ER_RDY フロー制御モードを有効にする方法を示しています。 

      
switch# configure terminal
switch(config)# system fc flow-control er_rdy logical-type core 
Use the CLI show flow-control r_rdy to list the ports that are still in R_RDY mode. The core option enables ER_RDY flow-control for E and NP ports.

      次の例は、HBA ER_RDY フロー制御モードを無効にする方法を示しています。


      Note

      ER_RDY フロー制御モードを無効にする前に、輻輳分離機能を無効にする必要があります。

      		 
      
switch# configure terminal
switch(config)# no feature congestion-isolation
switch(config)# no system fc flow-control

      次の例は、Cisco MDS NX-OS リリース 9.3(1) より前のリリースで ISL ER_RDY フロー制御モードを有効にする方法を示しています。 

      
switch# configure terminal
switch(config)# system fc flow-control er_rdy 
Flap the ISLs to activate ER_RDY mode on E ports.Use the CLI show flow-control r_rdy to list the ports that are still in R_RDY mode

      次の例は、ISL ER_RDY フロー制御モードを無効にする方法を示しています。


      Note

      ER_RDY フロー制御モードを無効にする前に、輻輳分離機能を無効にする必要があります。

      		 
      
switch# configure terminal
switch(config)# no feature congestion-isolation
switch(config)# no system fc flow-control

      次の例は、Cisco MDS NX-OS リリース 8.5(1) より前のリリースで輻輳分離を有効にする方法を示しています。 

      
switch# configure terminal
switch(config)# feature congestion-isolation 
Flap the ISLs to activate ER_RDY mode on E ports. Use the CLI show flow-control r_rdy to list the ports that are still in R_RDY mode

      次の例は、Cisco MDS NX-OS リリース 8.5(1) 以降のリリースで輻輳分離を有効にする方法を示しています。 

      
switch# configure terminal
switch(config)# feature fpm

      次の例は、Cisco MDS NX-OS リリース 8.5(1) より前のリリースで輻輳分離を無効にする方法を示しています。 

      
switch# configure terminal
switch(config)# no feature congestion-isolation 
Flap the ISLs to activate ER_RDY mode on E ports.Use the CLI show flow-control r_rdy to list the ports that are still in R_RDY mode

      次の例は、Cisco MDS NX-OS リリース 8.5(1) 以降のリリースで輻輳分離を無効にする方法を示しています。 

      
switch# configure terminal
switch(config)# no feature fpm

      次の例は、Cisco MDS NX-OS リリース 8.5(1) より前のリリースでデバイスを輻輳デバイスとして手動で構成する方法を示しています。構成されたデバイスは、輻輳分離から削除されるまで、輻輳デバイスとして永続的に扱われます。ER_RDY フロー制御モードにあるデバイスの ISL を通過するこのデバイスへのすべてのトラフィックは、低優先度 VL（VL2）にルーティングされます。 

      
switch# configure terminal
switch(config)# congestion-isolation include pwwn 10:00:00:00:c9:f9:16:8d vsan 4

      次の例は、Cisco MDS NX-OS リリース 8.5(1) 以降のリリースでデバイスを輻輳デバイスとして手動で構成する方法を示しています。構成されたデバイスは、輻輳分離から削除されるまで、輻輳デバイスとして永続的に扱われます。ER_RDY フロー制御モードにあるデバイスの ISL を通過するこのデバイスへのすべてのトラフィックは、低優先度 VL（VL2）にルーティングされます。 

      
switch# configure terminal
switch(config)# fpm congested-device static list
switch(config-congested-dev-static)# member pwwn 10:00:00:00:c9:f9:16:8d vsan 4 credit-stall

      次の例は、Cisco MDS NX-OS リリース 8.5(1) より前のリリースのポート モニターによる自動輻輳分離から除外されるデバイスを構成する方法を示しています。ポート モニター カウンタの上昇しきい値に到達し、ポートガード アクションが cong-isolate に設定されている場合でも、このデバイスは輻輳デバイスとして分離されず、このデバイスへのトラフィックは ER_RDY フローにあるデバイスの ISL を通過します。制御モードは、低優先度の VL（VL2）にルーティングされません。 

      
switch# configure terminal
switch(config)# congestion-isolation exclude pwwn 10:00:00:00:c9:f9:16:8d vsan 4

      この例は、Cisco MDS NX-OS リリース 8.5(1) 以降のリリースのポート モニターによる自動輻輳分離から除外されるデバイスを構成する方法を示しています。ポート モニター カウンタの上昇しきい値に到達し、ポートガード アクションが cong-isolate に設定されている場合でも、このデバイスは輻輳デバイスとして分離されず、このデバイスへのトラフィックは ER_RDY フローにあるデバイスの ISL を通過します。制御モードは、低優先度の VL（VL2）にルーティングされません。 

      
switch# configure terminal
switch(config)# fpm congested-device exclude list
switch(config-congested-dev-exc)# member pwwn 10:00:00:00:c9:f9:16:8d vsan 4

      輻輳デバイスは、ポート モニターを介して特定したり、手動で含めたり除外したりできます。除外設定を削除すると、デバイスがポート モニターによって低速として検出された場合、デバイスは再び低速としてマークされます。また、ポート モニターによって低速とマークされたデバイスに除外構成が既に使用されている場合、デバイスは輻輳デバイスとしての動作をしなくなります。

      次の例は、ポート モニタで低速として検出されたインターフェイスを手動で削除する方法を示しています。

      Cisco MDS NX-OS リリース 8.5(1) より前

      1. 低速として検出されないようにしたいインターフェースを特定。

        

switch# show congestion-isolation ifindex-list 
======================
Ifindex: 1088000(fc2/9)                 <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<< interface fc2/9 marked slow

      2. インターフェイスを使用しているホストを特定。

        
switch# show congestion-isolation pmon-list 

PMON detected list for vsan 1    : PWWN(FCID)
===============================================

PMON detected list for vsan 2    : PWWN(FCID)
===============================================

PMON detected list for vsan 3    : PWWN(FCID)
===============================================
21:00:00:24:ff:4f:70:46(0x040020)            <<<<<<<<<<<<<<<<<<<<<<host behind interface fc2/9 marked slow  PMON detected list for vsan 4    : PWWN(FCID) ===============================================  PMON detected list for vsan 5    : PWWN(FCID) ===============================================  >

      3. インターフェイスが低速としてマークされないようにします。

        
switch# congestion-isolation remove interface fc2/9    <<<<<<<<<<< CLI to remove an interface from being marked as slow by PMON

      4. インターフェイスが低速として検出されないようにするかどうかを確認します。

        
switch# show congestion-isolation pmon-list 

PMON detected list for vsan 1    : PWWN(FCID)
===============================================

PMON detected list for vsan 2    : PWWN(FCID)
===============================================

PMON detected list for vsan 3    : PWWN(FCID)
===============================================
                                                                                       <<<<<<<<<<<<<<< host behind interface fc2/9 removed from isolation
PMON detected list for vsan 4    : PWWN(FCID)
===============================================

PMON detected list for vsan 5    : PWWN(FCID)
===============================================

      Cisco MDS NX-OS リリース 8.5(1) 以降

      1. 低速として検出されないようにしたいインターフェースを特定。

        

switch# show fpm congested-device database local
VSAN: 1
-----------------------------------
No congested devices found

VSAN: 50
--------------------------------------------------------------------------------------------------
PWWN                    | FCID     | Event type   | Detect type | Detect Time
--------------------------------------------------------------------------------------------------
21:00:f4:e9:d4:54:ac:f8 | 0x7d0000 | credit-stall | local-pmon  | Thu Jan 28 05:08:31 2021

      2. インターフェイスが低速としてマークされないようにします。

        
switch# configure
switch(config)# fpm congested-device exclude list
switch(config)# member pwwn 21:00:f4:e9:d4:54:ac:f8 vsan 50

      3. インターフェイスが低速として検出されないようにするかどうかを確認します。

        

switch# show fpm congested-device database local
VSAN: 1
-----------------------------------
No congested devices found

VSAN: 50
--------------------------------------------------------------------------------------------------
No congested devices found

      輻輳管理の確認

      輻輳検出および回避の確認

      次のコマンドは、低速ポート モニター イベントを表示します。


      Note

      これらのコマンドは、スーパーバイザ プロンプトとモジュール プロンプトの両方に適用できます。

      モジュールごとの低速ポート モニター イベントを表示します。

      switch# show process creditmon slowport-monitor-events [module x [port y]]

      オンボード障害ロギング（OBFL）で低速ポート モニター イベントを表示します：

      switch# show logging onboard slowport-monitor-events


      Note

      低速ポート モニター イベントは、OBFL に定期的に記録されます。

      次の例では、16 Gbps および 32 Gbps のモジュールとスイッチの creditmon slow-port monitor-events コマンドのクレジット モニターまたは出力を表示します： 

      
switch# show process creditmon slowport-monitor-events 

        Module: 06      Slowport Detected: YES
=========================================================================
Interface = fc6/3
----------------------------------------------------------------
| admin  | slowport  | oper  |            Timestamp            |
| delay  | detection | delay |                                 |
| (ms)   | count     | (ms)  |                                 |
----------------------------------------------------------------
|   1    |     46195 |    1  | 1. 10/14/12 21:46:51.615        |
|   1    |     46193 |   50  | 2. 10/14/12 21:46:51.515        |
|   1    |     46191 |   50  | 3. 10/14/12 21:46:51.415        |
|   1    |     46189 |   50  | 4. 10/14/12 21:46:51.315        |
|   1    |     46187 |   50  | 5. 10/14/12 21:46:51.215        |
|   1    |     46185 |   50  | 6. 10/14/12 21:46:51.115        |
|   1    |     46183 |   50  | 7. 10/14/12 21:46:51.015        |
|   1    |     46181 |   50  | 8. 10/14/12 21:46:50.915        |
|   1    |     46179 |   50  | 9. 10/14/12 21:46:50.815        |
|   1    |     46178 |   50  |10. 10/14/12 21:46:50.715        |
----------------------------------------------------------------

      FCoE または仮想ファイバー チャネル（VFC）での TxWait

      Examples


      Note

      FCoE イーサネットまたは仮想ファイバー チャネル（VFC）インターフェイスの TxWait は、受信した優先フロー制御（PFC）ポーズ フレームのためにポートが送信できない時間です。

      FCoE イーサネットまたは VFC の RxWait は、ポートが PFC ポーズ フレームを送信しているためにポートが受信できない時間です。

      TxWait と RxWait はどちらも 2.5 マイクロ秒の単位であり、一部のコマンド出力では秒に変換されます。秒に変換するには、TxWait または RxWait の値に 2.5 を掛けて、1,000,000 で割ります。
      この例では、すべてのインターフェイスの優先順位フロー制御のステータスと統計を表示します。
      
switch# show interface priority-flow-control  
RxPause: No. of pause frames received
TxPause: No. of pause frames transmitted
TxWait: Time in 2.5uSec a link is not transmitting data[received pause]
RxWait: Time in 2.5uSec a link is not receiving data[transmitted pause]
===================================================================================
Interface         Admin Oper (VL bmap) VL  RxPause  TxPause RxWait-     TxWait-
                                                             2.5us(sec)  2.5us(sec)
====================================================================================

Po1               Auto  NA      (8)     3    0        0        0(0)      0(0)      
Po350             Auto  NA      (8)     3    0        0        0(0)      0(0)      
Po351             Auto  NA      (8)     3    0        0        0(0)      0(0)      
Po552             Auto  NA      (8)     3    111506   0        0(0)      5014944(12)
Po700             Auto  NA      (8)     3    0        0        0(0)      0(0)       
Eth2/17           Auto  Off                                                        
Eth2/18           Auto  Off                                                        
Eth2/19           Auto  Off                                                         
Eth2/20           Auto  Off                                                         
Eth2/25           Auto  On      (8)     3    0        0        0(0)      0(0)     
Eth2/26           Auto  On      (8)     3    0        0        0(0)      0(0)
      この例では、指定された仮想ファイバチャネル インターフェイスの詳細な構成と統計情報を表示します。
      
switch# show interface vfc 9/11 counters detailed 
vfc9/11
    3108091433 fcoe in packets 
    6564116595616 fcoe in octets
    30676987 fcoe out packets
    2553913687 fcoe out octets
    0 2.5us TxWait due to pause frames (VL3)
    134795 2.5us RxWait due to pause frames (VL3)
    0 Tx frames with pause opcode (VL3)
    0 Rx frames with pause opcode (VL3)
    Percentage pause in TxWait per VL3  for last 1s/1m/1h/72h: 0%/0%/0%/0%
    Percentage pause in RxWait per VL3  for last 1s/1m/1h/72h: 0%/0%/0%/0%
      この例では、PFC ポーズ フレームの受信によって発生した TxWait のオンボード障害ログ（OBFL）を表示します。
      
module# show logging onboard txwait 
---------------------------------
 Module: 2 txwait count 
---------------------------------
----------------------------
 Show Clock
----------------------------
2017-09-22 06:22:17
Notes:
     - Sampling period is 20 seconds
     - Only txwait delta >= 100 ms are logged
----------------------------------------------------------------------------------
|   Interface     | Delta TxWait Time     | Congestion | Timestamp                |
|                 | 2.5us ticks | seconds |            |                          |
----------------------------------------------------------------------------------
|   Eth2/1(VL3)   |  2508936    |    6    |      31%   | Fri Sep 22 05:29:21 2017 |
|   Eth2/1(VL3)   |  3355580    |    8    |      41%   | Mon Sep 11 17:55:52 2017 |
|   Eth2/1(VL3)   |  8000000    |   20    |     100%   | Mon Sep 11 17:55:31 2017 |
|   Eth2/1(VL3)   |  8000000    |   20    |     100%   | Mon Sep 11 17:55:11 2017 |
|   Eth2/1(VL3)   |  8000000    |   20    |     100%   | Mon Sep 11 17:54:50 2017 |

      この例では、PFC ポーズ フレームの送信によって発生した RxWait のオンボード障害ログ（OBFL）を表示します。

      
module# show logging onboard rxwait 
---------------------------------
 Module: 14 rxwait count 
---------------------------------
----------------------------
 Show Clock
----------------------------
2017-09-22 11:53:53
Notes:
     - Sampling period is 20 seconds
     - Only rxwait delta >= 100 ms are logged
------------------------------------------------------------------------------------
|   Interface       | Delta RxWait Time     | Congestion | Timestamp                |
|                   | 2.5us ticks | seconds |            |                          |
-------------------------------------------------------------------------------------
|   Eth14/21(VL3)   |  2860225    |    7    |      35%   | Thu Sep 21 23:59:46 2017 |
|   Eth14/30(VL3)   |    42989    |    0    |       0%   | Thu Sep 14 14:53:57 2017 |
|   Eth14/29(VL3)   |    45477    |    0    |       0%   | Thu Sep 14 14:47:56 2017 |
|   Eth14/30(VL3)   |    61216    |    0    |       0%   | Thu Sep 14 14:47:56 2017 |
|   Eth14/29(VL3)   |    43241    |    0    |       0%   | Thu Sep 14 14:47:36 2017 |
|   Eth14/30(VL3)   |    43845    |    0    |       0%   | Thu Sep 14 14:47:36 2017 |
|   Eth14/29(VL3)   |    79512    |    0    |       0%   | Thu Sep 14 14:47:16 2017 |
|   Eth14/30(VL3)   |    62529    |    0    |       0%   | Thu Sep 14 14:47:16 2017 |
|   Eth14/29(VL3)   |    50699    |    0    |       0%   | Thu Sep 14 14:45:56 2017 |
|   Eth14/30(VL3)   |    47839    |    0    |       0%   | Thu Sep 14 14:45:56 2017 |
      この例では、スイッチのエラー統計オンボード障害ログ（OBFL）を表示します。
      
switch# show logging onboard error-stats 
----------------------------
 Show Clock
----------------------------
2017-09-22 15:35:31


------------------------------------------------------------------------------------------
 STATISTICS INFORMATION FOR DEVICE ID 166 DEVICE Clipper MAC
------------------------------------------------------------------------------------------
 Port |                                           |                |    Time Stamp   |In
Range |            Error Stat Counter Name        |    Count       |MM/DD/YY HH:MM:SS|st
      |                                           |                |                 |Id
------------------------------------------------------------------------------------------
11    |GD rx pause transitions of XOFF-XON VL3    |2147            |09/22/17 00:11:24|02
11    |GD uSecs VL3 is in internal pause rx state |7205308         |09/22/17 00:11:24|02
11    |GD rx frames with pause opcode for VL3     |6439            |09/22/17 00:11:24|02
11    |PL SW pause event (vl3)                    |113             |09/22/17 00:11:24|02

      Note

      16 Gbpsモジュール、32 Gbps モジュール、および Cisco MDS 9700、9148S、9250i、および 9396S スイッチの場合、 no-credit-drop タイムアウトが構成されている場合、低速ポート モニター イベントに表示される tx-slowport-oper-delay の最大値は no-credit-drop timeout によって制限されます。したがって、デバイスからの実際の低速ポートの遅延が大きくても、 tx-slowport-oper-delay の最大値は no-credit-drop タイムアウトのレベルに達する可能性があります。これは、 tx-slowport-oper-delay が no-credit-drop タイムアウトのレベルに達すると、フレームがハードウェアによって強制的にドロップされるためです。

      輻輳分離の確認

      次の例は、システム フロー制御モードを確認する方法を示しています：
      
switch# show system fc flow-control 
System flow control is ER_RDY

      次の例は、輻輳の分離ステータスを確認する方法を示しています： 

      
switch# show congestion-isolation status 
Flow Control Mode     : ER_RDY
Congestion Isolation  : Enabled
Sampling Interval     : 1
Timeout               : 0
ESS Cap Details
-------------------------------------------
VSAN: 0x1(1)
Enabled domain-list: 0x4(4 - local) 
Disabled domain-list: None
Unsupported domain-list: 0x61(97) 
VSAN: 0x2(2)
Enabled domain-list: 0x4(4 - local) 
Disabled domain-list: None
Unsupported domain-list: 0xb8(184) 
VSAN: 0x3(3)
Enabled domain-list: 0x4(4 - local) 
Disabled domain-list: None
Unsupported domain-list: None
VSAN: 0x4(4)
Enabled domain-list: 0x4(4 - local) 0xbb(187) 
Disabled domain-list: None
Unsupported domain-list: None

      次の例は、ローカル スイッチで低速として検出されたデバイスのリストを確認する方法を示しています：

      
switch# show congestion-isolation pmon-list vsan 4
PMON detected list for vsan 4    : PWWN(FCID)
===============================================
10:00:00:00:c9:f9:16:8d(0xbe0000)

      次の例は、輻輳分離機能が有効になっている場合に、ファブリックで低速として検出されたデバイスのグローバル リストを確認する方法を示しています。グローバル リストは、輻輳分離機能が有効になっているファブリック内のすべてのスイッチで同じである必要があります。

      
switch# show congestion-isolation global-list vsan 4
Global list for vsan 4 PWWN(FCID)
========================================
10:00:00:00:c9:f9:16:8d(0xbe0000)

      次の例は、リモート スイッチで低速として検出されたデバイスのリストを示しています（ローカルで検出された低速デバイスではありません）： 

      
switch# show congestion-isolation remote-list vsan 4
Remote list for vsan 4    : PWWN(FCID)
===============================================
10:00:00:00:c9:f9:16:8d(0xbe0000)

      次の例は、ポート モニターまたは congestion isolation include コマンドのいずれかを介して、低速（feature slow-dev）としてマークされた単一のデバイスを示しています： 

      
switch# show congestion-isolation include-list vsan 4
Include list for vsan 4   : PWWN(FCID) (online/offline)
=========================================================
10:00:00:00:c9:f9:16:8d(0xbe0000) - (Online)

switch# show fcns database vsan 4
VSAN 4:
--------------------------------------------------------------------------
FCID        TYPE  PWWN                    (VENDOR)        FC4-TYPE:FEATURE
--------------------------------------------------------------------------
0x040000    N     10:00:40:55:39:0c:80:85 (Cisco)         ipfc 
0x040020    N     21:00:00:24:ff:4f:70:47 (Qlogic)        scsi-fcp:target 
0xbe0000    N     10:00:00:00:c9:f9:16:8d (Emulex)        scsi-fcp:init slow-dev <<<slow device [testing]Total number of entries = 3  >

      次の例は、ローカル スイッチで Congestion Isolation exclude list コマンドを使用して手動で設定されたデバイスのリストを示しています： 

      
switch# show congestion-isolation exclude-list vsan 4
Exclude list for vsan 4   : PWWN(FCID) (online/offline)
=========================================================
10:00:00:00:c9:f9:16:8d(0xbe0000) - (Online)

      アクション グループの例

      アクション グループの例が説明されています。

      指定された名前でアクショングループを表示

      指定された名前でアクショングループを表示します。

      switch(config)# show sma action-group name
<action-group-name>

      デフォルトおよびユーザー定義アクショングループ

      クラスのアクショングループをシステムまたはユーザーとして表示します。クラス システムはシステム定義を指し、ユーザーはユーザー定義を指します。

      switch(config)# show sma action-group class {system | user
}

      SMA ポリシーの例

      SMA ポリシーの例について説明します。

      SMA デフォルト ポリシー

      switch# show sma policy active
sma policy name defaultentity-group name eg-switch
counter-group cg-protocol-all monitor-level default action-group
ag-defaultentity-group name eg-fcport-edgecounter
credit-loss-recovery monitor-level default action-group
ag-error-disableentity-group name eg-fcport-allcounter-group
cg-fcport-all monitor-level default action-group ag-default

      SMA カスタム ポリシー

      switch# show sma policy active
sma entity-group name eg-interface-rangeentity-type fc-port
interface fc1/1-10,fc1/13-20sma policy name customentity-group name
eg-switchcounter-group cg-protocol-all monitor-level default
action-group ag-defaultentity-group name eg-interface-rangecounter
tx-wait monitor-level default action-group
ag-fpin-congestioncounter-group cg-link-integrity monitor-level
default action-group ag-fpin-link-integrityentity-group name
eg-fcport-edgecounter credit-loss-recovery monitor-level default
action-group ag-error-disableentity-group name
eg-fcport-allcounter-group cg-fcport-all monitor-level default
action-group ag-default

      アクティブなポリシーの表示

      アクティブなポリシーを表示します。

      switch(config)# show sma policy active

      指定された名前のポリシーを表示

      指定された名前のポリシーを表示します。

      switch(config)# show sma policy name
<policy-name>

      その他

      他の例についても説明します。

      SMA 履歴の表示

      SMA 履歴を表示します。1MB のメモリが履歴用に予約済み、平均 11,000 のしきい値イベントが格納されます。

      switch# show sma history
Action Legend:
  g: FPIN congestion             n: FPIN congestion clear
  p: FPIN link integrity         ss: Congestion signals stop
  c: Congestion isolate          r: Congestion isolate recovery
  d: DIRL                        l: DIRL recovery
  e: error disable               f: flap
  as: Alarm congestion signal    ws: Warning congestion signal

Alert Legend:
  s[0-7]: syslog, severity [0-7]
  t[0-7]: SNMP trap, level [0-7]
  o: OBFL
  c: callhome

Entity type: fc-port
----------------------------------------------------------------------------------------------------------------------------------
Counter                     | Entity     | Value               | Level    | Action | Alerts         | Timestamp                   
----------------------------------------------------------------------------------------------------------------------------------
tx-credit-not-available     | fc1/1      |                   0 | falling  | none   | s5,t5          | 2025 Mar 17 09:05:00.779 UTC 
tx-credit-not-available     | fc1/1      |                 100 | alarm    | none   | s4,t4          | 2025 Mar 17 09:04:59.775 UTC