ASR 5500のSERDES Laneのトラブルシューティング

ダウンロード オプション

  • PDF     (350.1 KB)
    Adobe Reader を使ってさまざまなデバイスで表示
  • ePub     (83.2 KB)
    iPhone、iPad、Android、ソニーの Reader、または Windows Phone 上で、さまざまなアプリを使って表示
  • Mobi (Kindle)     (75.2 KB)
    Kindle デバイスで、または Kindle アプリを使って複数のデバイスで表示
Updated: 2022 年 8 月 18 日
Document ID:218054

偏向のない言語

この製品のマニュアルセットは、偏向のない言語を使用するように配慮されています。このマニュアルセットでの偏向のない言語とは、年齢、障害、性別、人種的アイデンティティ、民族的アイデンティティ、性的指向、社会経済的地位、およびインターセクショナリティに基づく差別を意味しない言語として定義されています。製品ソフトウェアのユーザーインターフェイスにハードコードされている言語、RFP のドキュメントに基づいて使用されている言語、または参照されているサードパーティ製品で使用されている言語によりドキュメントに例外が存在する場合があります。シスコのインクルーシブランゲージに対する取り組みの詳細は、こちらをご覧ください。

翻訳について

シスコは世界中のユーザにそれぞれの言語でサポート コンテンツを提供するために、機械と人による翻訳を組み合わせて、本ドキュメントを翻訳しています。ただし、最高度の機械翻訳であっても、専門家による翻訳のような正確性は確保されません。シスコは、これら翻訳の正確性について法的責任を負いません。原典である英語版（リンクからアクセス可能）もあわせて参照することを推奨します。

    概要

    このドキュメントでは、ASR 5500のシリアライザデシリアライザ(SERDES)lane(link)のトラブルシューティングコマンドについて説明します。

    背景説明

    ASR 5500には、ファブリックとストレージカード(FSC)、データ処理カード(DPC)、および管理入出力(MIO)カード間の通信およびデータパスを容易にするために、カード間にSERDESリンクが含まれています。場合によっては、これらのSERDESリンクがエラーやハードウェア障害によってダウンすることがあります。

    SERDES Laneトラブルシューティングコマンド

    ASR 5500シャーシのSERDESレーンを調査するコマンド：

    • 収集 show support details「debug console...」を参照してください。 出力行の部分：
    1397273780.205 card 5-cpu0: afio [5/0/7808] [  80616.933] afio/afio_fe600_serdes.c:3297: #1: fe600=47=16/1, Fabric SERDES lane transitioned from up to down, serdes=29, devid=25=7/1
    • シャーシCLIのアクセステストモード cli test-commands password .

    注意：このモードを使用すると、サービスが大幅に中断される可能性があります

    • 問題 show fabric health コマンドを使用して、スイッチングファブリックの全体像を確認できます。

    ヒント：同じ情報は、 show fabric support details show support detailsの一部

    この例では、DPCカード2とFSCカード14の間に問題があります。

    出力では、スロット2の送信元DPCからスロット14のFSCに障害が報告されています。

    Command: petra-b system-device-id 3
    Command: show health
    Petra-B 3=2/1
    Fabric Status:
     Status OK(+)------------------------+
     Topology fault(T)------------------+|
     Far side not expected(*)----------+||
     Logically not connected(L)-------+|||
     Physically not connected(P)-----+||||           NIF Status:
     Rx Down(*)---------------------+||||| +----------NIF powered off(*)
     Tx Down(*)--------------------+|||||| |+---------SERDES powered off(*)
     Code Group(G)----------------+||||||| ||+--------Local side down(l)
     Misalignment(M)-------------+|||||||| |||+-------Remote side down(r)
     Cell Size(C)---------------+||||||||| ||||+------Rx activity(r)
     Internally fixed(I)-------+|||||||||| |||||+-----Tx activity(t)
     Not Accept Cells(A)------+||||||||||| ||||||+----Status OK(+)
                              |||||||||||| |||||||
    SERDES Status:            |||||||||||| |||||||
     Status OK(+)-----------+ |||||||||||| |||||||
     Rx power off(*)-------+| |||||||||||| |||||||
     Tx power off(*)------+|| |||||||||||| |||||||
     Sig not locked(S)---+||| |||||||||||| |||||||
     Rx signal loss(*)--+|||| |||||||||||| |||||||
     Modified Parms(m)-+||||| |||||||||||| |||||||
     Admin down(D)----+|||||| |||||||||||| |||||||
                      ||||||| |||||||||||| |||||||
    Fabric lane-----+ ||||||| |||||||||||| |||||||
    SERDES lane--+  | ||||||| |||||||||||| |||||||                                      Config
    Source  Dev SL FL vvvvvvv vvvvvvvvvvvv vvvvvvv     Rate     Topology CRC Errs  Remote Dev SL FL       Last Change 
    ------- --- -- -- ------- ------------ ------- ------------ -------- -------- ------- --- -- -- ----------------------
     3= 2/1 FAP 47 15       + A  M    L            6250.00 Mbps        -        - 43=14/1  FE 82 82 FAULT_DETECTED         ***

    スロット14のFSCカードからスロット2のDPCカードへの反対方向の同じリンクの出力では、同じエラーが報告されます。

    Command: fe600 system-device-id 43
    Command: show health
    FE600 43=14/1
    Fabric Status:
     Status OK(+)------------------------+
     Topology fault(T)------------------+|
     Far side not expected(*)----------+||
     Logically not connected(L)-------+|||
     Physically not connected(P)-----+||||           NIF Status:
     Rx Down(*)---------------------+||||| +----------NIF powered off(*)
     Tx Down(*)--------------------+|||||| |+---------SERDES powered off(*)
     Code Group(G)----------------+||||||| ||+--------Local side down(l)
     Misalignment(M)-------------+|||||||| |||+-------Remote side down(r)
     Cell Size(C)---------------+||||||||| ||||+------Rx activity(r)
     Internally fixed(I)-------+|||||||||| |||||+-----Tx activity(t)
     Not Accept Cells(A)------+||||||||||| ||||||+----Status OK(+)
                              |||||||||||| |||||||
    SERDES Status:            |||||||||||| |||||||
     Status OK(+)-----------+ |||||||||||| |||||||
     Rx power off(*)-------+| |||||||||||| |||||||
     Tx power off(*)------+|| |||||||||||| |||||||
     Sig not locked(S)---+||| |||||||||||| |||||||
     Rx signal loss(*)--+|||| |||||||||||| |||||||
     Modified Parms(m)-+||||| |||||||||||| |||||||
     Admin down(D)----+|||||| |||||||||||| |||||||
                      ||||||| |||||||||||| |||||||
    Fabric lane-----+ ||||||| |||||||||||| |||||||
    SERDES lane--+  | ||||||| |||||||||||| |||||||                                      Config
    Source  Dev SL FL vvvvvvv vvvvvvvvvvvv vvvvvvv     Rate     Topology CRC Errs  Remote Dev SL FL       Last Change 
    ------- --- -- -- ------- ------------ ------- ------------ -------- -------- ------- --- -- -- ----------------------
    43=14/1  FE 82 82       +         L T          6250.00 Mbps   3= 2/1        -  3= 2/1 FAP 47 15 FAULT_DETECTED         ***

    SERDESリンクに関するもう1つの問題は、リンクのオフライン状態です。この例では、スロット6のDPCカードと17のFSCカード間のリンクがオフラインになっています。

    23= 6/3 FAP 38  6 D                            6250.00 Mbps  50=17/2  1557643 50=17/2  FE 65 65 OFFLINE                ***

    アクティブなSERDESリンクの合計数とアクティブリンクの数は、SERDESサーバのIPアドレスの show fabric status コマンドが表示されない場合もあります。この例では、2つのリンク（リンクの両側に1つずつ）がカウントされました。1レーン下っても問題ありません。ファブリックの容量が多すぎて、1つのレーンがスループットに影響を与えない。唯一の問題は、エラーによってリンクが継続的にアップとダウンを繰り返す場合です。この場合、ユーザと制御のトラフィックがドロップされる可能性があるため、リンクをダウンさせる方がよいでしょう。

    [local]ASR5500> show fabric status

    Total number of FAPs: 24
    Total number of FEs : 8
    Total number of SERDES links:        1600
    Total number of active SERDES links: 1598

    注：ファブリックの容量が多すぎて、1つのレーンがシャーシのスループットに影響を与えない。

    • 通常、リンクの問題は自動的にクリアされます。システムはEyescanと呼ばれる自動ステップを実行して問題を解決します。自動リカバリの結果は、 show serdes all-serdes history セクション show fabric support details

    注：FE(Fabric Element)はFSCカード側です。FAP（ファブリックアレイプロセッサ）は、DPCまたはMIOカードの側です。
    DPCカードには2つのFAPがあり、DPC2カードには1つのFAPしかありません。mioカードには4つのFAPがあり、FSCには2つのFEがあります。
    コマンドの出力の形式は<card #>/<FAP/FE #>です。たとえば、MIO 5には5/1、5/2、5/3、5/4があります。
    完全にロードされたDPC2シャーシには28のエンドポイントがあります。8(8 DPC)+ 8(2 MIO * 4)+ 12(6 FCS * 2)


    自動回復後に復元されたFE側の例を次に示します。

    card=5, cpu=0, pid=7808, peer_mode=AFIO_IPC_PEER_MODE_DAEMON, sys_dev_id=47=16/1
                      Fabric Status:
                         Topology fault(T)----------------+
                         Far side not expected(*)--------+|
                         Logically not connected(L)-----+||
                         Physically not connected(P)---+|||
                         Rx Down(*)-------------------+||||
                         Tx Down(*)------------------+|||||        NIF Status:
                         Code Group(G)--------------+|||||| +--------NIF powered off(*)
                         Misalignment(M)-----------+||||||| |+-------SERDES powered off(*)
                         Cell Size(C)-------------+|||||||| ||+------Local side down(l)
                         Internally fixed(I)-----+||||||||| |||+-----Remote side down(r)
                         Not Accept Cells(A)----+|||||||||| ||||
                                                ||||||||||| ||||
                      SERDES Status:            ||||||||||| ||||
                         Rx power off(*)------+ ||||||||||| ||||
                         Tx power off(*)-----+| ||||||||||| ||||
                         Sig not locked(S)--+|| ||||||||||| ||||
                         Rx signal loss(*)-+||| ||||||||||| ||||
                         Admin Down(D)----+|||| ||||||||||| ||||
                                          ||||| ||||||||||| ||||
                        Fabric lane-----+ ||||| ||||||||||| ||||
                        SERDES lane--+  | ||||| ||||||||||| ||||
        Record time     Source  Dev SL FL vvvvv vvvvvvvvvvv vvvv Remote  Dev SL FL CRC Errs        Last Change
    ------------------- ------- --- -- -- ----- ----------- ---- ------- --- -- -- -------- ----------------------
    2014-05-18+12:38:17 47=16/1  FE 40 40        I               31= 8/1 FAP 43 11        1 CRC_ERROR
    2014-05-18+12:39:27 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 ADMIN_DOWN
    2014-05-18+12:39:28 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 EYESCAN_START
    2014-05-18+13:14:41 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 EYESCAN_COMPLETE
    2014-05-18+13:14:50 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 ADMIN_UP


    回線の別の側の回復を例に示します。

    card=5, cpu=0, pid=7808, peer_mode=AFIO_IPC_PEER_MODE_DAEMON, sys_dev_id=47=16/1
                      Fabric Status:
                         Topology fault(T)----------------+
                         Far side not expected(*)--------+|
                         Logically not connected(L)-----+||
                         Physically not connected(P)---+|||
                         Rx Down(*)-------------------+||||
                         Tx Down(*)------------------+|||||        NIF Status:
                         Code Group(G)--------------+|||||| +--------NIF powered off(*)
                         Misalignment(M)-----------+||||||| |+-------SERDES powered off(*)
                         Cell Size(C)-------------+|||||||| ||+------Local side down(l)
                         Internally fixed(I)-----+||||||||| |||+-----Remote side down(r)
                         Not Accept Cells(A)----+|||||||||| ||||
                                                ||||||||||| ||||
                      SERDES Status:            ||||||||||| ||||
                         Rx power off(*)------+ ||||||||||| ||||
                         Tx power off(*)-----+| ||||||||||| ||||
                         Sig not locked(S)--+|| ||||||||||| ||||
                         Rx signal loss(*)-+||| ||||||||||| ||||
                         Admin Down(D)----+|||| ||||||||||| ||||
                                          ||||| ||||||||||| ||||
                        Fabric lane-----+ ||||| ||||||||||| ||||
                        SERDES lane--+  | ||||| ||||||||||| ||||
        Record time     Source  Dev SL FL vvvvv vvvvvvvvvvv vvvv Remote  Dev SL FL CRC Errs        Last Change
    ------------------- ------- --- -- -- ----- ----------- ---- ------- --- -- -- -------- ----------------------
    2014-05-18+12:38:17 47=16/1  FE 40 40        I               31= 8/1 FAP 43 11        1 CRC_ERROR
    2014-05-18+12:39:27 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 ADMIN_DOWN
    2014-05-18+12:39:28 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 EYESCAN_START
    2014-05-18+13:14:41 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 EYESCAN_COMPLETE
    2014-05-18+13:14:50 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 ADMIN_UP
    • StarOSリリース16.1以降では、設定された出力キュー廃棄(EGQ)のしきい値がシャーシで確認されると、システムはSNMPトラップを生成できます。しきい値を30秒間に50回のEGQ廃棄に設定するコマンドの例を示します。
    [local]asr5500# config 
    [local]asr5500(config)# fabric egress drop-threshold enable count 50 interval-secs 30

    手動リカバリ

    Eyescanのテストと再プログラミングの後でSERDESリンクが復元されない場合は、手動リカバリが必要です。残念ながら、ソフトウェアでは、SERDESリンクのどちら側に障害があるかを判別できません。その問題を解決するには秩序だったアプローチをとらなければならない。

    注意：ステップ1と2はRMAの前に必須です

    1. 最初に1枚のカードを取り付け直します。カードを引き出し、カードバックプレーンを調べて、カードとシャーシのバックプレーンにあるピンが破損したり曲がったりしていないかどうかを確認します。
      • 破損したピンや曲がったピンが見つかった場合は、写真を撮り、Cisco TACにサービスリクエスト(SR)を提出してください。
      • 72時間モニタします。
      • 問題が再発する場合は、ステップ2に進みます。
      • クリアされると、問題は解決されます。
    2. もう一方のカードを取り付け直します。カードを引き出し、カードバックプレーンを調べて、カードとシャーシのバックプレーンにあるピンが破損したり曲がったりしていないかどうかを確認します。
      • 破損したピンや曲がったピンが見つかった場合は、写真を撮り、Cisco TACにサービスリクエスト(SR)を提出してください。
      • 72時間モニタします。
      • 問題が再発する場合は、ステップ3に進みます。
      • クリアされると、問題は解決されます。
    3. Cisco TACでSRを開き、カードの再装着の前後に収集されたshow supportの詳細と、破損または曲がったピンの写真を添付します。

    問題が解決すると、 show fabric status 次のようになります。

    [local]ASR5500> show fabric status
    Total number of FAPs: 24
    Total number of FEs : 8
    Total number of SERDES links:        1600
    Total number of active SERDES links: 1600

    SNMPトラップ SERDESLanePermenentlyDown が実装され、Eyescanの障害によってSERDESレーンが永続的にダウンした場合を示すようになりました。

    Sun Apr 17 00:05:00 2016 Internal trap notification 1303 (SERDESLanePermanentlyDown) SERDES lane is Down on local: slot 17 device 2 serdes lane index 14, Remote: slot 1 device 1 serdes lane index 40

[local]ASR5500> show fabric status
Total number of FAPs: 16
Total number of FEs : 12
Total number of SERDES links:        1456
Total number of active SERDES links: 1454
Total number of Fabric SERDES with errors: 0
Total number of NIF SERDES with errors   : 0 

[local]ASR5500> show fabric history
Command: arad system-device-id 1
Command: show serdes all-serdes history
                                                    Fabric Status:
                                                +------Not Accept Cells(A)
                    SERDES Status:              |+-----Cell Size(C)
                     Power off(*)-------------+ ||+----Misalignment(M)
                     Sig not locked(S)-------+| |||+---Code Group(G)
                     Admin down(D)----------+|| ||||+--Topology fault(T)
                                            ||| |||||
                    Logical Port---------+  ||| |||||
                    Fabric lane-----+    |  ||| |||||
                    SERDES lane--+  |    |  ||| |||||
    Record time     Source  Dev SL  FL   |  vvv vvvvv Remote  Dev SL  FL  CRC Errs      Last Change
------------------- ------- --- --- --- --- --- ----- ------- --- --- --- -------- ----------------------
2016-04-16+23:53:05  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - FAULT_DETECTED        
2016-04-16+23:53:14  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - ADMIN_DOWN            
2016-04-16+23:57:02  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - ADMIN_UP              
2016-04-16+23:57:02  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - FAULT_DETECTED        
2016-04-16+23:57:11  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - ADMIN_DOWN            
2016-04-17+00:00:59  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - ADMIN_UP              
2016-04-17+00:00:59  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - FAULT_DETECTED        
2016-04-17+00:01:08  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - ADMIN_DOWN            
2016-04-17+00:05:00  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - ADMIN_UP              
2016-04-17+00:05:00  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - FAULT_DETECTED        
...
Command: fe600 system-device-id 42
Command: show serdes all-serdes history
                    NIF Status:                               Fabric Status:
                     Remote side down(r)-------+ +------------Not Accept Cells(A)
                     Local side down(l)-------+| |+-----------Internally fixed(*)
                     SERDES powered off(*)---+|| ||+----------Cell Size(C)
                     NIF powered off(*)-----+||| |||+---------Misalignment(M)
                                            |||| ||||+--------Code Group(G)
                    SERDES Status:          |||| |||||+-------Tx Down(*)
                     Rx power off(*)------+ |||| ||||||+------Rx Down(*)
                     Tx power off(*)-----+| |||| |||||||+-----Physically not connected(P)
                     Sig not locked(S)--+|| |||| ||||||||+----Logically not connected(L)
                     Rx signal loss(*)-+||| |||| |||||||||+---Far side not expected(*)
                     Admin down(D)----+|||| |||| ||||||||||+--Topology fault(T)
                                      ||||| |||| |||||||||||
                    Fabric lane-----+ ||||| |||| |||||||||||
                    SERDES lane--+  | ||||| |||| |||||||||||
    Record time     Source  Dev SL FL vvvvv vvvv vvvvvvvvvvv Remote  Dev SL  FL  CRC Errs      Last Change
------------------- ------- --- -- -- ----- ---- ----------- ------- --- --- --- -------- ----------------------
2016-04-16+23:57:01 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - FAULT_DETECTED        
2016-04-16+23:57:11 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - ADMIN_DOWN            
2016-04-16+23:57:11 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - EYESCAN_START         
2016-04-17+00:00:52 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - EYESCAN_FAILURE       
2016-04-17+00:00:55 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - ADMIN_UP              
2016-04-17+00:00:58 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - FAULT_DETECTED        
2016-04-17+00:01:08 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - ADMIN_DOWN            
2016-04-17+00:01:08 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - EYESCAN_START         
2016-04-17+00:04:56 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - EYESCAN_FAILURE      

2016-Apr-17+00:05:00.023 [snmp 22002 info] [5/0/7150 <afctrl:0> trap_api.c:17297] [software internal system syslog] Internal trap notification 1303 (SERDESLanePermanentlyDown) SERDES lane is Down on local: slot 17 device 2 serdes lane index 14, Remote: slot 1 device 1 serdes lane index 40
2016-Apr-17+00:05:00.023 [afctrl 186019 critical] [5/0/7150 <afctrl:0> l_msg_handler.c:1541] [hardware internal system syslog] Fabric device 17/2, serdes lane index 14, (remote fabric device 1/1, serdes lane index 40) is Administratively offline due to excessive calibration failures

2016-Apr-16+23:41:09.247 [system 1009 warning] [6/0/10430 <evlogd:1> evlgd_syslogd.c:162] [software internal system critical-info syslog] CPU[5/0]:  afio: afio [5/0/9285] [ 426721.037] afio/afio_fe600_serdes.c:2827: #1: fe600=42=17/2, Fabric SERDES lane transitioned from up to down, serdes=14, devid=1=1/1, serdes=40
2016-Apr-16+23:41:09.247 [system 1009 warning] [5/0/7073 <evlogd:0> evlgd_syslogd.c:162] [software internal system critical-info syslog] CPU[5/0]:  afio: afio [5/0/9285] [ 426721.037] afio/afio_fe600_serdes.c:2827: #1: fe600=42=17/2, Fabric SERDES lane transitioned from up to down, serdes=14, devid=1=1/1, serdes=40

    関連情報

    更新履歴

    改定 発行日 コメント
    1.0
    19-Aug-2022
    初版
    TAC Authored

    シスコ エンジニア提供

    • Mike Lugo
      Cisco TACテクニカルリーダー
    • Dave Damerjian
      Cisco TACテクニカルリーダー
    • Dennis Lanov
      Cisco TACテクニカルリーダー

    このドキュメントは役に立ちましたか?

    Feedbackフィードバック

    シスコに問い合わせ

    このドキュメントは次の製品に対応しています