12000シリーズルータでの"QM_SANITY_WARNING"；メッセージのトラブルシューティング

はじめに

このドキュメントでは、IOSを実行している12000シリーズCiscoルータの異なるラインカードで発生する可能性がある、パケットバッファの枯渇メッセージをデバッグする手順について説明します。GSRバッファ管理に関する知識が不足しているため、実際に正常に機能しているハードウェアを交換するために貴重な時間とリソースが無駄になっていることは、非常に一般的です。

前提条件

要件 

Cisco 12000シリーズルータのアーキテクチャの概要を理解している必要があります。

使用するコンポーネント

このドキュメントの情報は、次のソフトウェアとハードウェアのバージョンに基づいています。

• Cisco 12000 シリーズ インターネット ルータ
• ギガビットスイッチルータをサポートするCisco IOS®ソフトウェアリリース

このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、クリアな（デフォルト）設定で作業を開始しています。対象のネットワークが実稼働中である場合には、どのようなコマンドについても、その潜在的な影響について確実に理解しておく必要があります。

表記法

表記法の詳細については、『シスコ テクニカル ティップスの表記法』を参照してください。

問題

GSRまたは12000シリーズのCiscoルータは、真の分散型アーキテクチャを備えています。これは、各LCがCisco IOSソフトウェアイメージの独自のコピーを実行し、パケット転送の決定を独自に完了するインテリジェンスを備えていることを意味します。各ラインカードには独自の機能があります

1. 転送ルックアップ
2. パケットバッファ管理
3. QOS
4. フロー制御

GSRでのパケットスイッチング中の最も重要な操作の1つは、ラインカードに配置されたさまざまなバッファ管理ASIC(BMA)によって実行されるバッファ管理です。次に、GSRバッファ管理に関連するメッセージをいくつか示します。これらのメッセージは、実稼働環境ではルータのログに表示される可能性があります。次のセクションでは、これらのメッセージがルータのログに表示される原因となるさまざまな要因と、問題を軽減するために実行すべき修正措置について説明します。状況によっては、これがパケット損失につながり、プロトコルフラップとして現れ、ネットワークに影響を与える可能性があります。

%EE48-3-QM_SANITY_WARNING: ToFab FreeQ buffers depleted

SLOT 1:Sep 16 19:06:40.003 UTC: %EE48-3-QM_SANITY_WARNING: Few free buffers(1) are available in ToFab FreeQ pool# 2

SLOT 8:Sep 16 19:06:45.943 UTC: %EE48-3-QM_SANITY_WARNING: Few free buffers(0) are available in ToFab FreeQ pool# 1

SLOT 0:Sep 16 19:06:46.267 UTC: %EE48-3-QM_SANITY_WARNING: Few free buffers(2) are available in ToFab FreeQ pool# 2

SLOT 8:Sep 16 19:06:47.455 UTC: %EE48-3-QM_SANITY_WARNING: ToFab FreeQ buffers depleted. Recarving the ToFab buffers

SLOT 8:Sep 16 19:06:47.471 UTC: %EE192-3-BM_QUIESCE:

解決方法

背景

QM-SANITY警告エラーをトラブルシューティングするには、GSRラインカード上のパケットフローを理解する必要があります。次の図は、C12kラインカードの主なブロックとパケットフローパスを示しています。

Cisco 12000シリーズインターネットルータのラインカード(LC)には、次の2種類のメモリがあります。

• ルートメモリまたはプロセッサメモリ(Dynamic RAM - DRAM)：このメモリにより、主にオンボードプロセッサでCisco IOSソフトウェアを実行し、ネットワークルーティングテーブル(転送情報ベース(FIB)、隣接関係)を保存できます
• パケットメモリ(Synchronous Dynamic RAM - SDRAM)：ラインカードパケットメモリは、ラインカードプロセッサによるスイッチングの決定を待っているデータパケットを一時的に保存します。

上の図から分かるように、GSRラインカードには専用のパケットバッファASIC(特定用途向け集積回路(ASIC))があり、トラフィックフローの各方向に1つずつあり、パケットメモリへのアクセスを提供します。これらのASICはバッファ管理ASIC(BMA)とも呼ばれ、ラインカード上でパケットバッファリングとバッファキュー管理機能を実行します。高いスループット/転送レートをサポートするために、どちらの方向のパケットメモリも異なるサイズのメモリプールに分割され、さまざまなMTUサイズのパケットを転送するように設計されています。

Physical Layer Interface Module（PLIM；物理層インターフェイスモジュール）カードで受信されたフレームは、レイヤ2で処理され、PLIMカードのローカルメモリにDMA処理されます。受信したデータユニット(PDU)が完了すると、PLIM内のASICが入力BMAに接続し、適切なサイズのバッファを要求します。バッファが許可されると、パケットはラインカードの入力パケットメモリに移動します。使用可能なバッファがない場合、パケットは廃棄され、ignoredインターフェイスカウンタが増えます。入力パケットプロセッサはパケット上で機能処理を行い、転送の決定を行い、出力ラインカードに対応するtoFabキューにパケットを移動します。ファブリックインターフェイスASIC(FIA)がパケットをシスコセルにセグメント化し、セルがスイッチファブリックに送信されます。次に、パケットは出力ラインカード上のFIAによってスイッチファブリックから受信され、再構成されたFrfabキューに入れられ、次に出力PLIMに送られ、最後に回線上に送信されます。

FrFab BMAが特定のバッファプールからバッファを選択するかどうかは、入力ラインカードのスイッチングエンジンの判断に基づきます。ボックス全体にあるすべてのキューは同じサイズで同じ順序であるため、スイッチングエンジンは送信LCに対し、パケットがルータに到達したときと同じ番号のキューにパケットを入れるよう指示します。

パケットの交換中、パケットの移動に使用された、入力ラインカードでの特定のバッファプールのキューサイズは、出力ラインカードのBMAがバッファを返すまで、1減少します。ここで、完全なバッファ管理はバッファ管理ASICによってハードウェアで行われ、フローのない操作のために、BMAはバッファを発信元の元のプールに戻す必要があることに注意する必要があります。

GSRパケットバッファ管理でストレスや障害が発生してパケットが失われるシナリオは3つあります。  次に、3つのシナリオを示します。

シナリオ 1：

ハードウェアキューの管理が失敗します。これは、出力BMAがパケットバッファの返しに失敗した場合、またはパケットバッファを誤ったバッファプールに返した場合に発生します。バッファが正しくないプールに戻された場合、あるバッファプールは増加し、あるバッファプールは一定期間にわたって枯渇していき、最終的には枯渇しているバッファプールサイズのパケットが処理されます。パケットバッファが枯渇して警告しきい値を超えると、QM健全性の警告が表示されるようになります。

QM sanity debugsおよびshow controllers tofab queuesコマンドを使用して、この状態の影響を受けるかどうかを確認します。QMの健全性しきい値を有効にする方法については、「トラブルシューティング」セクションを参照してください。

この状態は通常、ハードウェアの障害が原因で発生します。ルータで次の出力を確認し、パリティエラーやラインカードのクラッシュがないかを調べます。この問題を解決するには、ラインカードを交換します。

show controllers fia

show context all

show log

以下に例を挙げます。

QM健全性デバッグとshow controller tofab queueから、プール2のサイズが増加し、プール4のサイズが小さくなっていることがわかります。これは、プール4でバッファが失われ、プール2に戻されていることを示しています。

QMサニティデバッグ：

SLOT 5:Oct 25 04:41:03.286 UTC: Pool 1: Carve Size 102001: Current Size 73078

SLOT 5:Oct 25 04:41:03.286 UTC: Pool 2: Carve Size 78462: Current Size 181569

SLOT 5:Oct 25 04:41:03.286 UTC: Pool 3: Carve Size 57539: Current Size 6160

SLOT 5:Oct 25 04:41:03.286 UTC: Pool 4: Carve Size 22870: Current Size 67

SLOT 5:Oct 25 04:41:03.286 UTC: IPC FreeQ: Carve Size 600: Current Size 600

show controllers tofab queuesの出力：

    
     
     
 
     
 
     
 
     
 
     
 Qnum Head Tail #Qelem LenThresh 
     
 
     
 ---- ---- ---- ------ --------- 
     
 
     
  4 non-IPC free queues: 
     
 
     
 
      
     
 
     
 
             102001/102001 (buffers specified/carved), 39.1%, 80 byte data size 
     
 
     
 
             1       13542   13448           73078   262143 
     
 
     
 
             78462/78462 (buffers specified/carved), 30.0%, 608 byte data size 
     
 
     
 
             2       131784  131833          181569  262143                                  
     
 
     
 
             57539/57539 (buffers specified/carved), 22.0%, 1616 byte data size 
     
 
     
 
             3       184620  182591          6160    262143    
     
 
     
 
             23538/22870 (buffers specified/carved), 8.74%, 4592 byte data size 
     
 
     
 
             4       239113  238805          67      262143                    
     
 
     
 
      
       
    

シナリオ 2：

ネクストホップデバイスまたは転送パスでのトラフィック輻輳。このシナリオでは、GSRがトラフィックを供給するデバイスはGSRの速度で処理できないため、ネクストホップデバイスはGSRにポーズフレームを送信して、速度を下げるように要求しています。フロー制御がGSR PLIMカードで有効になっている場合（デフォルト）、ルータはポーズフレームを受け入れ、パケットのバッファリングを開始します。最終的に、ルータでバッファが使い果たされ、QM健全性エラーメッセージが表示されてパケットがドロップされます。パケットバッファが枯渇して警告しきい値を超えると、QM健全性の警告が表示されるようになります。QM健全性しきい値を見つける方法については、「トラブルシューティング」の項を参照してください。

ルータがこのシナリオの影響を受けているかどうかを確認するには、出力インターフェイスでshow interfaceの出力を使用します。次のキャプチャは、ポーズフレームを受信するインターフェイスの例を示しています。アクションプランでは、ネクストホップデバイスの輻輳の原因を調べます。

GigabitEthernet6/2 is up, line protocol is up

  Small Factor Pluggable Optics okay

  Hardware is GigMac 4 Port GigabitEthernet, address is 000b.455d.ee02 (bia 000b.455d.ee02)

  Description: Cisco Sydney Lab 

  Internet address is 219.158.33.86/30

  MTU 1500 bytes, BW 500000 Kbit, DLY 10 usec, rely 255/255, load 154/255

  Encapsulation ARPA, loopback not set

  Keepalive set (10 sec)

  Full Duplex, 1000Mbps, link type is force-up, media type is LX

  output flow-control is on, input flow-control is on

  ARP type: ARPA, ARP Timeout 04:00:00

  Last input 00:00:02, output 00:00:02, output hang never

  Last clearing of "show interface" counters 7w1d

  Queueing strategy: random early detection (WRED)

  Output queue 0/40, 22713601 drops; input queue 0/75, 736369 drops

        Available Bandwidth 224992 kilobits/sec

  30 second input rate 309068000 bits/sec, 49414 packets/sec

  30 second output rate 303400000 bits/sec, 73826 packets/sec

     143009959974 packets input, 88976134206186 bytes, 0 no buffer

     Received 7352 broadcasts, 0 runts, 0 giants, 0 throttles

     0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored

     0 watchdog, 7352 multicast, 45 pause input

     234821393504 packets output, 119276570730993 bytes, 0 underruns

     Transmitted 73201 broadcasts

     0 output errors, 0 collisions, 0 interface resets

     0 babbles, 0 late collision, 0 deferred

     0 lost carrier, 0 no carrier, 0 pause output

     0 output buffer failures, 0 output buffers swapped out

シナリオ 3：

不適切なネットワーク設計、トラフィックバースト、DOS攻撃によるオーバーサブスクリプションが発生した場合。QM健全性の警告は、ラインカードが処理できるトラフィックよりも多くのトラフィックがルータ宛てに送信され、高いトラフィック状態が継続している場合に発生する可能性があります。

これを回避するには、ルータ内のすべてのインターフェイスのトラフィックレートをチェックします。これにより、高速リンクのいずれかで低速リンクが輻輳しているかどうかを確認できます。

show interface outputコマンドを使用します。

トラブルシューティングのためのコマンド

LCの現在のQM健全性レベルを確認する

•  LCへの接続

• イネーブルモードに移行します

• test fabコマンドの実行

• 「qm_sanity_info」の出力を収集します

• test fabコマンドラインを終了するオプションq

• LCを終了します 

QM健全性パラメータを設定するには

• 設定モードに変更する
• hw-module slot <slot#> qm-sanity tofab warning freq <>を実行します。

QMサニティデバッグを有効または無効にするには

•  LCへの接続

• イネーブルモードに移行します

• test fabコマンドの実行

• 「qm_sanity_debug」を実行します。もう一度実行すると、デバッグが停止します

• test fabコマンドラインを終了するオプションq

• LCを終了します

GSRファブリックインターフェイスASICの統計情報を確認する

• show controller fia（隠しコマンド）

Tofabキューをチェックする

• show controllers tofab queues（隠しコマンド）

Frfabキューをチェックするには

• show controller frfab queues

以下に例を挙げます。

次の出力は、実際に動作しているラボルータからの抜粋で、コマンド出力のデモを行っています。

GSR-1-PE-5#show controller fia

Fabric configuration: 10Gbps bandwidth (2.4Gbps available), redundant fabric

Master Scheduler: Slot 17     Backup Scheduler: Slot 16

Fab epoch no 0          Halt count 0         




From Fabric FIA Errors

-----------------------

redund overflow 0          cell drops 0         

cell parity     0          

Switch cards present    0x001F    Slots  16 17 18 19 20 

Switch cards monitored  0x001F    Slots  16 17 18 19 20 

Slot:     16         17         18         19         20

Name:    csc0       csc1       sfc0       sfc1       sfc2

       --------   --------   --------   --------   --------

los    0          0          0          0          0          

state  Off        Off        Off        Off        Off       

crc16  0          0          0          0          0          




To Fabric FIA Errors

-----------------------

sca not pres 0          req error     0          uni fifo overflow 0         

grant parity 0          multi req     0          uni fifo undrflow 0         

cntrl parity 0          uni req       0          

multi fifo   0          empty dst req 0          handshake error   0         

cell parity  0         

GSR-1-PE-5#attach 1

Entering Console for Modular SPA Interface Card in Slot: 1

Type "exit" to end this session










Press RETURN to get started!







LC-Slot1>en

LC-Slot1#test fab

BFLC diagnostic console program

BFLC (? for help) [?]: qm_sanity_debug

QM Sanity Debug enabled




BFLC (? for help) [qm_sanity_debug]: 

SLOT 1:02:54:33:  ToFAB BMA information

SLOT 1:02:54:33: Number of FreeQs carved 4

SLOT 1:02:54:33: Pool 1: Carve Size 102001: Current Size 102001

SLOT 1:02:54:33: Pool 2: Carve Size 78462: Current Size 78462

SLOT 1:02:54:33: Pool 3: Carve Size 57539: Current Size 57539

SLOT 1:02:54:33: Pool 4: Carve Size 22870: Current Size 22870

SLOT 1:02:54:33: IPC FreeQ: Carve Size 600: Current Size 600

SLOT 1:02:54:33: Number of LOQs enabled 768

SLOT 1:02:54:33: Number of LOQs disabled 1280

SLOT 1:02:54:33:  ToFAB BMA information

SLOT 1:02:54:33: Number of FreeQs carved 4

SLOT 1:02:54:33: Pool 1: Carve Size 102001: Current Size 102001

SLOT 1:02:54:33: Pool 2: Carve Size 78462: Current Size 78462

SLOT 1:02:54:33: Pool 3: Carve Size 57539: Current Size 57539

SLOT 1:02:54:33: Pool 4: Carve Size 22870: Current Size 22870

SLOT 1:02:54:33: IPC FreeQ: Carve Size 600: Current Size 600

SLOT 1:02:54:33: Number of LOQs enabled 768

SLOT 1:02:54:33: Number of LOQs disabled 1280

QM Sanity Debug disabled




BFLC (? for help) [qm_sanity_debug]: qm_sanity_info

ToFab QM Sanity level Warning

FrFab QM Sanity level None

Sanity Check is triggered every 20 seconds

Min. buffers threshold in percentage 5




BFLC (? for help) [qm_sanity_info]: q

LC-Slot1#exi




Disconnecting from slot 1.

Connection Duration: 00:01:09







GSR-1-PE-5#config t

Enter configuration commands, one per line.  End with CNTL/Z.

GSR-1-PE-5(config)#hw-module slot 1 qm-sanity tofab warning freq 10

GSR-1-PE-5(config)#end

GSR-1-PE-5#attach 1

02:57:25: %SYS-5-CONFIG_I: Configured from console by console

GSR-1-PE-5#attach 1           

Entering Console for Modular SPA Interface Card in Slot: 1

Type "exit" to end this session










Press RETURN to get started!







LC-Slot1>en

LC-Slot1#test fab

BFLC diagnostic console program

BFLC (? for help) [?]: qm_sanity_info

ToFab QM Sanity level Warning

FrFab QM Sanity level None

Sanity Check is triggered every 10 seconds

Min. buffers threshold in percentage 5




BFLC (? for help) [qm_sanity_info]: q

LC-Slot1#exit




Disconnecting from slot 1.

Connection Duration: 00:00:27







GSR-1-PE-5#execute-on all show controllers tofab queues

========= Line Card (Slot 0) =========

Carve information for ToFab buffers

   SDRAM size: 268435456 bytes, address: E0000000, carve base: E0018000

   268337152 bytes carve size,  4 SDRAM bank(s), 16384 bytes SDRAM pagesize, 2 carve(s)

   max buffer data size 4592 bytes, min buffer data size 80 bytes

   262141/262141 buffers specified/carved

   265028848/265028848 bytes sum buffer sizes specified/carved 




 Qnum Head Tail #Qelem LenThresh

 ---- ---- ---- ------ ---------




   4 non-IPC free queues:




 107232/107232 (buffers specified/carved), 40.90%, 80 byte data size

 601   107832 107232 262143

 73232/73232 (buffers specified/carved), 27.93%, 608 byte data size

 107833 181064 73232 262143

 57539/57539 (buffers specified/carved), 21.94%, 1616 byte data size

 181065 238603 57539 262143

 23538/23538 (buffers specified/carved), 8.97%, 4592 byte data size

 238604 262141 23538 262143

   IPC Queue:

 600/600 (buffers specified/carved), 0.22%, 4112 byte data size

 155   154   600   262143

   Raw Queue (high priority):

 0     0     0     65535 

   Raw Queue (medium priority):

 0     0     0     32767 

   Raw Queue (low priority):

 0     0     0     16383 

   ToFab Queues:

   Dest Slot Queue# Head Tail Length Threshold

                          pkts  pkts

   ==============================================================

   0  0 0 0 0 262143

     15  2191(hpr) 0 0 0 0




   Multicast   2048 0 0 0 262143

   2049 0 0 0 262143

 ========= Line Card (Slot 1) =========

Carve information for ToFab buffers

   SDRAM size: 268435456 bytes, address: 26000000, carve base: 26010000

   268369920 bytes carve size,  4 SDRAM bank(s), 32768 bytes SDRAM pagesize, 2 carve(s)

   max buffer data size 4592 bytes, min buffer data size 80 bytes

   262140/261472 buffers specified/carved

   267790176/264701344 bytes sum buffer sizes specified/carved 




 Qnum Head Tail #Qelem LenThresh

 ---- ---- ---- ------ ---------




   4 non-IPC free queues:




 102001/102001 (buffers specified/carved), 39.1%, 80 byte data size

 1     601   102601 102001 262143

 78462/78462 (buffers specified/carved), 30.0%, 608 byte data size

 2     102602 181063 78462 262143

 57539/57539 (buffers specified/carved), 22.0%, 1616 byte data size

 3     181064 238602 57539 262143

 23538/22870 (buffers specified/carved), 8.74%, 4592 byte data size

 4     238603 261472 22870 262143

   IPC Queue:

 600/600 (buffers specified/carved), 0.22%, 4112 byte data size

 30    85    84    600   262143

   Raw Queue (high priority):

 27    0     0     0     65368 

   Raw Queue (medium priority):

 28    0     0     0     32684 

   Raw Queue (low priority):

 31    0     0     0     16342 

   ToFab Queues:

   Dest Slot Queue# Head Tail Length Threshold

                          pkts  pkts

  =============================================================

 ::::::::::::::::::::

   Hi Priority

   0 2176(hpr) 0 0 0

   1 2177(hpr) 0 0 0

   2 2178(hpr) 0 0 0

   3 2179(hpr) 0 0 0

   4 2180(hpr) 553 552 0

   5 2181(hpr) 0 0 0

   6 2182(hpr) 0 0 0

   7 2183(hpr) 0 0 0

   8 2184(hpr) 0 0 0

   9 2185(hpr) 0 0 0

   10 2186(hpr) 0 0 0

   11 2187(hpr) 0 0 0

   12 2188(hpr) 0 0 0

   13 2189(hpr) 0 0 0

   14 2190(hpr) 0 0 0

   15 2191(hpr) 0 0 0




   Multicast

   2048 0 0 0

   2049 0 0 0

   2050 0 0 0

   2051 0 0 0

   2052 0 0 0

   2053 0 0 0

   2054 0 0 0

   2055 0 0 0




========= Line Card (Slot 3) =========

Carve information for ToFab buffers

   SDRAM size: 268435456 bytes, address: E0000000, carve base: E0018000

   268337152 bytes carve size,  4 SDRAM bank(s), 16384 bytes SDRAM pagesize, 2 carve(s)

   max buffer data size 4112 bytes, min buffer data size 80 bytes

   262142/262142 buffers specified/carved

   230886224/230886224 bytes sum buffer sizes specified/carved 




 Qnum Head Tail #Qelem LenThresh

 ---- ---- ---- ------ ---------




   3 non-IPC free queues:




 94155/94155 (buffers specified/carved), 35.91%, 80 byte data size

 601   94755 94155 262143

 57539/57539 (buffers specified/carved), 21.94%, 608 byte data size

 94756 152294 57539 262143

 109848/109848 (buffers specified/carved), 41.90%, 1616 byte data size

 152295 262142 109848 262143

   IPC Queue:

 600/600 (buffers specified/carved), 0.22%, 4112 byte data size

 207   206   600   262143

   Raw Queue (high priority):

 0     0     0     65535 

   Raw Queue (medium priority):

 0     0     0     32767 

   Raw Queue (low priority):

 0     0     0     16383 

   ToFab Queues:

   Dest Slot Queue# Head Tail Length Threshold

                          pkts  pkts

   ==============================================================

   0  0 0 0 0 262143

  1 0 0 0 262143

  2 0 0 0 262143

  3 0 0 0 262143

  :::::::::::::::::::::::::::

   2049 0 0 0 262143

   2050 0 0 0 262143

   2051 0 0 0 262143

   2052 0 0 0 262143

   2053 0 0 0 262143

   2054 0 0 0 262143

   2055 0 0 0 262143







GSR-1-PE-5#execute-on slot 2 show controller frfab queues

========= Line Card (Slot 2) =========

Carve information for FrFab buffers

   SDRAM size: 268435456 bytes, address: D0000000, carve base: D241D100

   230567680 bytes carve size,  4 SDRAM bank(s), 16384 bytes SDRAM pagesize, 2 carve(s)

   max buffer data size 4592 bytes, min buffer data size 80 bytes

   235926/235926 buffers specified/carved

   226853664/226853664 bytes sum buffer sizes specified/carved 




 Qnum Head Tail #Qelem LenThresh

 ---- ---- ---- ------ ---------




   4 non-IPC free queues:




 96484/96484 (buffers specified/carved), 40.89%, 80 byte data size

 11598 11597 96484 262143

 77658/77658 (buffers specified/carved), 32.91%, 608 byte data size

 103116 103115 77658 262143

 40005/40005 (buffers specified/carved), 16.95%, 1616 byte data size

 178588 178587 40005 262143

 21179/21179 (buffers specified/carved), 8.97%, 4592 byte data size

 214748 235926 21179 262143

   IPC Queue:

 600/600 (buffers specified/carved), 0.25%, 4112 byte data size

 66    65    600   262143

   Multicast Raw Queue:

 0     0     0     58981 

   Multicast Replication Free Queue:

 235930 262143 26214 262143

   Raw Queue (high priority):

 78    77    0     235927

   Raw Queue (medium priority):

 11596 11595 0     58981 

   Raw Queue (low priority):

 0     0     0     23592 

   Interface Queues:

   Interface Queue# Head Tail Length Threshold

                         pkts  pkts

   ======================================================

   0    0 103107 103106 0 32768

  3 178588 178587 0 32768

   1    4 103110 103109 0 32768

  7 11586 11585 0 32768

   2    8 0 0 0 32768

  11 0 0 0 32768

   3    12 0 0 0 32768

  15 0 0 0 32768




GSR-1-PE-5#