Contenu

Introduction

Informations générales

Commandes de dépannage de voie SERDES

Récupération manuelle

Informations connexes

Introduction

Ce document décrit les commandes de dépannage pour la liaison Serializer Deserializer (SERDES) dans l'ASR 5500.

Informations générales

L'ASR 5500 contient des liaisons SERDES entre les cartes afin de faciliter la communication et les chemins de données entre les cartes Fabric and Storage Card (FSC), Data Processing Card (DPC) et Management Input/Output (MIO). Parfois, ces liaisons SERDES peuvent s'arrêter en raison d'erreurs ou de défaillances matérielles.

Commandes de dépannage de voie SERDES

Commandes permettant d'examiner les voies SERDES du châssis ASR 5500 :

- Collecter les show support details, consultez la section « debug console... » portion pour les lignes de sortie :

1397273780.205 card 5-cpu0: afio [5/0/7808] [  80616.933] afio/afio_fe600_serdes.c:3297: #1: fe600=47=16/1, Fabric SERDES lane transitioned from up to down, serdes=29, devid=25=7/1

- Accéder au mode de test de l'ILC du châssis cli test-commands password

.

Attention : L'utilisation de ce mode peut entraîner une interruption de service importante

- Problème show fabric health pour obtenir une vue d'ensemble de la matrice de commutation.

Astuce : Les mêmes informations peuvent être obtenues auprès du show fabric support details partie du show support details

Dans l'exemple, il y a un problème entre la carte DPC 2 et la carte FSC 14.

Dans la sortie, la défaillance est signalée du DPC source dans le logement 2 vers le FSC dans le logement 14 :

Command: petra-b system-device-id 3

Command: show health

Petra-B 3=2/1

Fabric Status:

Status OK(+)------------------------+

Topology fault(T)------------------+|

Far side not expected(*)----------+||

Logically not connected(L)-------+|||

Physically not connected(P)-----+||||           NIF Status:

Rx Down(*)---------------------+||||| +----------NIF powered off(*)

Tx Down(*)--------------------+|||||| |+---------SERDES powered off(*)

Code Group(G)----------------+||||||| ||+--------Local side down(l)

Misalignment(M)-------------+|||||||| |||+-------Remote side down(r)

Cell Size(C)---------------+||||||||| ||||+------Rx activity(r)

Internally fixed(I)-------+|||||||||| |||||+-----Tx activity(t)

Not Accept Cells(A)------+||||||||||| ||||||+----Status OK(+)

|||||||||||| |||||||

SERDES Status:            |||||||||||| |||||||

Status OK(+)-----------+ |||||||||||| |||||||

Rx power off(*)-------+| |||||||||||| |||||||

Tx power off(*)------+|| |||||||||||| |||||||

Sig not locked(S)---+||| |||||||||||| |||||||

Rx signal loss(*)--+|||| |||||||||||| |||||||

Modified Parms(m)-+||||| |||||||||||| |||||||

Admin down(D)----+|||||| |||||||||||| |||||||

||||||| |||||||||||| |||||||

Fabric lane-----+ ||||||| |||||||||||| |||||||

SERDES lane--+  | ||||||| |||||||||||| |||||||                                      Config

Source  Dev SL FL vvvvvvv vvvvvvvvvvvv vvvvvvv     Rate     Topology CRC Errs  Remote Dev SL FL       Last Change

------- --- -- -- ------- ------------ ------- ------------ -------- -------- ------- --- -- -- ----------------------

3= 2/1 FAP 47 15       + A  M    L            6250.00 Mbps        -        - 43=14/1  FE 82 82 FAULT_DETECTED         ***

Dans la sortie pour la même liaison dans l'autre sens de la carte FSC dans le logement 14 à la carte DPC dans le logement 2, la même erreur est signalée :

Command: fe600 system-device-id 43

Command: show health

FE600 43=14/1

Fabric Status:

Status OK(+)------------------------+

Topology fault(T)------------------+|

Far side not expected(*)----------+||

Logically not connected(L)-------+|||

Physically not connected(P)-----+||||           NIF Status:

Rx Down(*)---------------------+||||| +----------NIF powered off(*)

Tx Down(*)--------------------+|||||| |+---------SERDES powered off(*)

Code Group(G)----------------+||||||| ||+--------Local side down(l)

Misalignment(M)-------------+|||||||| |||+-------Remote side down(r)

Cell Size(C)---------------+||||||||| ||||+------Rx activity(r)

Internally fixed(I)-------+|||||||||| |||||+-----Tx activity(t)

Not Accept Cells(A)------+||||||||||| ||||||+----Status OK(+)

|||||||||||| |||||||

SERDES Status:            |||||||||||| |||||||

Status OK(+)-----------+ |||||||||||| |||||||

Rx power off(*)-------+| |||||||||||| |||||||

Tx power off(*)------+|| |||||||||||| |||||||

Sig not locked(S)---+||| |||||||||||| |||||||

Rx signal loss(*)--+|||| |||||||||||| |||||||

Modified Parms(m)-+||||| |||||||||||| |||||||

Admin down(D)----+|||||| |||||||||||| |||||||

||||||| |||||||||||| |||||||

Fabric lane-----+ ||||||| |||||||||||| |||||||

SERDES lane--+  | ||||||| |||||||||||| |||||||                                      Config

Source  Dev SL FL vvvvvvv vvvvvvvvvvvv vvvvvvv     Rate     Topology CRC Errs  Remote Dev SL FL       Last Change

------- --- -- -- ------- ------------ ------- ------------ -------- -------- ------- --- -- -- ----------------------

43=14/1  FE 82 82       +         L T          6250.00 Mbps   3= 2/1        -  3= 2/1 FAP 47 15 FAULT_DETECTED         ***

L’état hors connexion de la liaison SERDES est un autre type de problème. Dans l'exemple, la liaison entre la carte DPC du logement 6 et la carte FSC du logement 17 est hors ligne :

23= 6/3 FAP 38  6 D                            6250.00 Mbps  50=17/2  1557643 50=17/2  FE 65 65 OFFLINE                ***

Le nombre total de liaisons SERDES actives et le nombre de liaisons actives sont indiqués dans le résultat de la commande show fabric status erasecat4000_flash:. Dans l’exemple illustré, deux liaisons ont été décomptées, une pour chaque côté de la liaison. Une seule voie n'est pas un problème. La capacité de fabric est largement excédentaire et une seule voie n'a pas d'incidence sur le débit. Le seul problème est que les liaisons sont continuellement activées et désactivées en raison d'erreurs, auquel cas il est possible que le trafic utilisateur et de contrôle soit abandonné, et c'est pourquoi il est préférable que la liaison soit désactivée.

[local]ASR5500> show fabric status

Total number of FAPs: 24

Total number of FEs : 8

Total number of SERDES links:        1600

Total number of active SERDES links: 1598

Note: La capacité de fabric est largement excédentaire et une seule voie n'a pas d'incidence sur le débit du châssis.

- Normalement, le problème de lien s'efface de lui-même. Le système exécute les étapes automatiques appelées Eyescan pour résoudre le problème. Les résultats de la récupération automatique sont consignés dans le show serdes all-serdes history sections de la show fabric support details

Note: Le FE (Fabric Element) est le côté carte FSC. Le FAP (Fabric Array Processor) est le côté carte DPC et/ou MIO.

Les cartes DPC ont 2 FAP, les cartes DPC2 ont seulement 1 FAP ; les cartes MIO ont 4 FAP et les FSC ont 2 FE.

Le format dans le résultat des commandes est <card #>/<FAP/FE #>, par exemple, MIO 5 aurait 5/1, 5/2, 5/3, 5/4.

Un châssis DPC2 entièrement chargé aurait 28 points d'extrémité : 8 (8 DPC) + 8 (2 MIO * 4) + 12 ( 6 FCS * 2)

L'exemple du côté FE qui a été restauré après la récupération automatique est montré :

card=5, cpu=0, pid=7808, peer_mode=AFIO_IPC_PEER_MODE_DAEMON, sys_dev_id=47=16/1

Fabric Status:

Topology fault(T)----------------+

Far side not expected(*)--------+|

Logically not connected(L)-----+||

Physically not connected(P)---+|||

Rx Down(*)-------------------+||||

Tx Down(*)------------------+|||||        NIF Status:

Code Group(G)--------------+|||||| +--------NIF powered off(*)

Misalignment(M)-----------+||||||| |+-------SERDES powered off(*)

Cell Size(C)-------------+|||||||| ||+------Local side down(l)

Internally fixed(I)-----+||||||||| |||+-----Remote side down(r)

Not Accept Cells(A)----+|||||||||| ||||

||||||||||| ||||

SERDES Status:            ||||||||||| ||||

Rx power off(*)------+ ||||||||||| ||||

Tx power off(*)-----+| ||||||||||| ||||

Sig not locked(S)--+|| ||||||||||| ||||

Rx signal loss(*)-+||| ||||||||||| ||||

Admin Down(D)----+|||| ||||||||||| ||||

||||| ||||||||||| ||||

Fabric lane-----+ ||||| ||||||||||| ||||

SERDES lane--+  | ||||| ||||||||||| ||||

Record time     Source  Dev SL FL vvvvv vvvvvvvvvvv vvvv Remote  Dev SL FL CRC Errs        Last Change

------------------- ------- --- -- -- ----- ----------- ---- ------- --- -- -- -------- ----------------------

2014-05-18+12:38:17 47=16/1  FE 40 40        I               31= 8/1 FAP 43 11        1 CRC_ERROR

2014-05-18+12:39:27 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 ADMIN_DOWN

2014-05-18+12:39:28 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 EYESCAN_START

2014-05-18+13:14:41 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 EYESCAN_COMPLETE

2014-05-18+13:14:50 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 ADMIN_UP

La récupération d'un autre côté de la ligne est illustrée dans l'exemple :

card=5, cpu=0, pid=7808, peer_mode=AFIO_IPC_PEER_MODE_DAEMON, sys_dev_id=47=16/1

Fabric Status:

Topology fault(T)----------------+

Far side not expected(*)--------+|

Logically not connected(L)-----+||

Physically not connected(P)---+|||

Rx Down(*)-------------------+||||

Tx Down(*)------------------+|||||        NIF Status:

Code Group(G)--------------+|||||| +--------NIF powered off(*)

Misalignment(M)-----------+||||||| |+-------SERDES powered off(*)

Cell Size(C)-------------+|||||||| ||+------Local side down(l)

Internally fixed(I)-----+||||||||| |||+-----Remote side down(r)

Not Accept Cells(A)----+|||||||||| ||||

||||||||||| ||||

SERDES Status:            ||||||||||| ||||

Rx power off(*)------+ ||||||||||| ||||

Tx power off(*)-----+| ||||||||||| ||||

Sig not locked(S)--+|| ||||||||||| ||||

Rx signal loss(*)-+||| ||||||||||| ||||

Admin Down(D)----+|||| ||||||||||| ||||

||||| ||||||||||| ||||

Fabric lane-----+ ||||| ||||||||||| ||||

SERDES lane--+  | ||||| ||||||||||| ||||

Record time     Source  Dev SL FL vvvvv vvvvvvvvvvv vvvv Remote  Dev SL FL CRC Errs        Last Change

------------------- ------- --- -- -- ----- ----------- ---- ------- --- -- -- -------- ----------------------

2014-05-18+12:38:17 47=16/1  FE 40 40        I               31= 8/1 FAP 43 11        1 CRC_ERROR

2014-05-18+12:39:27 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 ADMIN_DOWN

2014-05-18+12:39:28 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 EYESCAN_START

2014-05-18+13:14:41 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 EYESCAN_COMPLETE

2014-05-18+13:14:50 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 ADMIN_UP

- Dans StarOS version 16.1 et ultérieure, le système peut générer des déroutements SNMP lorsqu'un seuil EGQ (Egress Queue Discard) configuré est observé par le châssis. L'exemple des commandes utilisées pour définir le seuil à 50 EGQ Discards par période de 30 secondes est illustré.

[local]asr5500# config

[local]asr5500(config)# fabric egress drop-threshold enable count 50 interval-secs 30

Récupération manuelle

Lorsqu’une liaison SERDES n’a pas été restaurée après le test et la reprogrammation d’Eyescan, une récupération manuelle est nécessaire. Malheureusement, avec le logiciel, nous ne sommes pas en mesure de déterminer quel côté de la liaison SERDES est en faute. Nous devons adopter une approche méthodique pour résoudre le problème.

Attention : Les étapes 1 et 2 sont obligatoires avant la RMA

1. Réinstallez d'abord une carte. Faites glisser la carte et recherchez dans le fond de panier de la carte des broches endommagées et courbées sur la carte et dans le fond de panier du châssis.

- Si des broches endommagées et tordues sont observées, prenez des photos et soulevez la demande de service (SR) auprès du TAC Cisco.

- Surveillez pendant 72 heures.

- Si le problème se reproduit, passez à l'étape 2.

- S'il est effacé, le problème est résolu.

2. Reconnectez l'autre carte. Faites glisser la carte et recherchez dans le fond de panier de la carte des broches endommagées et courbées sur la carte et dans le fond de panier du châssis.

- Si des broches endommagées et tordues sont observées, prenez des photos et soulevez la demande de service (SR) auprès du TAC Cisco.

- Surveillez pendant 72 heures.

- Si le problème se reproduit, passez à l'étape 3.

- S'il est effacé, le problème est résolu.

3. Ouvrez SR avec Cisco TAC et attachez recueilli les détails de show support avant et après la remise en place des cartes, et des images de broches endommagées ou tordues.

Une fois le problème résolu, le show fabric status ressemble à ceci :

[local]ASR5500> show fabric status

Total number of FAPs: 24

Total number of FEs : 8

Total number of SERDES links:        1600

Total number of active SERDES links: 1600

Une interruption SNMP SERDESLanePermenentlyDown a été mis en oeuvre pour indiquer qu'une voie SERDES s'est désactivée de façon permanente en raison de défaillances d'Eyescan :

Sun Apr 17 00:05:00 2016 Internal trap notification 1303 (SERDESLanePermanentlyDown) SERDES lane is Down on local: slot 17 device 2 serdes lane index 14, Remote: slot 1 device 1 serdes lane index 40

[local]ASR5500> show fabric status

Total number of FAPs: 16

Total number of FEs : 12

Total number of SERDES links:        1456

Total number of active SERDES links: 1454

Total number of Fabric SERDES with errors: 0

Total number of NIF SERDES with errors   : 0

[local]ASR5500> show fabric history

Command: arad system-device-id 1

Command: show serdes all-serdes history

Fabric Status:

+------Not Accept Cells(A)

SERDES Status:              |+-----Cell Size(C)

Power off(*)-------------+ ||+----Misalignment(M)

Sig not locked(S)-------+| |||+---Code Group(G)

Admin down(D)----------+|| ||||+--Topology fault(T)

||| |||||

Logical Port---------+  ||| |||||

Fabric lane-----+    |  ||| |||||

SERDES lane--+  |    |  ||| |||||

Record time     Source  Dev SL  FL   |  vvv vvvvv Remote  Dev SL  FL  CRC Errs      Last Change

------------------- ------- --- --- --- --- --- ----- ------- --- --- --- -------- ----------------------

2016-04-16+23:53:05  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - FAULT_DETECTED

2016-04-16+23:53:14  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - ADMIN_DOWN

2016-04-16+23:57:02  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - ADMIN_UP

2016-04-16+23:57:02  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - FAULT_DETECTED

2016-04-16+23:57:11  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - ADMIN_DOWN

2016-04-17+00:00:59  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - ADMIN_UP

2016-04-17+00:00:59  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - FAULT_DETECTED

2016-04-17+00:01:08  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - ADMIN_DOWN

2016-04-17+00:05:00  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - ADMIN_UP

2016-04-17+00:05:00  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - FAULT_DETECTED

...

Command: fe600 system-device-id 42

Command: show serdes all-serdes history

NIF Status:                               Fabric Status:

Remote side down(r)-------+ +------------Not Accept Cells(A)

Local side down(l)-------+| |+-----------Internally fixed(*)

SERDES powered off(*)---+|| ||+----------Cell Size(C)

NIF powered off(*)-----+||| |||+---------Misalignment(M)

|||| ||||+--------Code Group(G)

SERDES Status:          |||| |||||+-------Tx Down(*)

Rx power off(*)------+ |||| ||||||+------Rx Down(*)

Tx power off(*)-----+| |||| |||||||+-----Physically not connected(P)

Sig not locked(S)--+|| |||| ||||||||+----Logically not connected(L)

Rx signal loss(*)-+||| |||| |||||||||+---Far side not expected(*)

Admin down(D)----+|||| |||| ||||||||||+--Topology fault(T)

||||| |||| |||||||||||

Fabric lane-----+ ||||| |||| |||||||||||

SERDES lane--+  | ||||| |||| |||||||||||

Record time     Source  Dev SL FL vvvvv vvvv vvvvvvvvvvv Remote  Dev SL  FL  CRC Errs      Last Change

------------------- ------- --- -- -- ----- ---- ----------- ------- --- --- --- -------- ----------------------

2016-04-16+23:57:01 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - FAULT_DETECTED

2016-04-16+23:57:11 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - ADMIN_DOWN

2016-04-16+23:57:11 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - EYESCAN_START

2016-04-17+00:00:52 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - EYESCAN_FAILURE

2016-04-17+00:00:55 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - ADMIN_UP

2016-04-17+00:00:58 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - FAULT_DETECTED

2016-04-17+00:01:08 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - ADMIN_DOWN

2016-04-17+00:01:08 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - EYESCAN_START

2016-04-17+00:04:56 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - EYESCAN_FAILURE

2016-Apr-17+00:05:00.023 [snmp 22002 info] [5/0/7150 <afctrl:0> trap_api.c:17297] [software internal system syslog] Internal trap notification 1303 (SERDESLanePermanentlyDown) SERDES lane is Down on local: slot 17 device 2 serdes lane index 14, Remote: slot 1 device 1 serdes lane index 40

2016-Apr-17+00:05:00.023 [afctrl 186019 critical] [5/0/7150 <afctrl:0> l_msg_handler.c:1541] [hardware internal system syslog] Fabric device 17/2, serdes lane index 14, (remote fabric device 1/1, serdes lane index 40) is Administratively offline due to excessive calibration failures

2016-Apr-16+23:41:09.247 [system 1009 warning] [6/0/10430 <evlogd:1> evlgd_syslogd.c:162] [software internal system critical-info syslog] CPU[5/0]:  afio: afio [5/0/9285] [ 426721.037] afio/afio_fe600_serdes.c:2827: #1: fe600=42=17/2, Fabric SERDES lane transitioned from up to down, serdes=14, devid=1=1/1, serdes=40

2016-Apr-16+23:41:09.247 [system 1009 warning] [5/0/7073 <evlogd:0> evlgd_syslogd.c:162] [software internal system critical-info syslog] CPU[5/0]:  afio: afio [5/0/9285] [ 426721.037] afio/afio_fe600_serdes.c:2827: #1: fe600=42=17/2, Fabric SERDES lane transitioned from up to down, serdes=14, devid=1=1/1, serdes=40

Informations connexes

- Guide de dépannage du Cisco ASR 5500