Risoluzione dei problemi relativi a SFP (Small Form-Factor Pluggable)/cavi

Introduzione

Questo documento descrive il tipo di switch/modulo/SFP e i cavi che devono essere verificati come supportati, quando si verifica un problema di errore bit/word.

Contributo di Afroj Ahmad e Ed Mazurek, tecnici Cisco TAC.

Scheda tecnica dei ricetrasmettitori collegabili Cisco Multilayer Data Switch (MDS) 9000

https://www.cisco.com/c/en/us/products/collateral/storage-networking/mds-9000-series-multilayer-switches/product_data_sheet09186a00801bc698.html?dtid=osscdc000283

Determinare principalmente la quantità, la lunghezza e il tipo esatti (OM2, OM3, ecc.) dei cavi interessati, nonché il numero di pannelli di patch presenti. 

L'SFP visualizza le proprie capacità:

Per un SFP a onde corte

F241-15-09-MDS9710# show interface fc1/4 transceiver details
fc1/4 sfp is present
    Name is CISCO-AVAGO
    Manufacturer's part number is AFBR-57F5PZ-CS1
    Revision is B2
    Serial number is AVA1551J9KF
    Cisco part number is 10-2666-01
    Cisco pid is DS-SFP-FC16G-SW
    FC Transmitter type is short wave laser w/o OFC (SN)
    FC Transmitter supports short distance link length
    Transmission medium is multimode laser with 62.5 um aperture (M6)
    Supported speeds are - Min speed: 4000 Mb/s, Max speed: 16000 Mb/s
    Nominal bit rate is 14000 Mb/s
    Link length supported for 50/125um OM2 fiber is 35 m
    Link length supported for 62.5/125um fiber is 15 m
    Link length supported for 50/125um OM3 fiber is 100 m
    Cisco extended id is unknown (0x0)

    No tx fault, no rx loss, in sync state, diagnostic monitoring type is 0x68
    SFP Diagnostics Information:
----------------------------------------------------------------------------
                                     Alarms                  Warnings
                                High        Low         High          Low
----------------------------------------------------------------------------
  Temperature   33.48 C         75.00 C     -5.00 C     70.00 C        0.00 C
  Voltage        3.29 V          3.63 V      2.97 V      3.46 V        3.13 V
  Current        7.46 mA        10.50 mA     2.50 mA    10.50 mA       2.50 mA
  Tx Power      -2.54 dBm        1.70 dBm  -13.00 dBm   -1.30 dBm     -9.00 dBm
  Rx Power      -2.32 dBm        3.00 dBm  -15.90 dBm    0.00 dBm    -11.90 dBm
  Transmit Fault Count = 0
----------------------------------------------------------------------------
  Note: ++  high-alarm; +  high-warning; --  low-alarm; -  low-warning

F241-15-09-MDS9710#

Quanto sopra indica che il tipo di SFP è un DS-SFP-FC16G-SW e che la lunghezza massima è 100 metri con cavi OM3 a 50/125um (Icron).

Per SFP a onde lunghe

F241-15-09-MDS9710# show interface fc9/1 transceiver details
fc9/1 sfp is present
    Name is CISCO-FINISAR
    Manufacturer's part number is FTLF1432P3BCV-C1
    Revision is B
    Serial number is FNS21190B7F
    Cisco part number is 10-3207-01
    Cisco pid is DS-SFP-FC32G LW
    FC Transmitter type is long wave laser cost reduced
    FC Transmitter supports long distance link length
    Transmission medium is single mode (SM) laser
    Supported speeds are - Min speed: 8000 Mb/s, Max speed: 32000 Mb/s
    Nominal bit rate is 28000 Mb/s
    Link length supported for 9/125um fiber is 10 km
    Cisco extended id is unknown (0x0)

    No tx fault, no rx loss, in sync state, diagnostic monitoring type is 0x68
    SFP Diagnostics Information:
----------------------------------------------------------------------------
                                     Alarms                  Warnings
                                High        Low         High          Low
----------------------------------------------------------------------------
  Temperature   32.52 C         75.00 C     -5.00 C     70.00 C        0.00 C
  Voltage        3.37 V          3.63 V      2.97 V      3.46 V        3.13 V
  Current       38.55 mA        70.00 mA     1.00 mA    68.00 mA       2.00 mA
  Tx Power       0.49 dBm        5.00 dBm  -12.40 dBm    2.00 dBm     -8.40 dBm
  Rx Power      -7.43 dBm        5.00 dBm  -18.01 dBm    2.00 dBm    -14.00 dBm
  Transmit Fault Count = 0
----------------------------------------------------------------------------
  Note: ++  high-alarm; +  high-warning; --  low-alarm; -  low-warning

F241-15-09-MDS9710#

Quanto sopra indica che il tipo di SFP è un DS-SFP-FC32G-LW e la lunghezza massima è 10 KM.

Nota: Le lunghezze mostrate sono lunghezze massime in condizioni perfette. I pannelli di interconnessione e le lunghezze di fibra aggiuntive nel percorso accorciano la distanza, talvolta in modo considerevole.

I pannelli delle patch e altre connessioni intermedie sono spesso fonte di problemi. Provare sempre ad eliminare questi elementi come fase diagnostica. Assicurarsi che ciò avvenga in un approccio metodico e che i risultati siano documentati con ciascuna modifica.

Notare che la potenza Rx nell'output di cui sopra rientra nell'intervallo accettabile:

 -18.01 dBm   -14.00 dBm           -7.43 dBm         0.00 dBm        2.00 dBm        5.00 dBm
<---------+------------+-------------------+----------------+---------------+---------------+------->
 
<---Error-+                                                                                 Error--->
          <------Warning                                                    Warning--------->
                        <-------------------------OK----------------------->
 

Il valore Rx Power è compreso nell'intervallo accettabile e non indica che le connessioni end to end fibre/jumper/pannello patch siano corrette. Potrebbe comunque essere necessario ignorarne alcuni uno alla volta.

In genere, i problemi con errori di bit/parole eccessivi non sono un problema ASIC. Tuttavia, se si desidera spostare i cavi su porte diverse dello stesso modulo, è necessario conoscere l'architettura del modulo (layport porta per ASIC). 

Ad esempio:

MDS 9500 (DS-X9248-256K9) dispone di 4 ASIC FC chiamati Thunderbird.

Gli ASIC FC gestiscono ciascuno 12 porte:
ASIC 0 - fc1/1-12
ASIC 1 - fc1/13-24
ASIC 2 - fc1/25-36
ASIC 3 - fc1/37-48

MDS dispone di strumenti di diagnostica ISL integrati che possono essere eseguiti.

Tipi di test

Di seguito viene riportata la procedura per eseguire i test di diagnostica sul collegamento.

Test latenza/lunghezza cavo

Questo è solo un breve test di durata che misura la latenza e determina la lunghezza del cavo. Ecco come procedere:

Lato A - Chiamate questo lato del generatore. Genera il traffico.
Lato B - Chiamate questo lato del riflettore. Riceve il traffico dal generatore e lo rimanda indietro.

Ad esempio:

Lato A (generatore) fc9/1 — fc6/1 Lato B (riflettore)

1.1 Lato B (riflettore)

1.1.1 - spegnere l'interfaccia da usare
1.1.2 - interfaccia diagnostica fc6/1 attiva latency_test del riflettore isl

1.2 Lato A (generatore)
1.2.1 - spegnere l'interfaccia da usare
1.2.2 - interfaccia diagnostica per test di latenza isl fc9/1

Ecco come appare sullo switch lab: 

 F241-15-09-MDS9710# diagnostic isl latency-test interface fc9/1
 Waiting for sync to be achieved on the link ....
 Sync is achieved, Link has been initialized.
 Starting the test ....


 ---------------------------------------------------------
 Latency test Result for port: fc9/1
 Latency in the switch (in ns): 264
 Latency in the cable (in ns): 6593
 Length of the cable (accuracy ± 2m): 4373 m
 ---------------------------------------------------------
 F241-15-09-MDS9710#
 

Test generatore traffico

Questo è un test di velocità di linea completa a lungo termine. Fino a 3600 secondi (1 ora)

2.1 Lato B (riflettore)

2.1.1 - spegnere l'interfaccia da usare
2.1.2 - diagnostica isl reflector traffic_test link_speed 32G loop-back interface fc6/1 attiva

2.2 Lato A (generatore)
2.2.1 - spegnere l'interfaccia da usare
2.2.2 - diagnostic isl generator interface fc9/1 start duration 3600 rate 100% frame_size min 16 max 517 step 100 link_speed 32g

La durata è di 1 ora alla velocità di 32 GB.

Ecco come appare sullo switch lab:

 F241-15-09-MDS9710# diagnostic isl generator interface fc9/1 start duration 3600 rate 100% frame_size min 16 max 517 step 100 link_speed 32g
 Waiting for sync to be achieved on the link ....
 Link initialized successfully. Starting the test.
 F241-15-09-MDS9710#
When it end there is no message but you can see the frames on the ports:
 F241-15-10-9706-2# show int fc6/1 | i fc|rate
 fc6/1 is down (Administratively down)
 5 minutes input rate 5754800992 bits/sec,719350124 bytes/sec, 666558 frames/sec
 5 minutes output rate 5754800512 bits/sec,719350064 bytes/sec, 666558 frames/sec
 F241-15-10-9706-2#
 F241-15-10-9706-2# show int fc6/1 counters details | i i fc|fec|crc
 fc6/1
 0 invalid CRCs, 0 Delimiter Errors
 regardless of the CRC/FCS error
 CRC/FCS error
 7262 fec corrected blocks
 0 fec uncorrected blocks
 F241-15-10-9706-2#

Si consiglia di cancellare i contatori dell'interfaccia ed eseguirla su ciascuno dei collegamenti per un'ora. Ottenere quindi le informazioni CRC e FEC sopra riportate su ciascun lato.

Per risolvere il problema dei contatori dell'interfaccia, usare clear counters interface all.

Configurare un processo dell'utilità di pianificazione

Il test del generatore di traffico di cui sopra viene eseguito al massimo per un'ora. Per eseguirlo più a lungo, ad esempio 24 ore, è possibile configurare un processo dell'utilità di pianificazione:

Per configurare lo scheduler, è necessario eseguire due operazioni:

• processo utilità di pianificazione     
• programmazione scheduler

Il processo dell'utilità di pianificazione è il punto in cui si configura l'operazione da eseguire mentre la pianificazione dell'utilità di pianificazione è il punto in cui si configura l'operazione da eseguire. Questa pianificazione viene eseguita fino a quando non si rimuove la pianificazione. Non c'è un modo facile per fermarlo manualmente. 

È necessario sostituire le interfacce con quelle presenti nel fabric.
Se si commette un errore nella configurazione del processo, è necessario eliminarlo e riavviare. Non ti permette di tornare indietro per modificarlo.
Notare che sul lato del generatore, un'interruzione del generatore è lì mentre funziona per la prima volta, si potrebbe vedere un errore che va bene. La prossima volta che corre, dovrebbe essere buono.

Ecco il copione:

Generator:
---------

shutdown fc1/42
feature scheduler
scheduler logfile size 1024
clear counters interface fc1/42
clear scheduler logfile

scheduler job name stats
diagnostic isl generator interface fc1/42 stop
show interface fc1/42 counters details | i i fc|fec|crc
show interface fc1/42 counters | i i fc|rate
diagnostic isl generator interface fc1/42 start duration 3600 frame_size min 64 max 517 step 1 link_speed 32G
exit

scheduler schedule name test
job name stats
time start +00:01:00 repeat 00:01:00
exit


Reflector:
---------
shutdown fc7/1
feature scheduler
scheduler logfile size 1024
clear counters interface fc7/1
clear scheduler logfile

diagnostic isl reflector traffic_test link_speed 32G loop-back interface fc7/1 enable

scheduler job name stats
show interface fc7/1 counters details | i i fc|fec|crc
show interface fc7/1 counters | i i fc|rate
exit

scheduler schedule name test
job name stats
time start +00:01:00 repeat 00:01:00
exit

At the end of 24 hours, please remove the scheduler schedule to stop it at both generator and reflector sides:
no scheduler schedule name test

You can collect the scheduler logfile which will contain all the output of the tests and the show command:
show scheduler logfile | no-more
 

Comandi aggiuntivi:

• visualizzare lo stato di accesso a bordo
• show logging onboard module <numero modulo>
• show logging onboard stack-trace
• show logging onboard mem-leak
• show logging onboard error-stats
• show logging onboard exception-log
• show logging onboard error-stats
• mostrare la registrazione a bordo della documentazione ambientale