Solución de problemas de cables/Small Form-Factor Pluggable (SFP)

Introducción

Este documento describe el tipo de switch/módulo/SFP y los cables que deben verificarse como admitidos, cuando ocurre un problema de errores de bit/palabra.

Colaboración de Afroj Ahmad y Ed Mazurek, ingenieros del TAC de Cisco.

Hoja de datos de los transceptores conectables de la familia Cisco Multilayer Data Switch (MDS) 9000

https://www.cisco.com/c/en/us/products/collateral/storage-networking/mds-9000-series-multilayer-switches/product_data_sheet09186a00801bc698.html?dtid=osscdc000283

En primer lugar, determinar la cantidad exacta, longitud y tipo (OM2, OM3, etc) de cableado involucrado, junto con el número de paneles de conexión en él. 

El SFP realmente muestra sus capacidades:

Para un SFP de onda corta

F241-15-09-MDS9710# show interface fc1/4 transceiver details
fc1/4 sfp is present
    Name is CISCO-AVAGO
    Manufacturer's part number is AFBR-57F5PZ-CS1
    Revision is B2
    Serial number is AVA1551J9KF
    Cisco part number is 10-2666-01
    Cisco pid is DS-SFP-FC16G-SW
    FC Transmitter type is short wave laser w/o OFC (SN)
    FC Transmitter supports short distance link length
    Transmission medium is multimode laser with 62.5 um aperture (M6)
    Supported speeds are - Min speed: 4000 Mb/s, Max speed: 16000 Mb/s
    Nominal bit rate is 14000 Mb/s
    Link length supported for 50/125um OM2 fiber is 35 m
    Link length supported for 62.5/125um fiber is 15 m
    Link length supported for 50/125um OM3 fiber is 100 m
    Cisco extended id is unknown (0x0)

    No tx fault, no rx loss, in sync state, diagnostic monitoring type is 0x68
    SFP Diagnostics Information:
----------------------------------------------------------------------------
                                     Alarms                  Warnings
                                High        Low         High          Low
----------------------------------------------------------------------------
  Temperature   33.48 C         75.00 C     -5.00 C     70.00 C        0.00 C
  Voltage        3.29 V          3.63 V      2.97 V      3.46 V        3.13 V
  Current        7.46 mA        10.50 mA     2.50 mA    10.50 mA       2.50 mA
  Tx Power      -2.54 dBm        1.70 dBm  -13.00 dBm   -1.30 dBm     -9.00 dBm
  Rx Power      -2.32 dBm        3.00 dBm  -15.90 dBm    0.00 dBm    -11.90 dBm
  Transmit Fault Count = 0
----------------------------------------------------------------------------
  Note: ++  high-alarm; +  high-warning; --  low-alarm; -  low-warning

F241-15-09-MDS9710#

Lo anterior indica que el tipo de SFP es un DS-SFP-FC16G-SW y que la longitud máxima es de 100 metros con cableado OM3 de 50/125um (mIcron).

Para un SFP de onda larga

F241-15-09-MDS9710# show interface fc9/1 transceiver details
fc9/1 sfp is present
    Name is CISCO-FINISAR
    Manufacturer's part number is FTLF1432P3BCV-C1
    Revision is B
    Serial number is FNS21190B7F
    Cisco part number is 10-3207-01
    Cisco pid is DS-SFP-FC32G LW
    FC Transmitter type is long wave laser cost reduced
    FC Transmitter supports long distance link length
    Transmission medium is single mode (SM) laser
    Supported speeds are - Min speed: 8000 Mb/s, Max speed: 32000 Mb/s
    Nominal bit rate is 28000 Mb/s
    Link length supported for 9/125um fiber is 10 km
    Cisco extended id is unknown (0x0)

    No tx fault, no rx loss, in sync state, diagnostic monitoring type is 0x68
    SFP Diagnostics Information:
----------------------------------------------------------------------------
                                     Alarms                  Warnings
                                High        Low         High          Low
----------------------------------------------------------------------------
  Temperature   32.52 C         75.00 C     -5.00 C     70.00 C        0.00 C
  Voltage        3.37 V          3.63 V      2.97 V      3.46 V        3.13 V
  Current       38.55 mA        70.00 mA     1.00 mA    68.00 mA       2.00 mA
  Tx Power       0.49 dBm        5.00 dBm  -12.40 dBm    2.00 dBm     -8.40 dBm
  Rx Power      -7.43 dBm        5.00 dBm  -18.01 dBm    2.00 dBm    -14.00 dBm
  Transmit Fault Count = 0
----------------------------------------------------------------------------
  Note: ++  high-alarm; +  high-warning; --  low-alarm; -  low-warning

F241-15-09-MDS9710#

Lo anterior indica que el tipo de SFP es un DS-SFP-FC32G-LW y la longitud máxima es de 10 KM.

Nota: Las longitudes mostradas son máximas en condiciones perfectas. Los paneles de conexión y las longitudes adicionales de fibra en la ruta acortan la distancia, a veces considerablemente.

Los paneles de conexión y otras conexiones intermedias suelen ser una fuente de problemas. Siempre debe intentar eliminarlos como paso de diagnóstico. Asegúrese de que esto se realiza con un enfoque metódico y de que los resultados se documentan con cada cambio.

Tenga en cuenta que la potencia Rx en la salida anterior está dentro del rango aceptable:

 -18.01 dBm   -14.00 dBm           -7.43 dBm         0.00 dBm        2.00 dBm        5.00 dBm
<---------+------------+-------------------+----------------+---------------+---------------+------->
 
<---Error-+                                                                                 Error--->
          <------Warning                                                    Warning--------->
                        <-------------------------OK----------------------->
 

La potencia de recepción está en el rango aceptable no indica que las conexiones de extremo a extremo de fibra/puentes/panel de conexión estén bien. Es posible que aún deba saltarse algunos de ellos de uno en uno.

Normalmente, los problemas con errores excesivos de bit/palabra no son un problema ASIC. Sin embargo, si desea mover los cables a diferentes puertos en el mismo módulo, debe conocer la arquitectura del módulo (puerto de presentación por ASIC). 

Por ejemplo:

MDS 9500 (DS-X9248-256K9) tiene 4 ASIC FC llamados Thunderbirds.

Estos FC ASIC administran cada uno 12 puertos :
ASIC 0 - fc1/1-12
ASIC 1: fc1/13-24
ASIC 2: fc1/25-36
ASIC 3: fc1/37-48

MDS incorpora diagnósticos ISL que se pueden ejecutar.

Tipos de pruebas

Así es como ejecuta las pruebas de diagnóstico en el link.

Prueba de latencia/longitud del cable

Esta es solo una prueba de corta duración que medirá la latencia y determinará la longitud del cable. Así es como lo haces:

Lado A - Llama a esto el lado del generador. Genera el tráfico.
Lado B - Llama a esto el lado del reflector. Recibe el tráfico del generador y lo envía de vuelta.

Por ejemplo:

Lado A (generador) fc9/1 ---- fc6/1 Lado B (reflector)

1.1 Lado B (reflector)

1.1.1 - cierre de la interfaz que se va a utilizar
1.1.2 - diagnostic isl reflector latency_test loop-back interface fc6/1 enable

1.2 Lado A (generador)
1.2.1 - apagar la interfaz que se va a utilizar
1.2.2 - interfaz de prueba de latencia de diagnóstico isl fc9/1

Así es como se ve en el switch de laboratorio: 

 F241-15-09-MDS9710# diagnostic isl latency-test interface fc9/1
 Waiting for sync to be achieved on the link ....
 Sync is achieved, Link has been initialized.
 Starting the test ....


 ---------------------------------------------------------
 Latency test Result for port: fc9/1
 Latency in the switch (in ns): 264
 Latency in the cable (in ns): 6593
 Length of the cable (accuracy ± 2m): 4373 m
 ---------------------------------------------------------
 F241-15-09-MDS9710#
 

Prueba del generador de tráfico

Esta es una prueba de velocidad de línea completa a largo plazo. Hasta 3.600 segundos (1 hora)

2.1 Lado B (reflector)

2.1.1 - cierre de la interfaz que se va a utilizar
2.1.2 - diagnostic isl reflector traffic_test link_speed 32G loop-back interface fc6/1 enable

2.2 Lado A (generador)
2.2.1 - cierre de la interfaz que se va a utilizar
2.2.2 - interfaz de diagnóstico del generador de isl fc9/1 duración de inicio 3600 velocidad 100% frame_size min 16 max 517 paso 100 link_speed 32g

Esto funciona durante 1 hora a una velocidad de línea completa de 32G.

Así es como se ve en el switch de laboratorio:

 F241-15-09-MDS9710# diagnostic isl generator interface fc9/1 start duration 3600 rate 100% frame_size min 16 max 517 step 100 link_speed 32g
 Waiting for sync to be achieved on the link ....
 Link initialized successfully. Starting the test.
 F241-15-09-MDS9710#
When it end there is no message but you can see the frames on the ports:
 F241-15-10-9706-2# show int fc6/1 | i fc|rate
 fc6/1 is down (Administratively down)
 5 minutes input rate 5754800992 bits/sec,719350124 bytes/sec, 666558 frames/sec
 5 minutes output rate 5754800512 bits/sec,719350064 bytes/sec, 666558 frames/sec
 F241-15-10-9706-2#
 F241-15-10-9706-2# show int fc6/1 counters details | i i fc|fec|crc
 fc6/1
 0 invalid CRCs, 0 Delimiter Errors
 regardless of the CRC/FCS error
 CRC/FCS error
 7262 fec corrected blocks
 0 fec uncorrected blocks
 F241-15-10-9706-2#

Se recomienda que borre los contadores de interfaz y ejecute esto en cada uno de los links durante una hora. A continuación, obtenga la información de CRC y FEC de cada lado.

Para borrar el problema de los contadores de interfaz, utilice clear counters interface all.

Configurar un trabajo de Planificador

La prueba del generador de tráfico anterior se ejecuta durante una hora como máximo. Para ejecutarlo durante más tiempo (como 24 horas), puede configurar un trabajo del planificador:

Es necesario configurar el planificador. Hay dos partes:

• trabajo del planificador     
• programación del planificador

El trabajo del planificador es donde se configura lo que se desea ejecutar mientras que la planificación del planificador es donde se configura cuando se desea ejecutar el trabajo. Esta planificación se ejecuta hasta que se elimina la planificación. No existe una forma sencilla de detenerlo manualmente. 

Debe reemplazar las interfaces por las del fabric.
Si comete un error con la configuración del trabajo, debe eliminarlo y volver a empezar. No le permite volver atrás para poder modificarlo.
Tenga en cuenta que en el lado del generador, una parada del generador está allí ya que se ejecuta por primera vez, es posible que vea un error que está bien. La próxima vez que se ejecute, debería ser bueno.

Este es el guión:

Generator:
---------

shutdown fc1/42
feature scheduler
scheduler logfile size 1024
clear counters interface fc1/42
clear scheduler logfile

scheduler job name stats
diagnostic isl generator interface fc1/42 stop
show interface fc1/42 counters details | i i fc|fec|crc
show interface fc1/42 counters | i i fc|rate
diagnostic isl generator interface fc1/42 start duration 3600 frame_size min 64 max 517 step 1 link_speed 32G
exit

scheduler schedule name test
job name stats
time start +00:01:00 repeat 00:01:00
exit


Reflector:
---------
shutdown fc7/1
feature scheduler
scheduler logfile size 1024
clear counters interface fc7/1
clear scheduler logfile

diagnostic isl reflector traffic_test link_speed 32G loop-back interface fc7/1 enable

scheduler job name stats
show interface fc7/1 counters details | i i fc|fec|crc
show interface fc7/1 counters | i i fc|rate
exit

scheduler schedule name test
job name stats
time start +00:01:00 repeat 00:01:00
exit

At the end of 24 hours, please remove the scheduler schedule to stop it at both generator and reflector sides:
no scheduler schedule name test

You can collect the scheduler logfile which will contain all the output of the tests and the show command:
show scheduler logfile | no-more
 

Comandos adicionales:

• show logging onboard status
• show logging onboard module <module number>
• show logging onboard stack-trace
• show logging onboard mem-leak
• show logging onboard error-stats
• show logging onboard exception-log
• show logging onboard error-stats
• show logging onboard environment-history