Solución de problemas de rendimiento de FEX en Nexus serie 5000/6000

Introducción

Este documento describe cómo resolver problemas de rendimiento en los Fabric Extenders (FEX) que pueden conectarse a los switches Nexus serie 5000 o 6000.

Nota: ninguno de los comandos introducidos en este documento es perjudicial.  Debe tener un switch Nexus 2000 conectado a un switch de la serie 5000 o 6000.

Antecedentes

Navegar por la CLI

Asociar al FEX

Asocie el FEX para ejecutar los comandos show en la línea de comandos FEX:

N.º de Nexus fex
fex>

Introducir modo de ejecución de depuración

Ingrese el modo debug en el FEX para ejecutar los comandos avanzados y especificar el nombre de FEX ASIC. Consulte la Tabla 1. para los nombres asiáticos de FEX.

fex# dbgexec [prt/woo/red/pri]

Salir del modo de ejecución de depuración

Para salir del modo de ejecución de depuración, utilice la secuencia de teclado CTRL+C:

fex> [CTRL+C]

Salir del FEX

Para salir del fex, utilice el comando exit:

Fex# exit

Terminology

Interfaz de host (HI)

Estos son los puertos que se enfrentan a los servidores en el FEX. Estos se conocen comúnmente como puertos frontales.Cada puerto frontal en un FEX tiene un número HI. Este número suele ser diferente al número de puerto, pero se utiliza para resolver problemas de comandos para hacer referencia a un puerto. Cada ASIC tabula los puertos frontales de manera diferente.

Interfaz de red (NI)

Los NI son los puertos de control FEX en el FEX que se conectan nuevamente al switch principal. Estos también se denominan enlaces ascendentes de red. Estos también tienen un número de NI único que depende del modelo.

Puerto de fabric FEX

Estos puertos son el lado del switch principal del link único al FEX. Estos puertos se configuran con los comandos switchport mode fex-fabric y fex association. 

Nombres ASIC FEX 

Cada FEX está diseñado con un ASIC diferente. La abreviatura del nombre ASIC se utiliza en el modo de depuración para ejecutar comandos.

La mayoría de los modelos de FEX tienen un ASIC, pero el 2148 tiene 6, cada uno con 8 puertos frontales. Estos se conocen como rmon en los comandos de troubleshooting. 

Los nombres ASIC y las abreviaturas asociadas se enumeran como referencia:

 
Tabla 1.

Modelo FEX	Nombre ASIC	Abreviatura
N2K-C2148T-1GE	leña	rw
N2K-C224TP-1GE N2K-C2248TP-1GE	portola	prt
N2K-C2232PP-10GE N2K-C2232TM-10GE	madera	woo
N2K-C2248TP-E-1GE	princeton	pri
B22	madera	woo
N2K-C2232TM-E-10GE	madera	woo
N2K-C2248PQ-10GE	carpintero	woo
N2K-C2348UPQ-10GE	tiburón	tib

Asignación de puerto frontal

Para interpretar la salida del contador de la interfaz, puede ser necesario convertir el número del puerto frontal en un número HI. La conversión depende del modelo de chasis FEX.

N2K-C2148T-1GE

En este ejemplo, se ha asignado al puerto frontal 26 (chassis-id/1/26) rmon 3 HI 0:

switch# attach fex chassis_id

fex-[chassis_id]# show platform software redwood sts

N2K-C224TP-1GE/N2K-C2248TP-1GE

En este ejemplo, al puerto frontal 10 (135/1/10) se le ha asignado HI 9:

switch# attach fex chassis_id

fex-[chassis_id]# portola dbgexec

prt> fp

N2K-C2232PP-10GE/N2K-C2232TM-10GE

En este ejemplo, al puerto frontal 20 (135/1/20) se le ha asignado HI 19:

switch# attach fex chassis_id

fex-[chassis_id]# show platform software woodside sts

N2K-C2248TP-E-1G

N2K-C2248PQ-10GE y N2K-C2348UPQ-10GE 

En este ejemplo, HI28 se mapea al puerto frontal 29:

Verificar SFP

Este comando muestra la información Small Form-Factor Pluggable (SFP) para el puerto.

fex# show platform software woodside sfp rmon 0 HI5

En este ejemplo, verá que el SFP en HI5 es un 10G-Base-SR (LC) realizado por CISCO-AVAGO:

Nota: Si ejecuta este comando en un FEX que utiliza puertos de cobre, observará los errores de comando. Esto se espera ya que no hay SFP para consultar. El mensaje volverá a no se encontró SFP cuando ese puerto es de fibra, pero actualmente no contiene un SFP.

Buscar pérdida

Los comandos show se pueden ejecutar en el indicador FEX para los puertos HI e NI para ver los contadores de interfaz en el lado FEX de los links de puerto FEX Fabric.

Ver contadores de puertos HI

Este comando muestra la verificación del contador de puerto, similar a un show int:

fex-128# show platform software woodside rmon 0 HI0
+----------------------+----------------------+-----------------+--------------------------+----------------------+-----------------+
| TX                        |         Current        |       Diff          |           RX                  |       Current          |        Diff         |
+----------------------+----------------------+-----------------+--------------------------+----------------------+-----------------+
| TX_PKT_LT64     |                           0|                     0|    RX_PKT_LT64     |                           0|                     0|
| TX_PKT_64         |                           0|                     0|    RX_PKT_64          |                           0|                     0|
| TX_PKT_65         |                           0|                     0|    RX_PKT_65          |                           0|                     0|
| TX_PKT_128       |                           0|                     0|    RX_PKT_128        |                           0|                     0|
| TX_PKT_256       |                           0|                     0|    RX_PKT_256        |                           0|                     0|

Nota: rmon 0 se utiliza solamente cuando el FEX tiene un asic de host. Los modelos 2224, 2248 y 2232 tienen sólo un ASIC. El modelo 2148 tiene seis aspectos básicos, por lo que se utilizará el rmon 0 a 5. Consulte la sección Mapeo de puerto frontal para obtener más detalles.

Ver Contadores de Puerto NI

Este comando le mostrará los contadores de puerto para los links ascendentes de la red similares a un show int. Este comando muestra el lado FEX del link. Este comando no le muestra el lado del switch principal del link.

 fex-128# show platform software woodside rmon 0 NI0
+----------------------+----------------------+-----------------+--------------------------+----------------------+-----------------+
| TX                        |         Current        |       Diff          |           RX                  |       Current          |        Diff         |
+----------------------+----------------------+-----------------+--------------------------+----------------------+-----------------+
| TX_PKT_LT64     |                           0|                     0|    RX_PKT_LT64     |                           0|                     0|
| TX_PKT_64         |                           0|                     0|    RX_PKT_64          |                           0|                     0|
| TX_PKT_65         |                           0|                     0|    RX_PKT_65          |                           0|                     0|
| TX_PKT_128       |                           0|                     0|    RX_PKT_128        |                           0|                     0|
| TX_PKT_256       |                           0|                     0|    RX_PKT_256        |                           0|                     0|  

Ver caídas históricas

Las caídas históricas se pueden ver con el comando drop. Esto muestra todas las caídas en el FEX desde que se activó.

Este comando también muestra las caídas en la CPU FEX que no representarán las caídas del tráfico de datos con los contadores DROP8. Se pueden ignorar con seguridad.

 

Nota: tail drop [8] y TAIL_DROP8 representan caídas de cola en la CPU de FEX y no es relevante para resolver problemas de rendimiento ya que esto sucede en condiciones normales.

prt> drops
PRT_SS_CNT_TAIL_DROP1 : 3 SS0
PRT_SS_CNT_TAIL_DROP1 : 6 SS1
PRT_SS_CNT_TAIL_DROP1 : 1 SS2
PRT_SS_CNT_TAIL_DROP1 : 25 SS3
PRT_SS_CNT_TAIL_DROP1 : 2 SS5
PRT_SS_CNT_TAIL_DROP8 : 142 SS0
PRT_SS_CNT_TAIL_DROP8 : 73 SS1
PRT_SS_CNT_TAIL_DROP8 : 11 SS2
PRT_SS_CNT_TAIL_DROP8 : 62048 SS3
PRT_SS_CNT_TAIL_DROP8 : 4613 SS4
PRT_SS_CNT_TAIL_DROP8 : 552 SS5

Ver caídas e interrupciones recientes

Las interrupciones enviadas a la CPU incluyen caídas de cola, que son caídas debido a la congestión y la falta de espacio en el búfer. Éstos se pueden ver con el comando show new_int: 

Nota: el código 6.0 y posterior utiliza show new_intts all

Este ejemplo muestra que la cola de tramas cae en el búfer SS1:

prt> show new_ints
|-----------------------------------------------|
| SS1 : ssx_int_norm_td 
|--+---------+----------------------------------+
| 1 | 00001c98   |    tail drop[1]     | frames are being tail dropped.
| 2 | 00005cac   |    tail drop[2]      | frames are being tail dropped.
| 8 | 0000012e   |    tail drop[8]     | frames are being tail dropped.

Este ejemplo muestra que NI 3 recibe errores de símbolo:

 | NI3 : nix_xe_INT_xg  
 |--+---------+----------------------------------+ 
 |2 |00000005 | rx_local_fault                  | Link is in local fault state 
 |3 |00000007 | rx_remote_fault              | Link is in remote fault state 
 |4 |00000004 | rx_code_violation           | MAC received unexpected XGMII control characters. 
 |5 |00000004 | rx_err_symbol                 | MAC received an XGMII error character. 
 |16|00000001 | rx_local_fault_edge      | Local fault state has changed. 
 |17|00000001 | rx_remote_fault_edge  | Remote fault state has changed. 
 |-----------------------------------------------| 

Este ejemplo muestra que la cola FEX descarta tramas que ingresan a NI3:

 | SS4 : ssx_int_err 
 |--+---------+----------------------------------+ 
 |0 |00031aa9 | wo_cr[0]               | frames rcvd without credit for pausable classes. Pause is missing. 
 |1 |00014e21 | wo_cr[1]               | frames rcvd without credit for pausable classes. Pause is missing. 
 |2 |00018a9f  | wo_cr[2]                | frames rcvd without credit for pausable classes. Pause is missing. 
 |3 |00025efb  | wo_cr[3]                | frames rcvd without credit for pausable classes. Pause is missing. 
 |-----------------------------------------------| 

Ver la velocidad de tráfico de puertos en tiempo real

 

El comando rate envía estadísticas de velocidad de tráfico en tiempo real para un puerto. A diferencia de show int, no es una media, es la tasa de datos corriente sin procesar la segunda. En este ejemplo, NI 3 actualmente recibe 2.96kbps en la dirección de Red a Host. Un show int en el switch principal correspondiente Nexus muestra 2.96Kbps en la dirección TX en el link ascendente de FEX Fabric conectado a NI 3.

Mitigar pérdida

Las caídas de cola son causadas por el agotamiento del búfer. Por lo general, el búfer se agota cuando varios servidores irrumpen en los HIF a la vez, o las memorias intermedias de salida del host no pueden vaciar su tráfico saliente lo suficientemente rápido como para reponer los créditos en los NIF.

Hay varias opciones disponibles para mitigar esa pérdida.

Servidores de reposición 

Desplace cualquier servidor con flujos de tráfico en ráfaga como matrices de almacenamiento y terminales de vídeo fuera del FEX y conéctelos directamente a los puertos base del switch principal. Esto evitará que los servidores con ráfagas agote el búfer y que el tráfico de los hosts con menos capacidad de procesamiento se agote.

Los switches Nexus serie 5000 y 6000 tienen búferes más grandes que los modelos FEX, para conectar servidores con ráfagas a los puertos base se mitiga la pérdida porque los búferes de puerto base pueden manejar una ráfaga mucho mayor. 

Agregar enlaces ascendentes adicionales

Algunos modelos de FEX pueden desbloquear espacio adicional en el búfer cuando se agregan más enlaces ascendentes del FEX al switch principal. Esto puede poner fin a las caídas en los enlaces ascendentes de red.

Tabla 2.

  

Modelo	Aumento del búfer al agregar enlaces ascendentes
2148	ninguno
2224	aumento de búfer de hasta 2 enlaces ascendentes
2248TP	aumento de búfer hasta 4 enlaces ascendentes
2232	aumento de búfer hasta 4 enlaces ascendentes
2248TP-E	ninguno
2248PQ	ninguno

Compartir búferes HI

La mayoría de los modelos de FEX pueden beneficiarse de compartir el búfer HI en todos los puertos host. Si se observan caídas en el HI, compartir el búfer podría mitigar esas caídas.

Modifique el límite de cola FEX globalmente:

5k(config)# no fex queue-limit (se aplica globalmente a todos los archivos de ese valor de 5k)

Modifique el límite de cola FEX en FEX individual:

Cola Fex 

5k(config)# fex 100
5k(config-fex)# sin hardware [modelo] queue-limit

Mejora del equilibrio de carga de FEX de Nexus 6000

El Nexus 6000 tiene una opción adicional para cambiar el algoritmo de balanceo de carga de HIF a NIF. De forma predeterminada, incluso si los paquetes llegan a diferentes puertos HIF, pueden seguir en cola al mismo NIF. Con uplink-load-balance-mode habilitado, se distribuyen a través de varios NIF y permiten un uso más uniforme de las memorias intermedias de salida NIF.

6k(config)# hardware N2248PQ uplink-load-balance-mode