Resolución de problemas de falla de trayecto de datos de Punt Fabric en Tomahawk y tarjeta Lightspeed

Introducción

Este documento describe los mensajes de falla de la trayectoria de datos del fabric de punt observados durante el funcionamiento del Cisco Aggregation Services Router (ASR) 9000 Series.

Antecedentes

El mensaje aparece con este formato:

• Las alarmas se ven en la consola del router como se muestra aquí.
• Significa que la trayectoria de loopback de estos mensajes se rompe en algún lugar.

RP/0/RP0/CPU0:Oct 28 12:46:58.459 IST: pfm_node_rp[349]: %PLATFORM-DIAGS-3-PUNT_FABRIC_DATA_PATH_FAILED :
 Set|online_diag_rsp[24790]|System Punt/Fabric/data Path Test(0x2000004)|failure threshold is 3,
 (slot, NP) failed: (0/9/CPU0, 1) (0/9/CPU0, 3)

El problema ocurre para NP1 y NP3 en 0/9/CPU0 mencionado anteriormente.

Este documento está dirigido a cualquier persona que desee comprender el mensaje de error y las acciones que deben llevarse a cabo si se observa el problema.

La tarjeta de línea basada en Tomahawk (LC) está disponible como LC optimizada para el extremo del servicio (QoS mejorada) o optimizada para el transporte de paquetes (QoS básica).

• SE - Optimización del extremo de los servicios
• TR - Transporte de paquetes optimizado

La LC de 100 Gigabit Ethernet de 4 y 8 puertos está disponible en dos variantes que admiten puertos CPAK PHY unificados LAN/WAN/OTN o puertos CPAK solo PHY LAN.

Estas LC están basadas en Tomahawk:

• A9K-8X100G-LB-SE
• A9K-8X100G-LB-TR
• A9K-8X100GE-SE
• A9K-8X100GE-TR
• A9K-4X100GE-SE
• A9K-4X100GE-TR
• A9K-400G-DWDM-TR
• A9K-MOD400-SE
• A9K-MOD400-TR
• A9K-MOD200-SE
• A9K-MOD200-TR
• A9K-24X10GE-1G-SE
• A9K-24X10GE-1G-TR
• A9K-48X10GE-1G-SE
• A9K-48X10GE-1G-TR
• A99-12X100 GE
• A99-8X100GE-SE
• A99-8X100 GE-TR

Las LC basadas en Lightspeed pueden estar disponibles como LC optimizada para el extremo del servicio (QoS mejorada) o optimizada para el transporte de paquetes (QoS básica). A diferencia de las LC basadas en Tomahawk, no todos los modelos LC están disponibles en los tipos -SE y -TR.

• SE - Optimización del extremo de los servicios
• TR - Transporte de paquetes optimizado

Estas LC están basadas en Lightspeed:

• A9K-16X100GE-TR
• A99-16X100GE-X-SE
• A99-32X100GE-TR

Las LC basadas en Lightspeed-Plus (LSP) están disponibles como LC optimizada para el extremo del servicio (QoS mejorada) o optimizada para el transporte de paquetes (QoS básica).

Estas LC están basadas en LSP:

• A9K-4HG-FLEX-TR
• A9K-4HG-FLEX-SE
• A99-4HG-FLEX-TR
• A99-4HG-FLEX-SE
• A9K-8HG-FLEX-TR
• A9K-8HG-FLEX-SE
• A9K-20HG-FLEX-TR
• A9K-20HG-FLEX-SE
• A99-32X100GE-X-TR
• A99-32X100GE-X-SE
• A99-10X400GE-X-TR
• A99-10X400GE-X-SE

Ruta del paquete de diagnóstico de tejido Punt

• La aplicación de diagnóstico que se ejecuta en la CPU de la tarjeta del procesador de ruta inyecta periódicamente paquetes de diagnóstico destinados a cada procesador de red (NP).
• El paquete de diagnóstico se devuelve en loop dentro del NP y se reinyecta hacia la CPU de la tarjeta del procesador de ruta que originó el paquete.
• Esta comprobación de estado periódica de cada NP con un paquete único por NP por parte de la aplicación de diagnóstico en la tarjeta del procesador de ruta proporciona una alerta para cualquier error funcional en la trayectoria de datos durante el funcionamiento del router.
• Es esencial tener en cuenta que la aplicación de diagnóstico tanto en el procesador de ruta activo como en el procesador de ruta en espera inyecta un paquete por NP periódicamente y mantiene un conteo de éxito o falla por NP.
• Cada minuto se envía un paquete de diagnóstico a NP, (a cada interfaz de colas virtuales (VQI) cuatro veces (un total de cuatro minutos/VQI) y se ejecuta en todos los VQI de ese NP). Para informar sobre esto, aquí hay un ejemplo:

Tenga en cuenta que la LC tiene cuatro NP, el diagnóstico en línea tiene que ejercitar todas las NP (para saber que están sanas, es decir, las rutas de fabric). Ahora, cada NP puede tener 20 VQIs cada uno (0-19, 20 - 39, 40-59, 60-79).

En el primer minuto, el diagnóstico en línea envía un paquete a cada NP.

1 min : against VQI 0, 20, 40, 60 (to all 4 NPs)

2 min:""""""""

3 min: """""""

4 min : """""




5th min : against VQI 1, 21, 41, 61..

6 min : """"""""

Esto se repite en un ciclo una vez que todos los VQI terminan.

• Cuando se alcanza un umbral de paquetes de diagnóstico descartados, la aplicación genera una alarma en Platform Fault Manager (PFM).

RP/0/RP1/CPU0:AG2-2#show pfm location 0/RP1/CPU0
node: node0_RP0_CPU0
---------------------

CURRENT TIME: Apr  7 01:04:04 2022PFM TOTAL: 1   EMERGENCY/ALERT(E/A): 0   CRITICAL(CR): 0   ERROR(ER): 1

-------------------------------------------------------------------------------------------------

Raised Time         |S#|Fault Name                         |Sev|Proc_ID|Dev/Path Name |Handle

--------------------+--+-----------------------------------+---+-------+--------------+----------

Apr  7 00:54:52 2022|0 |PUNT_FABRIC_DATA_PATH_FAILED       |ER |10042 >>ID |System Punt/Fa|0x2000004

Para recopilar toda la información sobre las alarmas PFM, capture este resultado del comando:

show pfm location all

show pfm trace location all

Si desea ver más información acerca de las alarmas generadas por un proceso específico, puede utilizar este comando:

show pfm process name <process_name> location <location> >>> location where the PFM alarm is observed

Arquitectura de LC de alto nivel

Tomahawk LC

Arquitectura 8x100 G

Tomahawk: LC 8x100 G

Arquitectura de 12 x 100 G

Tomahawk 12*100 G LC

LC de velocidad ligera

A9K-20HG-FLEX-SE/TR

A9K-20HG-FLEX-SE/TR

A99-32x100GE-X-SE/TR

A99-32x100GE-X-SE/TR

A9K-8HG-FLEX-SE/TR

Arquitectura LC

Arquitectura LC

Colas de salida virtual y el árbitro

Cada procesador de switch de ruta/procesador de switch (RSP/RP) tiene dos chips de fabric controlados por un árbitro común (los RSP/RP duales significan árbitros flexibles por chasis). Solamente el árbitro en el RSP/RP activo controla los cuatro chips de fabrics (asumiendo RSP duales). Sin embargo, ambos árbitros están recibiendo las solicitudes de acceso al fabric para conocer el estado de todo el sistema en un momento dado, de modo que la conmutación por fallas entre RSPs/RPs pueda ser instantánea. No hay keepalive entre los árbitros, pero los RSP/RP tienen un ASIC de dispositivo lógico programable complejo (CPLD) (similar a un FPGA) y una de sus funciones es rastrear el otro estado de RSP/RP a través de keepalives de bajo nivel y establecer cuál es el árbitro activo.

Cada Fabric Interconnect ASIC tiene un conjunto de VQI, que es un conjunto de colas que representan una entidad de 100 G en el sistema (para Tomahawk). Cada entidad de 100 G (1 puerto de 100 G en un único NP de salida se representa con un único VQI de 100 G en un NP de entrada) tiene varias clases de prioridad.

Cada VQI tiene un conjunto de cuatro colas de salida virtual (VOQ) para diferentes prioridades de paquetes, de las cuales tres se utilizan en la arquitectura de reenvío ASR 9000. Éstos corresponden a los niveles de prioridad 1 y 2 y son predeterminados en la política de QoS de ingreso. Hay dos colas de prioridad estricta y una cola normal (la cuarta cola es para multidifusión y no se utiliza para reenvío de unidifusión).

Generalmente, la cola predeterminada comienza a descartar paquetes primero durante la contrapresión de las VQIs NP de salida. Solo cuando la unidad de procesamiento de red (NPU) de salida se sobrecarga (da servicio a más Bps o PPS de los que pueden soportar los circuitos), comienza a ejercer una contrapresión en la LC/NP de entrada. Esto se representa mediante un estancamiento de flujo VQI en el Fabric Interface ASIC (FIA) en esa LC de ingreso.

Ejemplo:

RP/0/RP0/CPU0:AG3_1#show controllers np ports all location 0/0/CPU0  >>> LC0 is installed in slot 2

                Node: 0/0/CPU0:

----------------------------------------------------------------

NP Bridge Fia                       Ports                      

-- ------ --- --------------------------------------------------- 

0  --     0   TenGigE0/0/0/0/0 - TenGigE0/0/0/0/9, TenGigE0/0/0/1/0 - TenGigE0/0/0/1/9 

1  --     1   TenGigE0/0/0/2/0 - TenGigE0/0/0/2/9, HundredGigE0/0/0/3 

2  --     2   HundredGigE0/0/0/4 - HundredGigE0/0/0/5  >>>Below is the VQI assignment

3  --     3   HundredGigE0/0/0/6 - HundredGigE0/0/0/7 

RP/0/RP0/CPU0:AG3_1#sh controller fabric vqi assignment slot 2      

 slot = 2


    
    
    
     
     
 
     
fia_inst = 2 >>>FIA 2 
     
 
     
 VQI = 40       SPEED_100G 
     
 
     
 VQI = 41       SPEED_100G 
     
 
     
 VQI = 42       SPEED_100G 
     
 
     
 VQI = 43       SPEED_100G 
     
 
     
 VQI = 44       SPEED_100G 
     
 
     
 VQI = 45       SPEED_100G 
     
 
     
 VQI = 46       SPEED_100G 
     
 
     
 VQI = 47       SPEED_100G 
     
 
     
 VQI = 56       SPEED_100G 
     
 
     
 VQI = 57       SPEED_100G 
     
 
     
 VQI = 58       SPEED_100G 
     
 
     
 VQI = 59       SPEED_100G 
     
 
     
 VQI = 60       SPEED_100G 
     
 
     
 VQI = 61       SPEED_100G 
     
 
     
 VQI = 62       SPEED_100G 
     
 
     
 VQI = 63       SPEED_100G 
     
 
     
 
    

Cuando la LC de ingreso decide que desea enviar un paquete determinado a una NPU de egreso determinada, la etapa de modificación (MDF) en la LC de ingreso encapsuló un paquete con un encabezado de destino de fabric. Cuando el FIA observa esa "dirección", verifica la VOQ para la NPU/destino/LC de salida particular y ve si hay suficiente ancho de banda disponible. Cuando está listo para quitarlo de la cola a esa LC, el FIA de ingreso solicita una concesión de la estructura (el árbitro) para esa LC de destino. El algoritmo de arbitraje reconoce QOS, garantiza que los paquetes de clase P1 tengan preferencia sobre la clase P2 y así sucesivamente. El árbitro retransmite la solicitud de concesión del FIA de ingreso al FIA de egreso.

El FIA de ingreso puede agrupar varios paquetes que van a la misma LC de salida en lo que se denomina supertrama. Esto significa que no son las tramas/paquetes nativos los que atraviesan los links del entramado del switch sino las supertramas. Esto es importante tener en cuenta porque, en una prueba de una constante de 100 pps, la CLI puede mostrar los contadores de fabric que solo informan de 50 pps. Esto no es pérdida de paquetes, simplemente significaría que hay dos paquetes en cada supertrama que transmiten a través del entramado del switch. Las supertramas incluyen información de secuenciación y los FIA de destino admiten la reordenación (los paquetes se pueden "pulverizar" a través de varios enlaces de fabric). Sólo los paquetes de unidifusión se colocan en supertramas, nunca en los de multidifusión.

Una vez que la LC de salida recibe el paquete, la concesión se devuelve al árbitro. El árbitro tiene un número finito de tokens por VOQ. Cuando el árbitro permite que el FIA de ingreso envíe una trama (super) a un VOQ específico, ese token se devuelve al conjunto solamente cuando el FIA de egreso entrega las tramas al NP de egreso. Si el NP de salida ha emitido una señal de contrapresión al FIA de salida, el token permanece ocupado. Así es como el árbitro eventualmente se queda sin tokens para ese VOQ en el FIA de ingreso. Cuando eso sucede, el FIA de ingreso comienza a descartar los paquetes entrantes. El desencadenador de la contrapresión es el nivel de utilización de los búferes del descriptor de trama de recepción (RFD) en una NP de salida. Las memorias intermedias RFD mantienen los paquetes mientras el microcódigo NP los procesa. Cuanto más se somete el paquete a un procesamiento de funciones, más tiempo permanece en los búferes RFD.

1. El FIA de entrada realiza solicitudes de fabric a todos los árbitros del chasis.
2. El árbitro activo verifica los tokens de otorgamiento de acceso libre y procesa su algoritmo QoS si hay congestión.
3. Mecanismo de crédito del árbitro local al árbitro activo en RSP.
4. El árbitro activo envía el token de concesión de fabric para acceder a FIA.
5. Saldos de carga FIA de entrada (super)tramas sobre enlaces de fabric.
6. El FIA de salida devuelve un token de fabric al árbitro central.

Mejor mencionar, el mecanismo de crédito del árbitro local al árbitro activo en RSP. También agregue otra sección para cubrir posibles casos de fallas de árbitro (no es necesario mencionar códigos de error, pero para tener una mirada en errores ASIC de árbitro) para ver en caso de cualquier problema de árbitro y no obtener subvenciones debido a árbitro local o central y que causa acumulación de cola.

Descripción general de cola de salida virtual

Cola de salida virtual

Los paquetes que van a diferentes NPs de salida se colocan en diferentes conjuntos VOQ. La congestión en un NP no bloquea el paquete que va a diferentes NP.

Diagrama de árbitro de fabric

Árbitro de fabric

Fabric Interconnects

Fabric Interconnects ASR9006 y ASR9010

Fabric Interconnects ASR9006 y ASR9010

Fabric Interconnects de switch ASR9922

El ASR9912 es el mismo y admite solo 10 LC y un único chip Fabric Interconnect.

Fabric Interconnects de switch ASR9922

ASR9922 y ASR9912 Placa base

ASR9922 y ASR9912 Placa base

Descripción general de los diagnósticos online

• La herramienta de diagnóstico en línea se ejecuta tanto en CPU LC como RP.
  • Las pruebas de diagnóstico que prueban la ruta de reenvío son:
    • Prueba de PuntFabricDataPath ejecutándose en CPU RP activa y en espera, enviando paquetes de diagnóstico a cada NP activo del sistema. Envíos RP activos.
    • Los paquetes de diagnóstico de PuntFabricDataPath se envían como unidifusión, mientras que el modo de espera los envía como multidifusión. Los paquetes de respuesta se envían de vuelta a la CPU de RP de origen.

• Prueba de loopback NP dentro de LC.
  • Prueba de NPULoopback ejecutada en cada CPU LC, enviando paquetes de diagnóstico a cada NP. Los paquetes de respuesta se envían de vuelta a la CPU LC.

Cómo clasificar el problema

Los pasos aquí proporcionan algunas sugerencias sobre cómo reducir los problemas relacionados con la falla de punt-path. No es necesario que se sigan en el mismo orden.

Información necesaria para iniciar el diagnóstico

• Encuentre el NP y la LC afectados:

show logging | inc “PUNT_FABRIC_DATA_PATH”

RP/0/RP1/CPU0:Oct 28 12:46:58.459 IST: pfm_node_rp[349]: %PLATFORM-DIAGS-3-PUNT_FABRIC_DATA_PATH_FAILED :
 Set|online_diag_rsp[24790]|System Punt/Fabric/data Path Test(0x2000004)|failure threshold is 3, (slot, NP)
 failed: (0/9/CPU0, 1) (0/9/CPU0, 3)

El problema ocurre para NP1 y NP3 en 0/9/CPU0 mencionado anteriormente.

• Para encontrar la ranura del chasis, ingrese el run nslot all comando.
• alarma PFM

RP/0/RP1/CPU0:AG2-2#show pfm location 0/RP1/CPU0
node: node0_RP1_CPU0

---------------------

CURRENT TIME: Mar 25 12:11:29 2022

PFM TOTAL: 1   EMERGENCY/ALERT(E/A): 0   CRITICAL(CR): 0   ERROR(ER): 1  

-------------------------------------------------------------------------------------------------

Raised Time         |S#|Fault Name                         |Sev|Proc_ID|Dev/Path Name |Handle    

--------------------+--+-----------------------------------+---+-------+--------------+----------

Mar 25 12:03:30 2022|1 |PUNT_FABRIC_DATA_PATH_FAILED       |ER |8947   |System Punt/Fa|0x2000004 

RP/0/RP1/CPU0:AG2-2#sh pfm process 8947 location 0/rp1/CPU0

node: node0_RP1_CPU0

---------------------

CURRENT TIME: Mar 25 12:12:36 2022

PFM TOTAL: 1   EMERGENCY/ALERT(E/A): 0   CRITICAL(CR): 0   ERROR(ER): 1  

PER PROCESS TOTAL: 0   EM: 0   CR: 0   ER: 0   

Device/Path[1 ]:Fabric loopbac  [0x2000003 ] State:RDY  Tot: 0  

Device/Path[2 ]:System Punt/Fa  [0x2000004 ] State:RDY  Tot: 1  

1   Fault Id:          432

    Sev:               ER

    Fault Name:        PUNT_FABRIC_DATA_PATH_FAILED

    Raised Timestamp:  Mar 25 12:03:30 2022

    Clear Timestamp:   Mar 25 12:07:32 2022

    Changed Timestamp: Mar 25 12:07:32 2022

    Resync Mismatch:   FALSE

    MSG:               failure threshold is 3, (slot, NP) failed: (0/9/CPU0, 1) (0/9/CPU0, 3)

Diagrama de flujo de paquetes de diagnóstico

• Los mensajes DIAG envían el trayecto del paquete entre el RP y la LC (el intervalo del paquete de diagnóstico es de un minuto).

Ruta del paquete en RP:

online_diags <===> SPP <===> Fabric <===> NP

Ruta de paquetes en LC:

online_diags <===> SPP <===> Punt-switch <====> NP

• Prueba de loopback NP dentro de LC

Cada minuto se inyecta un paquete DIAGS por NP desde la CPU LC al Punt Switch, y todos se devuelven en loop en los NPs. No van a la tela en absoluto. El punto de respuesta o marca de mitad de camino es el microcódigo de cada NP.

• Ruta de envío de diagnóstico: LC: online diagnostics > Inject > LC-NP > (loop)
• Ruta de retorno de diagnóstico: LC-NP > Punt > diagnóstico en línea: LC

Prueba de diagnóstico

RP/0/RP0/CPU0:AG2-2(admin)#show diagnostic content location <> >>> (in cXR)

RP/0/RP0/CPU0:AG2-2#show diagnostic content location <> >>> (in eXR)
A9K-8X100GE-L-SE 0/0/CPU0:

  Diagnostics test suite attributes:

    M/C/* - Minimal bootup level test / Complete bootup level test / NA

    B/O/* - Basic ondemand test / not Ondemand test / NA

    P/V/* - Per port test / Per device test / NA

    D/N/* - Disruptive test / Non-disruptive test / NA

      S/* - Only applicable to standby unit / NA

      X/* - Not a health monitoring test / NA

      F/* - Fixed monitoring interval test / NA

      E/* - Always enabled monitoring test / NA

      A/I - Monitoring is active / Monitoring is inactive

      n/a -  Not applicable




                                                         Test Interval    Thre- Timeout

  ID   Test Name                          Attributes     (day hh:mm:ss.ms shold ms   )

  ==== ================================== ============ ================= =====  =====

    1) CPUCtrlScratchRegister ----------> *B*N****A       000 00:01:00.000 3 n/a

    2) DBCtrlScratchRegister -----------> *B*N****A       000 00:01:00.000 3 n/a

    3) PortCtrlScratchRegister ---------> *B*N****A       000 00:01:00.000 3 n/a

    4) PHYScratchRegister --------------> *B*N****A       000 00:01:00.000 3 n/a

    5) NPULoopback ---------------------> *B*N****A       000 00:01:00.000 3 n/a

RP/0/RP0/CPU0:AG2-2#show diagnostic result location 0/0/CPU0 
A9K-8X100GE-L-SE 0/0/CPU0:
  Overall diagnostic result: PASS

  Diagnostic level at card bootup: bypass

  Test results: (. = Pass, F = Fail, U = Untested)

  1  ) CPUCtrlScratchRegister ----------> .

  2  ) DBCtrlScratchRegister -----------> .

  3  ) PortCtrlScratchRegister ---------> .

  4  ) PHYScratchRegister --------------> .

  5  ) NPULoopback ---------------------> .

• Puede probar este parámetro "inject diags packets" manualmente en detalle como se menciona en este ejemplo:

admin diag start location 0/x/cpu0 test NPULoopback (cXR)


RP/0/RP0/CPU0:AG3_1#diagnostic start location 0/0/CPU0 test NPULoopback   >>> eXR

Fri May 13 06:53:00.902 EDT

RP/0/RP0/CPU0:AG3_1#show diagnostic res location 0/0/CPU0 test 5 detail >>> Here there are
 multiple test 1-5 (check previous examples) 

Test results: (. = Pass, F = Fail, U = Untested)
___________________________________________________________________________

  5  ) NPULoopback ---------------------> .

          Error code ------------------> 0 (DIAG_SUCCESS)

          Total run count -------------> 67319

          Last test execution time ----> Fri May 13 06:53:01 2022

          First test failure time -----> n/a

          Last test failure time ------> n/a

          Last test pass time ---------> Fri May 13 06:53:01 2022

          Total failure count ---------> 0

          Consecutive failure count ---> 0

  ___________________________________________________________________________

• Compruebe si NP está recibiendo/enviando mensajes DIAG:

RP/0/RSP1/CPU0:AG2-2#show controllers np counters location | inc DIAG| LC_CPU

 108  PARSE_RSP_INJ_DIAGS_CNT               25195          0  >>> total DIAG packets injected by Active+Stdby RP
 904  PUNT_DIAGS_RSP_ACT                    12584          0  >>> Loopbacks to Active RP
 906  PUNT_DIAGS_RSP_STBY                   12611          0  >>> Loopbacks to Stdby R
 122  PARSE_LC_INJ_DIAGS_CNT                2618           0  >>> total DIAG packets injected by LC
 790  DIAGS                                12618           0  >>> total DIAG packets replied back to LC

16  MDF_TX_LC_CPU                     3998218312         937  >>> a packet punted to LC CPU


PARSE_RSP_INJ_DIAGS_CNT should match (PUNT_DIAGS_RSP_ACT + PUNT_DIAGS_RSP_STDBY)
PARSE_LC_INJ_DIAGS_CNT should match DIAGS

PARSE_XX_INJ_DIAGS_CNT should increment periodically.

• Comprobación de si la ruta del paquete de software (SPP) envía o recibe mensajes DIAG:

show spp sid stats location | inc DIAG

2. DIAG                        35430
 2. DIAG                        35430

Estos son contadores DIAG recibidos y enviados. Siempre pueden coincidir e incrementarse juntos en LC.

• debug punt-inject l2-packets diag np 0 location 0/9/CPU0

Registros de ejemplo: SPP está enviando y recibiendo el paquete de diagnóstico con la secuencia no 0x4e packets.

LC/0/1/CPU0:Jun 6 04:14:05.581 : spp[89]: Sent DIAG packet. NP:0 Slot:0 Seq:0x4e

LC/0/1/CPU0:Jun 6 04:14:05.584 : spp[89]: Rcvd DIAG packet. NP:0 Slot:0 Seq:0x4e

• Verifique si hay caídas en la trayectoria del paquete:
  
  

show drops all location
show drops all ongoing location

• Comprobar depuraciones de diagnóstico en línea (en cXR):

Los diagnósticos en línea son útiles muchas veces para verificar las marcas de tiempo cuando los paquetes fueron enviados/recibidos o perdidos. Estas marcas de tiempo se pueden comparar con las capturas SPP para la correlación de paquetes.

admin debug diagnostic engineer location
admin debug diagnostic error location

Resultados de ejemplo de las depuraciones:

RP/0/RSP0/CPU0:Mar 25 05:43:43.384 EST: online_diag_rsp[349]: Slot 1 has 4 NPs  >>> Sending DIAG
 messages to NPs on slot 1

RP/0/RSP0/CPU0:Mar 25 05:43:43.384 EST: online_diag_rsp[349]: PuntFabricDataPath: sending
 a pak (seq 25), destination physical slot 1 (card type 0x3d02aa), NP 0, sfp=0xc6
RP/0/RSP0/CPU0:Mar 25 05:43:43.384 EST: online_diag_rsp[349]: PuntFabricDataPath: sending
 a pak (seq 25), destination physical slot 1 (card type 0x3d02aa), NP 1, sfp=0xde
RP/0/RSP0/CPU0:Mar 25 05:43:43.384 EST: online_diag_rsp[349]: PuntFabricDataPath: sending
 a pak (seq 25), destination physical slot 1 (card type 0x3d02aa), NP 2, sfp=0xf6
RP/0/RSP0/CPU0:Mar 25 05:43:43.384 EST: online_diag_rsp[349]: PuntFabricDataPath: sending
 a pak (seq 25), destination physical slot 1 (card type 0x3d02aa), NP 3, sfp=0x10e

RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: PuntFabricDataPath:
 Time took to receive 22 pkts: 503922888 nsec, timeout value: 500000000 nsec
RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: PuntFabricDataPath:
 Received 22 packets, expected 24  => Some replies missed

RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: PuntFabricDataPath:
 Got a packet from physical slot 1, np 0
RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: Successfully verified
 a packet, seq. no.: 25
RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: PuntFabricDataPath:
 Got a packet from physical slot 1, np 2  <= Replies from NP1 and NP3 missing
RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: Successfully verified
 a packet, seq. no.: 25
RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: PuntFabricDataPath:
 Got a packet from physical slot 3, np 0

• Seguimiento de diagnóstico:

RP/0/RP1/CPU0:AG2-2#show diagnostic trace location 0/rp1/CPU0 

Fri Mar 25 12:16:40.866 IST

1765 wrapping entries (3136 possible, 2048 allocated, 0 filtered, 3503120 total)

Mar 16 02:40:21.641 diags/online/gold_error 0/RP1/CPU0 t7356 Failed to get ack: got 0 responses,
 expected 1

Mar 16 02:40:36.490 diags/online/message 0/RP1/CPU0 t8947 My nodeid 0x120, rack# is 0, slot# 1,
 board type = 0x100327

Mar 16 02:40:36.948 diags/online/message 0/RP1/CPU0 t8947 dev cnt=25, path cnt=3, shm loc for
 dev alarms@0x7fd4f0bec000, path alarms@0x7fd4f0bec01c, path alarm data@0x7fd4f0bec028

Mar 16 02:40:37.022 diags/online/message 0/RP1/CPU0 t8947 Last rpfo time: 1647378637

Mar 24 06:03:27.479 diags/online/error 0/RP1/CPU0 2105# t9057 PuntFabricDataPath test error:
 physical slot 11(LC# 9): expected np mask: 0x0000000f, actual: 0x0000000b, failed: 0x00000004

Mar 24 06:03:27.479 diags/online/error 0/RP1/CPU0 634# t9057 PuntFabricDataPath test failure detected,
 detail in the form of (0-based) (slot, NP: count): (LC9,2: 13)

Triaje de fabric

• Estado del fabric (proporciona un resumen del estado del enlace, estadísticas, caídas y alarmas):

show controllers fabric health location <>

• Salud de la columna:

show controllers fabric health spine all

• Registro de fallos integrado (OBFL) (después de la recarga también estaría disponible):

admin

sysadmin-vm:0_RP0# show logging onboard fabric location 0/0

• Verifique los contadores de fabric en el FIA de LC de ingreso:

show controllers fabric fia errors ingress location <>

show controllers fabric fia stats location 
    
    
    
    

• Barra cruzada LC de entrada (no aplicable a Trident y SIP-700):

show controllers fabric crossbar statistics instance [0-1] location <>

• Barra cruzada LC de salida (no aplicable a Trident y SIP-700):

show controllers fabric crossbar statistics instance [0-1] location <>

• LC de salida FIA:

show controllers fabric fia errors egress location <>
show controllers fabric fia stats location 
    
    
    
    

• Estadísticas de columna:

show controllers fabric crossbar statistics instance [0-1] spine [0-6]

• Comprobar caídas de fabric:
  • FIA de LC de entrada:

show controllers fabric fia drops ingress location <>

• LC de salida FIA:

show controllers fabric fia drops egress location <>

• Errores ASIC:
  •  LSP:

show controllers fabric crossbar asic-errors instance 0 location<>
show asic-errors fia <> all location <>

• • Tomahawk:

show asic-errors fia <> all location <>

RP/0/RP0/CPU0:AG3_1#show controllers np fabric-counters all np0 location 0/0/CPU0
                Node: 0/0/CPU0:

----------------------------------------------------------------

Egress fabric-to-bridge interface 2 counters for NP 0

 INTERLAKEN_CNT_TX_BYTES                       0x000073fc 23b6d99b

 INTERLAKEN_CNT_TX_FRM_GOOD                    0x000000ae a79d6612

 INTERLAKEN_CNT_TX_FRM_BAD                     0x00000000 00000000 >>> this is 0 which is good,
 need to check if it is incremented

 -------------------------------------------------------------

Egress fabric-to-bridge interface 3 counters for NP 0

 INTERLAKEN_CNT_TX_BYTES                       0x0004abdd fe02068d

 INTERLAKEN_CNT_TX_FRM_GOOD                    0x000005b8 089aac95

 INTERLAKEN_CNT_TX_FRM_BAD                     0x00000000 00000000

 -------------------------------------------------------------
                Node: 0/0/CPU0:
----------------------------------------------------------------

Ingress fabric-to-bridge interface 2 counters for NP 0

 INTERLAKEN_CNT_RX_BYTES                       0x0004aeb5 a4b9dbbe

 INTERLAKEN_CNT_RX_FRM_GOOD                    0x0000058e b7b91c15

 INTERLAKEN_CNT_RX_FRM_BAD                     0x00000000 00000000

 INTERLAKEN_CNT_RX_BURST_CRC32_ERROR           0x00000000 00000000

 INTERLAKEN_CNT_RX_BURST_CRC24_ERROR           0x00000000 00000000

 INTERLAKEN_CNT_RX_BURST_SIZE_ERROR            0x00000000 00000000

 -------------------------------------------------------------

Ingress fabric-to-bridge interface 3 counters for NP 0

 INTERLAKEN_CNT_RX_BYTES                       0x000094ce b8783f95

 INTERLAKEN_CNT_RX_FRM_GOOD                    0x000000f5 33cf9ed7

 INTERLAKEN_CNT_RX_FRM_BAD                     0x00000000 00000000

 INTERLAKEN_CNT_RX_BURST_CRC32_ERROR           0x00000000 00000000

 INTERLAKEN_CNT_RX_BURST_CRC24_ERROR           0x00000000 00000000

 INTERLAKEN_CNT_RX_BURST_SIZE_ERROR            0x00000000 00000000

• Para verificar el estado de link del FIA:

show controllers fabric fia link-status location

RP/0/RP0/CPU0:AG3_1#show controllers fabric fia link-status location 0/0/CPU0
 ********** FIA-0 **********

Category: link-0
spaui link-0                       Up >>> FIA to NP link

spaui link-1                       Up >>> FIA to NP link

arb  link-0                       Up >>> Arbitor link

xbar link-0                       Up >>> FIA to XBAR link

xbar link-1                       Up >>> FIA to XBAR link

xbar link-2                       Up >>> FIA to XBAR link                             

• Para verificar el estado del link de XBAR:

RP/0/RP0/CPU0:AG3_1#show controllers fabric crossbar link-status instance 0 lo 0/0/CPU0

Mon May  2 04:05:06.161 EDT

PORT    Remote Slot  Remote Inst    Logical ID  Status

======================================================

00      0/0/CPU0            01             2        Up

01      0/FC3               01             0        Up

02      0/FC3               00             0        Up

03      0/FC4               01             0        Up

04      0/FC2               01             0        Up

05      0/FC4               00             0        Up

06      0/FC2               00             0        Up

07      0/FC1               01             0        Up

10      0/FC1               00             0        Up

14      0/FC0               01             0        Up

15      0/FC0               00             0        Up

16      0/0/CPU0            02             0        Up

18      0/0/CPU0            02             2        Up

19      0/0/CPU0            02             1        Up

20      0/0/CPU0            03             2        Up

21      0/0/CPU0            03             1        Up

22      0/0/CPU0            03             0        Up

23      0/0/CPU0            00             2        Up

24      0/0/CPU0            00             1        Up

25      0/0/CPU0            00             0        Up

26      0/0/CPU0            01             0        Up

27      0/0/CPU0            01             1        Up

Si observa estos registros en la tarjeta LSP:

LC/0/3/CPU0:Jul  5 13:05:53.365 IST: fab_xbar[172]: %PLATFORM-CIH-5-ASIC_ERROR_THRESHOLD :
 sfe[1]: An interface-err error has occurred causing  packet drop transient.
 ibbReg17.ibbExceptionHier.ibbReg17.ibbExceptionLeaf0.intIpcFnc0UcDataErr  Threshold has been exceeded

17*2 aquí ayuda a identificar el puerto con el show controllers fabric crossbar link-status instance 1 lo 0/3/CPU0 comando:

Recopilación de registros:

show platform
show inventory
show tech fabric
show tech np
show tech ethernet interface
show logging
show pfm location all
show pfm trace location <location id>
show controllers pm vqi location all
show hw-module fpd location all (cxr) / admin show hw-module fpd (exr)
show controllers fti trace <process-name>  location  <Card location>
admin show tech obfl

Cxr:
From Admin:
show logging onboard common location <>
show logging onboard error location <>

Exr:
From sysadmin/calvados:
show logging onboard fabric location <>

• Si hay errores ASIC en FIA:

Para LS:

show controllers asic LS-FIA instance <instance> block <block_name> register-name <register_name> location <>

Para LSP:

show controllers asic LSP-FIA instance <instance> block <block_name> register-name <register_name> location <>

Si el error notificado es similar a lo siguiente:

LC/0/9/CPU0:Mar  1 05:12:25.474 IST: fialc[137]: %PLATFORM-CIH-5-ASIC_ERROR_THRESHOLD : 
fia[3]: A link-err error has occurred causing  performance loss persistent. 
fnc2serdesReg1.fnc2serdesExceptionHier.fnc2serdesReg1.fnc2serdesExceptionLeaf0.
iNTprbsErrTxphyrdydropped6  Threshold has been exceeded

• La instancia es el número de instancia del ASIC FIA. Aquí está "3" block_name es "fnc2serdesReg1" y register_name es "fnc2serdesExceptionLeaf0".

• Si hay errores ASIC en LC/RSP XBAR:

show controllers asic SKB-XBAR instance <instance> block-name <block_name> register-name <register_name> location <>

Si el error notificado es similar a lo siguiente:

LC/0/7/CPU0:Mar  4 06:42:01.241 IST: fab_xbar[213]: %PLATFORM-CIH-5-ASIC_ERROR_THRESHOLD :
 sfe[0]: An interface-err error has occurred causing  packet drop transient.
 ibbReg11.ibbExceptionHier.ibbReg11.ibbExceptionLeaf0.intIpcFnc1UcDataErr  Threshold has been exceeded

•  La instancia es la instancia de un número del ASIC SFE/XBAR. Aquí, "0" block_name es "ibbReg11" y register_name es "ibbExceptionLeaf0".

• Si se notifican errores ASIC en FC XBAR:

show controllers asic FC2-SKB-XBAR instance <instance> block-name <block_name> register-name <register_name> location 
    
    
    
    

Si el error notificado es similar a lo siguiente:

RP/0/RP0/CPU0:Mar  4 06:41:14.398 IST: fab_xbar_sp3[156]: %PLATFORM-CIH-3-ASIC_ERROR_SPECIAL_HANDLE_THRESH :
 fc3xbar[1]: A link-err error has occurred causing  packet drop transient.
 cflReg17.cflExceptionHier.cflReg17.cflExceptionLeaf4.intCflPal1RxAlignErrPktRcvd  Threshold has been exceeded

Entonces ASIC es la instancia "FC3-SKB-XBAR" es la instancia de un número del ASIC SFE/XBAR. Aquí es "1", ambos vienen de "fc3xbar[1]" el nombre_bloque es "cflReg17" y el nombre_registro es "cflExceptionLeaf4".

Ejemplo:

RP/0/RSP0/CPU0: AG2-10#sh logging | i ASIC

RP/0/RSP0/CPU0:May 11 20:48:57.658 IST: fab_xbar[184]: %PLATFORM-CIH-5-ASIC_ERROR_THRESHOLD :
 sfe[0]: An interface-err error has occurred causing  packet drop transient.
 ibbReg13.ibbExceptionHier.ibbReg13.ibbExceptionLeaf0.intIpcFnc0UcDataErr  Threshold has been exceeded

RP/0/RSP0/CPU0: AG2-10#sh controllers fabric crossbar link-status instance 0 location 0/rsp0/CPU0 

PORT    Remote Slot  Remote Inst    Logical ID  Status

======================================================

04      0/0/CPU0            00             1        Up

06      0/0/CPU0            00             0        Up

08      0/7/CPU0            00             1        Up

10      0/7/CPU0            00             0        Up

24      0/2/CPU0            00             0        Up

26      0/2/CPU0            00             1        Up
 >>> ibbReg13 >> 13*2 = 26 SO IT IS POINTING TO LC2 – IN THIS CASE YOU CAN DO OIR TO RECOVER THE ASIC ERROR

40      0/RSP0/CPU0         00             0        Up

RP/0/RSP0/CPU0: AG2-10#show controllers asic SKB-XBAR instance 0 block-name ibbReg13 register-name ibbExceptionLeaf0 location 0/RSP0/CPU0

address   name                value

0x00050d080  SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int1Stat 0x00000000 (4 bytes)

address   name                value

0x00050d084  SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int1StatRw1s 0x00000000 (4 bytes)

address   name                value

0x00050d088  SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int1Enable 0xfffffffb (4 bytes)

address   name                value

0x00050d08c  SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int1First 0x00000000 (4 bytes)

address   name                value

0x00050d090  SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int2Stat 0x00000c50 (4 bytes)

address   name                value

0x00050d094  SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int2StatRw1s 0x00000c50 (4 bytes)

address   name                value

0x00050d098  SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int2Enable 0x00000000 (4 bytes)

address   name                value

0x00050d09c  SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int2First 0x00000000 (4 bytes)

address   name                value

0x00050d0a0  SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_haltEnable 0x00000000 (4 bytes)

address   name                value

0x00050d0a4  SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_fault 0x00000000 (4 bytes)

address   name                value

0x00050d0a8  SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_intMulti 0x00000840 (4 bytes)

address   name                value

0x00050d0ac  SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_leaf 0x00000000 (4 bytes)

RP/0/RSP0/CPU0:AG2-10#

Triaje de fallos del árbitro

Para verificar el estado del link:

RP/0/RSP0/CPU0:AG2-10#sho controllers fabric arbiter link-status location 0/1/$

Port    Remote Slot  Remote Elem    Remote Inst  Status

=======================================================

00      0/1/CPU0            FIA            0        Up

01      0/1/CPU0            FIA            1        Up

24      0/RSP0/CPU0         ARB            0        Up

25      0/RSP1/CPU0         ARB            0        Up

Para comprobar la disponibilidad de VQI:

RP/0/RP0/CPU0:AG3_1#sh controllers fabric vqi assignment all

Current mode: Highbandwidth mode - 2K VQIs

Node          Number of VQIs

----------------------------

0/0/CPU0       80 

0/1/CPU0       40 

0/2/CPU0       48 

0/3/CPU0       80 

0/5/CPU0       80 

0/7/CPU0       80 

0/12/CPU0      64 

RP*/RSP*       8  

----------------------------

In Use   =      480

Available =    1568

Compruebe la velocidad asignada a VQI:

RP/0/RP0/CPU0:AG3_1#sh controller fabric vqi assignment slot 7

Thu May 12 07:58:59.897 EDT

 slot = 7

 fia_inst = 0

 VQI = 400      SPEED_100G

 VQI = 401      SPEED_100G

 VQI = 402      SPEED_100G

 VQI = 403      SPEED_100G

 VQI = 404      SPEED_100G

 VQI = 405      SPEED_100G

 VQI = 406      SPEED_100G

slot = 7

 fia_inst = 1

 VQI = 416      SPEED_40G

 VQI = 417      SPEED_40G

 VQI = 418      SPEED_40G

 VQI = 419      SPEED_40G

 VQI = 420      SPEED_100G

Si observa alguna caída de la cola en FIA, verifique estos pasos:

Comprobar la profundidad de la cola en VQI:

RP/0/RP0/CPU0:AG3_1#show controllers fabric fia q-depth location 0/0/CPU0

Thu May 12 08:00:42.186 EDT

 ********** FIA-0 **********

Category: q_stats_a-0

Voq       ddr            pri            Cellcnt   Slot_FIA_NP   

28        0              2              2         LC0_1_1

 ********** FIA-0 **********

Category: q_stats_b-0

Voq       ddr            pri            Cellcnt   Slot_FIA_NP   

 ********** FIA-1 **********

Category: q_stats_a-1

Voq       ddr            pri            Cellcnt   Slot_FIA_NP   

7         0              2              12342         LC0_0_0
 >>> Here Packet count is high so we need to check for LC0 FIA0 NP0 (egress) is there any congestion
 or any other issue in LC0 FIA0 or NP0 

Here Pri = 2 is the default queue (BE) , Pri = 0 is P1 (Voice, real time) queue, Pri = 1 is P2 

97        0              2                23           LC1_0_0

RP/0/RP0/CPU0:AG3_1#show controllers fabric vqi assignment slot 02

 slot = 2

 fia_inst = 0

 VQI = 0        SPEED_10G

 VQI = 1        SPEED_10G

 VQI = 2        SPEED_10G

 VQI = 3        SPEED_10G

 VQI = 4        SPEED_10G

 VQI = 5        SPEED_10G

 VQI = 6        SPEED_10G

 VQI = 7        SPEED_10G

Detalles de asignación de puertos para VQI:

RP/0/RP0/CPU0:AG3_1#show controllers pm vqi location 0/0/CPU0

Platform-manager VQI Assignment Information

      Interface Name      | ifh Value | VQI | NP#

--------------------------------------------------

         TenGigE0_0_0_0_1 | 0x4000680 |   1 |   0

         TenGigE0_0_0_0_2 | 0x40006c0 |   2 |   0

         TenGigE0_0_0_0_3 | 0x4000700 |   3 |   0

         TenGigE0_0_0_0_4 | 0x4000740 |   4 |   0

         TenGigE0_0_0_0_5 | 0x4000780 |   5 |   0

         TenGigE0_0_0_0_6 | 0x40007c0 |   6 |   0

         TenGigE0_0_0_0_7 | 0x4000800 |   7 |   0  

RP/0/RP0/CPU0:AG3_1#show controllers pm interface tenGigE 0/0/0/0/7 

Ifname(1): TenGigE0_0_0_0_7, ifh: 0x4000800 :

iftype             0x1e

egress_uidb_index  0x12, 0x0, 0x0, 0x0

ingress_uidb_index 0x12, 0x0, 0x0, 0x0

port_num           0x0

subslot_num        0x0

ifsubinst          0x0

ifsubinst port     0x7

phy_port_num       0x7

channel_id         0x0

channel_map        0x0

lag_id             0x7e

virtual_port_id    0xa

switch_fabric_port 7     >>> VQI matching for the ports 

in_tm_qid_fid0     0x38001e

in_tm_qid_fid1     0x0

in_qos_drop_base   0xa69400

out_tm_qid_fid0    0x1fe002

out_tm_qid_fid1    0xffffffff

np_port            0xd3

Recopilación de registros:

Show tech fabric

Show tech np

show controllers pm trace ?

  async        Platform manager async trace

  creation     Platform manager interface creation/deletion trace

  error        Platform manager error trace

  information  Platform manager information trace

  init         Platform manager init trace

  other        Platform manager common trace

  stats        Platform manager stats trace

Triaje de fallas NP

 Verificación de carga NP:

RP/0/RP0/CPU0:AG3_1#show controller np load all location 0/0/CPU0

                Node: 0/0/CPU0:

----------------------------------------------------------------

           Load                Packet Rate

  NP0:  2% utilization         3095766 pps

  NP1:  3% utilization         5335675 pps

  NP2:  0% utilization             498 pps

  NP3:  0% utilization            1117 pps

Asignación de puertos:

RP/0/RP0/CPU0:AG3_1#show controllers np ports all location 0/0/CPU0 

                Node: 0/0/CPU0:

----------------------------------------------------------------


NP Bridge Fia                       Ports                     

-- ------ --- ---------------------------------------------------

0  --     0   TenGigE0/0/0/0/0 - TenGigE0/0/0/0/9, TenGigE0/0/0/1/0 - TenGigE0/0/0/1/9

1  --     1   TenGigE0/0/0/2/0 - TenGigE0/0/0/2/9, HundredGigE0/0/0/3

2  --     2   HundredGigE0/0/0/4 - HundredGigE0/0/0/5

3  --     3   HundredGigE0/0/0/6 - HundredGigE0/0/0/7 

Tomahawk

Tenga en cuenta que este es el modo de administración:

sysadmin-vm:0_RP0# show controller switch statistics location 0/LC0/LC-SW

Thu May  12 12:32:37.160 UTC+00:00

Rack  Card  Switch  Rack Serial Number

--------------------------------------

0     LC0   LC-SW                    
                                              Tx      Rx                   

      Phys   State                            Drops/  Drops/               

Port  State  Changes  Tx Packets  Rx Packets  Errors  Errors  Connects To  

----------------------------------------------------------------------------

0     Up     2        3950184361  3977756349  0       0       NP0          

1     Up     2        0           0           0       0       NP0          

8     Up     1        1319787462  209249871   0       0       LC CPU N0 P0 

9     Up     1        3374323096  1819796660  0       0       LC CPU N0 P1 

16    Up     2        2245174606  1089972811  0       0       NP1          

17    Up     2        0           0           0       0       NP1          

18    Up     2        65977       16543963    0       0       NP2          

19    Up     2        0           0           0       0       NP2          

32    Up     2        128588820   3904804720  0       0       NP3          

33    Up     2        0           0           0       0       NP3          

show asic-error np <> all loc <>   >>> Ignore the macwrap errors as they are seen for every
 interface flaps/ Execute 3-4 times to verify the drops increment

show controller np fast-drop <> loc <>  >>> Execute 3-4 times to verify the drops increment 

RP/0/RP0/CPU0:AG3_1#show controller np fast-drop  np0 location 0/0/CPU0

Thu May 12 10:13:22.981 EDT

                Node: 0/0/CPU0:

----------------------------------------------------------------

All fast drop counters for NP 0:

 TenGigE0/0/0/1/0-TenGigE0/0/0/1/9:[Priority1]    0

 TenGigE0/0/0/1/0-TenGigE0/0/0/1/9:[Priority2]    0

 TenGigE0/0/0/1/0-TenGigE0/0/0/1/9:[Priority3]    0

 TenGigE0/0/0/0/0-TenGigE0/0/0/0/9:[Priority1]    0

 TenGigE0/0/0/0/0-TenGigE0/0/0/0/9:[Priority2]    0

 TenGigE0/0/0/0/0-TenGigE0/0/0/0/9:[Priority3]    0

show controllers np punt-path-counters all HOST-IF-0 np<> location <>   
 [Check for IF_CNT_RX_FRM & IF_CNT_TX_FRM] >>> To check if diagnostic packets make it to the LC NP
 Host CPU network port

Velocidad De La Luz

show asic-error np <> all loc <>   >>> Ignore the macwrap errors as they are seen for every interface flap

RP/0/RP0/CPU0:AG3_1#sho asic-errors np 0 all location 0/5/CPU0

************************************************************

*                         0_5_CPU0                         *

************************************************************

************************************************************

*                    Single Bit Errors                     *

************************************************************

************************************************************

*                   Multiple Bit Errors                    *

************************************************************

************************************************************

*                      Parity Errors                       *

************************************************************

************************************************************

*                      Generic Errors                      *

************************************************************

ASR, ASR9K Lightspeed 20*100GE SE LC, 0/5/CPU0, npu[0]

Name            : mphmacwrapReg1.mphmacwrapExceptionLeaf4.mphWrapIrqUmacIpInt82

Leaf ID         : 0x2023e082

Error count     : 1

Last clearing   : Thu Apr  7 11:41:47 2022

Last N errors   : 1

--------------------------------------------------------------

First N errors.

@Time, Error-Data

------------------------------------------

show controller np fast-drop <> loc <> >>> Execute 3-4 times to verify the drops increment

RP/0/RP0/CPU0:AG3_1#show controller np fast-drop  np0 location 0/5/CPU0

Thu May 12 10:13:28.321 EDT

                Node: 0/5/CPU0:

----------------------------------------------------------------

All fast drop counters for NP 0:

 HundredGigE0_5_0_0[Crit]                      0

 HundredGigE0_5_0_0[HP]                        0

 HundredGigE0_5_0_0[LP2]                       0

 HundredGigE0_5_0_0[LP1]                       0

 HundredGigE0_5_0_0[Crit+HP_OOR]               0

 HundredGigE0_5_0_0[LP2+LP1_OOR]               0

 HundredGigE0_5_0_1[Crit]                      0

 HundredGigE0_5_0_1[HP]                        0

 HundredGigE0_5_0_1[LP2]                       0

 HundredGigE0_5_0_1[LP1]                       0

 HundredGigE0_5_0_1[Crit+HP_OOR]               0

Tenga en cuenta que este es el modo de administración:

sysadmin-vm:0_RP0# show controller switch statistics location 0/LC5/LC-SW   >>> Execute 3-4
 times to verify the errors increment

Rack  Card  Switch  Rack Serial Number

--------------------------------------

0     LC5   LC-SW                    

                                              Tx      Rx                    

      Phys   State                            Drops/  Drops/                

Port  State  Changes  Tx Packets  Rx Packets  Errors  Errors  Connects To   

-----------------------------------------------------------------------------

0     Up     4        1456694749  329318054   0       4       CPU -- EOBC   

1     Up     2        21          23          0       0       CPU -- flexE  

2     Up     4        1063966999  87683758    0       0       CPU -- PUNT   

3     Up     4        885103800   3021484524  0       0       CPU -- BFD    

4     Up     3        329319167   1456700372  0       0       RP0           

5     Up     3        0           0           0       0       RP1           

6     Up     1        11887785    2256        0       0       IPU 0         

7     Up     1        0           1086        0       0       IPU 1         

9     Up     4        74028034    3025657779  0       0       NP0           

10    Up     4        5           0           0       0       NP0           

11    Down   1        0           0           0       0       PHY0 -- flexE 

12    Up     4        264928      264929      0       0       NP1           

13    Up     2        5           0           0       0       NP1           

14    Down   1        0           0           0       0       PHY1 -- flexE 

15    Up     4        1516538834  1159586563  0       0       NP2            

Recopilación de registros:

show tech np
show tech fabric
show asic-errors fia trace all location <>

• En eXR , recopile el np_datalog:

RP/0/RP0/CPU0:AG3_1#run chvrf 0 ssh lc0_xr

LC : [one time capture]

show_np -e <> -d npdatalog [<> should be the affected NP]

Path where NP datalogs is saved : /misc/scratch/np/NPdatalog_0_0_CPU0_np0_prm__20220512-105332.txt.gz

LC : 5 to 10 times

show_np -e <> -d pipeline [<> should be the affected NP]

• Para la Falla de Inicialización NP en LSP:

RP/0/RP0/CPU0:AG2-2#show controllers np ports all location 0/6/CPU0
       
Node: 0/6/CPU0:
----------------------------------------------------------------
NP Bridge Fia                       Ports
-- ------ --- ---------------------------------------------------

0  --     0   HundredGigE0/6/0/0 - HundredGigE0/6/0/31  --     

1 --      1   HundredGigE0/6/0/4 - HundredGigE0/6/0/7

NP2 is down. >>>>>>>>>. NP Down/Init Failure 

3 --      3   HundredGigE0/6/0/12 - HundredGigE0/6/0/154  --     

4 --      4  HundredGigE0/6/0/16 - HundredGigE0/6/0/19

Estos registros observan:

LC/0/6/CPU0:Mar 23 02:53:56.175 IST: npu_server_lsp[138]: %PLATFORM-LDA-3-INIT_FAIL :
 Failed to initialize lda_bb_np_reset_process 13795 inst 0x2 LC INIT: Failed in NP HAL
 Reset np  (0x00000001 - Operation not permitted)  : npu_server_lsp : (PID=4597) :
  -Traceback= 7fea2d5cd9f6 7fea2d7d5816 7fea21465efa 7fea21465fc2 7fea42ad0bed 55a9dbd66031
 7fea45e1c855 7fea45e1cc2b 7fea2624d526 7fea3571b96a 7fea4d6e4831 55a9dbd691e9
LC/0/6/CPU0:Mar 23 02:53:56.185 IST: npu_server_lsp[138]: %PLATFORM-NP-4-INIT_DEBUG_MSG :
 LDA NP2 Reset failed!!  Check for a downlevel IPU version.

Recopilación de registros:

show tech-support ethernet interfaces
show tech-support ethernet controllers
show tech-support np
show tech-support fpd
admin show tech-support ctrace (in eXR)
show tech fabric
show asic-errors fia trace all location <>
show logging

gather (in eXR)
RP/0/RP0/CPU0:AG3_1#admin                                
sysadmin-vm:0_RP0# 
[sysadmin-vm:0_RP0:~]$bash -l
[sysadmin-vm:0_RP0:~]$ gather

File will be generated and will get saved in rp0_xr:/misc/disk1

Recopilación general de registros para Tomahawk, LSQ y LSP

show platform
show inventory
show tech fabric
show tech np
show tech ethernet interface
show logging
show pfm location all
show pfm trace location <location id>
sh pfm process <> location <>
show controllers pm vqi location all
show hw-module fpd location all (cxr) / admin show hw-module fpd (exr)
show controllers fti trace <process-name> location <card location>

Cxr:
From admin:
show logging onboard common location <>
show logging onboard error location <>
Exr:
From sysadmin/calvados:
show logging onboard fabric location <>"

Firma y recomendación de error común

Categoría	Error	‘Observaciones’	Recomendación
falla de NP Init	LC/0/0/CPU0:Sep 29 00:41:13.171 IST: pfm_node_lc[304]: %PLATFORM-NP-1-NP_INIT_FAIL_NO_RESET: Set|prm_server_ty[168018]|0x1008006|Error persistente de inicialización de NP, no es necesaria la recarga de la tarjeta de línea.	NP puede entrar en el error persistente de init NP debido al error de paridad de HW/TCAM que obliga a NP a caer.	Recarga de LC a través de CLI para la recuperación.
		El problema se puede recuperar si es transitorio por naturaleza después de la primera recarga de LC.	Complete una autorización de devolución de mercancía (RMA) para las repeticiones del mismo error.
		RMA si se ven instancias repetidas. (capture una foto de la tarjeta defectuosa para inspeccionar si hay daños/pines doblados en SR).
		La nueva tarjeta puede enfrentarse al mismo problema debido a un manejo incorrecto del campo.
		La interfaz asignada a NP permanece inactiva/sin impacto.
ASIC FATAL FAULT-Error ECC de doble bit	LC/0/8/CPU0:29 de mayo 18:29:09.836 IST: pfm_node_lc[301]: %FABRIC-FIA-0-ASIC_FATAL_FAULT: Set|fallo[159811]|0x108a000|La interfaz de fabric ASIC0 ha detectado un error grave 0x1 - ERROR DDR DOUBLE ECC	Este es un error ECC de doble bit en FIA es un error de hardware.	Error de hardware en FIA.
		El error puede resurgir y por lo tanto se recomienda el cierre de administración de la LC.	RMA de la tarjeta.
		La interfaz asignada a NP/FIA permanece inactiva/sin impacto.
		El problema se ve en uno de los casos en que FIA presentó el bloque de proceso fib_mgr.
error SERDES	·RP/0/RSP1/CPU0:Apr 17 12:22:10.690 IST: pfm_node_rp[378]: %PLATFORM-CROSSBAR-1-SERDES_ERROR_LNK0 : Set|fab_xbar[209006]|0x101702f|XBAR_1_Slot_1	Error de fabric en fabric LC o fabric RSP	Recarga de LC a través de CLI para recuperar el error transitorio / CRC para errores repetitivos.
DATA_NB_SERDES_1_FAIL_0	LC/0/3/CPU0:Apr 10 18:55:03.213 IST: pfm_node_lc[304]: %FABRIC-FIA-1-DATA_NB_SERDES_1_FAIL_0 : Set|fialc[168004]|0x103d001|Data NB Serdes Link 1 Failure on FIA 1 RP/0/RSP0/CPU0:Apr 10 18:55:13.043 IST: FABMGR[227]: %PLATFORM-FABMGR-2-FABRIC_INTERNAL_FAULT: 0/3/CPU0 (ranura 3) encontró un fallo de fabric. Las interfaces se van a apagar.	Mecanismo de reentrenamiento de la interfaz para recuperar automáticamente el error SERDES en el fabric. En caso de un problema de HW, el error puede resurgir en LC o RSP nuevamente. La interfaz permanece activa/los errores frecuentes en SERDES impactaron en el tráfico.	RMA para instancias repetidas después de OIR.
Errores INIT ASIC	·LC/0/6/CPU0:Jul 17 00:01:40.738 2019:pfm_node_lc[301]: %FABRIC-FIA-1-ASIC_INIT_ERROR: Set|fialc[168003]|0x108a000|Error ASIC INIT detectado en la instancia FIA 0	Evento de instancia de FIA inactiva para cualquiera de los FIA en LC con ASIC INIT ERROR en Syslog.	Recarga de LC a través de CLI para descartar cualquier problema transitorio.
Error FATAL de FIA ASIC (TS_NI_INTR_LCL_TIMER_EXPIRED)	LC/0/19/CPU0:8 de marzo 04:52:29.020 IST: pfm_node_lc[301]: %FABRIC-FIA-0-FATAL_INTERRUPT_ERROR: Set|fallo[172098]|0x108a003|interrupción del error fatal de FIA en FIA 3: TS_NI_INTR_LCL_TIMER_EXPIRED	En el caso de la nueva tarjeta, se observa que la unidad se ha manipulado incorrectamente en el momento del envío o la instalación, lo que ha causado daños físicos a la placa. Algunas tablas no mostraron ningún daño físico, pero se observó una grieta de soldadura durante la EPT. Esto indica una sobrecarga en el paquete y un posible mal funcionamiento con el tiempo. La interfaz permanece activa/los errores frecuentes en SERDES impactaron en el tráfico.	Si el problema persiste, continúe con RMA / R&R.
NP fast reset (Tomahawk)	LC/0/4/CPU0:Jul 6 04:06:49.259 IST: prm_server_ty[318]: %PLATFORM-NP-3-ECC: prm_ser_check: Se completó el reinicio rápido de NP para recuperarse correctamente de un error de software en NP 1. No se requieren más medidas correctivas.	NP detecta el problema de paridad de software e intenta solucionarlo intentando el reinicio rápido de NP.	No hay RMA para la primera incidencia.
NP parity LC reload	LC/0/6/CPU0:Jan 27 20:38:08.011 IST: prm_server_to[315]: %PLATFORM-NP-0-LC_RELOAD: NP3 tuvo 3 reinicios rápidos en una hora, iniciando la recopilación de datos NP y el reinicio automático de LC	Por lo general, después de tres intentos de recuperación, la recarga de LC por sí misma para la solución del problema de paridad en NP por lo general se ve para la tarjeta Tomahawk. La LC realiza una acción de recuperación automática al recargar la LC y corregir el problema de paridad no recuperable de software en la NP informada. La interfaz asignada a NP se desactiva con reset / Sin impacto.	RMA para repeticiones del mismo error.
LC_NP_LOOPBACK_FAILED	LC/0/1/CPU0:Jul 26 17:29:06.146 IST: pfm_node_lc[304]: %PLATFORM-DIAGS-0-LC_NP_LOOPBACK_FAILED_TX_PATH: Set|online_diag_lc[168022]|Prueba de loopback de NPU de tarjeta de línea(0x2000006)|La máscara de fallo de enlace es 0x1.	Falla de la prueba de diagnóstico de loopback LC NP en uno de los NP.	Recarga de LC a través de CLI para descartar cualquier problema transitorio.
		Alarma definida en PFM como "LC_NP_LOOPBACK_FAILED_XX_PATH".	RMA para repeticiones del mismo error.
		La interfaz asignada a NP se desactiva con reset / Sin impacto.
FABRIC-FIA-1-SUSTAINED_CRC_ERR	LC/0/5/CPU0:Mar 6 05:47:34.748 IST: pfm_node_lc[303]: %FABRIC-FIA-1-SUSTAINED_CRC_ERR: Set|fallo[168004]|0x103d000|La interfaz de fabric ASIC-0 ha sufrido errores CRC	Cierre de FIA debido a un error de CRC FIA SUSTAINED de FABRIC.	Recarga de LC a través de CLI para descartar cualquier problema transitorio.
		Con el evento de apagado de FIA, la interfaz en el FIA también se desactiva.	RMA para repeticiones del mismo error.
		La interfaz permanece activa/sin impacto.
FAB ARB XIF1 ERR	·LC/0/6/CPU0:25 de enero 19:31:22.787 IST: pfm_node_lc[302]: %PLATFORM-FABARBITER-1-RX_LINK_ERR: Clear|fab_arb[163918]|0x1001001|LIT_XIF1_K_CHAR_ERR LC/0/6/CPU0:Jan 25 19:31:22.787 IST: pfm_node_lc[302]: %PLATFORM-FABARBITER-1-SYNC_ERR: Clear|fab_arb[163918]|0x1001001|LIT_XIF1_LOSS_SYNC LC/0/6/CPU0:Jan 25 19:33:23.010 IST: pfm_node_lc[302]: %PLATFORM-FABARBITER-1-RX_LINK_ERR: Set|fab_arb[163918]|0x1001001|LIT_XIF1_DISP_ERR	Error PUNT para la sincronización del árbitro LC y Fabric y error rx_link. La interfaz permanece activa/sin impacto.	OIR la tarjeta para descartar cualquier problema transitorio. RMA para repeticiones del mismo error.
error FPOE_read_write	seguimiento de errores de xbar (show tech fabric) 25 de marzo 00:14:03.497 sm15/error.log_fab_xbar 0/7/CPU0 t4812 /sm15_board_spec.c:90: (ERROR) sm15_tom_get_ha_status: lda_get_active(SUP)) después de los reintentos 0 25 de marzo 00:14:04.893 sm15/error.log_fab_xbar 0/7/CPU0 t4812 /sm15_config.c:917: (ERROR) sm15_port_setup_auto_spread: asic:0 puerto:12 error, rc: 0x0 25 de marzo 00:14:31.935 sm15/error.log_fab_xbar 0/7/CPU0 t4812 /sm15_regio.c:686: (ERROR) sm15_pcie_read_fpoe: write_fpoe_beg asic:0 port:5 fpoe:2722 data:0x6271268 25 de marzo 00:14:31.935 sm15/error.log_fab_xbar 0/7/CPU0 t4812 /sm15_regio.c:166: (ERROR) sm15_rd_fpoe: RF_E:0x5 i:0 p:5 o:0xaa2 v:0x0 25 de marzo 00:14:31.965 sm15/error.log_fab_xbar 0/7/CPU0 t4812 /sm15_regio.c:686: (ERROR) sm15_pcie_read_fpoe: write_fpoe_beg asic:0 port:5 fpoe:2961 data:0x6271624 25 de marzo 00:14:31.965 sm15/error.log_fab_xbar 0/7/CPU0 t4812 /sm15_regio.c:166: (ERROR) sm15_rd_fpoe: RF_E:0x5 i:0 p:5 o:0xb91 v:0x0	ID de bug de Cisco CSCvv45788	Defecto de software
FIA_XBAR SERDES	#show controller fabric fia link-status location 0/9/CPU0 ********** FIA-3 ********** Categoría: link-3 arb link-0 Up xbar link-0 Up xbar link-1 Up xbar link-2 Down xbar link-3 Down LC/0/9/CPU0:Oct 15 05:51:50.677 IST: pfm_node_lc[252]: %FABRIC-FIA-1-DATA_NB_SERDES_2_FAIL_0: Clear|false[4574]|0x108b003|Data NB Serdes Link 2 Failure on FIA 3 | LC/0/9/CPU0:Oct 15 06:02:23.310 IST: pfm_node_lc[252]: %PLATFORM-CROSSBAR-1-SERDES_ERROR_LNK2: Set|fab_xbar[4586]|0x1017008|FIA_3 | LC/0/9/CPU0:Oct 15 06:02:33.311 IST: pfm_node_lc[252]: %PLATFORM-CROSSBAR-1-SERDES_ERROR_LNK2: Clear|fab_xbar[4586]|0x1017008|FIA_3 RP/0/RP1/CPU0:Mar 1 04:36:27.501 IST: FABMGR[218]: %PLATFORM-FABMGR-2-FABRIC_LINK_DOWN_FAULT: (0/8/CPU0 FIA 3) <—> (0/8/CPU0 XBAR 0) El enlace de fabric está inactivo RP/0/RP1/CPU0:Mar 1 04:36:27.504 IST: FABMGR[218]: %PLATFORM-FABMGR-2-FABRIC_INTERNAL_FAULT: 0/8/CPU0 (ranura 10) encontró un fallo de fabric. Las interfaces se van a apagar.		OIR la tarjeta para descartar cualquier problema transitorio. RMA para repeticiones del mismo error.
NP DIAG ICFD fast reset	NP-DIAG en NP0, ICFD (STS-1), NP puede ser 0-4 NP3 tuvo 3 reinicios rápidos en una hora, iniciando la recolección de NPdatalog y el reinicio automático de LC	Activa un reinicio rápido de NP Y la LC se recarga si 3 NP se restablece rápidamente en una hora.	Si la LC se recarga varias veces, RMA.
La supervisión de estado de PRM no pudo obtener los reinicios rápidos del paquete NP	Error de supervisión de estado NP-DIAG NP3 tuvo 3 reinicios rápidos en una hora, iniciando la recolección de NPdatalog y el reinicio automático de LC	Activa un reinicio rápido de NP Y la LC se recarga si 3 NP se restablece rápidamente en una hora.	Si la LC se recarga varias veces, RMA.
La supervisión del estado de PRM se restablece rápidamente de packet-NP dañado	Supervisión de estado de NP-DIAG corrupto en NP3 tuvo 3 reinicios rápidos en una hora, iniciando la recolección de NPdatalog y el reinicio automático de LC	Activa un reinicio rápido de NP Y la LC se recarga si 3 NP se restablece rápidamente en una hora.	Si la LC se recarga varias veces, RMA.
Error de inactividad principal	Falla NP-DIAG en NP Interrupción de Ucode en inactividad superior - se restablece rápido NP	Activa un reinicio rápido de NP Y la LC se recarga si 3 NP se restablece rápidamente en una hora.	Si la LC se recarga varias veces, RMA.
LSP NP Init Failure	LC/0/6/CPU0:23 de marzo 02:53:56.175 IST: npu_server_lsp[138]: %PLATFORM-LDA-3-INIT_FAIL : Error al inicializar lda_bb_np_reset_process 13795 inst 0x2 LC INIT: Error en NP HAL Reset np (0x00000001 - Operación no permitida) : npu_server_lsp : (PID=4597) : -Traceback= 7fea d5cd9f6 7fea2d7d5816 7fea21465efa 7fea21465fc2 7fea42ad0bed 55a9dbd66031 7fea45e1c855 7fea45e1cc2b 7fea2624d526 7fea3571b96a 7fea4d6e4831 55a dbd691e9 LC/0/6/CPU0:23 de marzo 02:53:56.185 IST: npu_server_lsp[138]: %PLATFORM-NP-4-INIT_DEBUG_MSG : LDA NP2 Reset failed!!  Compruebe si hay una versión de IPU de nivel inferior.	Esta información debe recopilarse: show tech-support ethernet interfaces show tech-support ethernet controllers show tech-support np show tech-support fpd admin show tech-support ctrace show tech fabric show logging gather RP/0/RP0/CPU0:AG3_1#admin                                 sysadmin-vm:0_RP0# run [sysadmin-vm:0_RP0:~]$bash -l [sysadmin-vm:0_RP0:~]$ gather El archivo se genera y se guarda en rp0_xr:/misc/disk1 De sysadmin/calvados: show logging onboard fabric location <>	Recarga de LC a través de CLI para descartar cualquier problema transitorio.
Falla de inicialización de Tomahawk NP (FALLO de formación de DDR)	+++ show prm server trace error location 0/7/CPU0 [14:36:59.520 IST Sat Jan 29 2022] ++++ 97 entradas de embalaje (2112 posibles, 320 asignadas, 0 filtradas, 97 en total) 29 de enero 00:22:10.135 prm_server/error 0/7/CPU0 t10 prm_np_Channel_PowerUp : 0x80001d46 Error al alimentar el canal 3 fase 4 29 de enero 00:22:10.136 prm_server/error 0/7/CPU0 t10 np_thread_channel_bringup : 0xa57c0200 Fase de alimentación 4 fallida en el canal 3 Jan 29 00:22:10.136 prm_server/error 0/7/CPU0 t10 np_thread_channel_bringup NP3 no pudo arrancar, lo intentó de nuevo. Número de reintento 1 29 de enero 00:22:35.125 prm_server/error 0/7/CPU0 t10 prm_np_Channel_PowerUp : 0x80001d46 Error al alimentar el canal 3 fase 4 29 de enero 00:22:35.125 prm_server/error 0/7/CPU0 t10 np_thread_channel_bringup : 0xa57c0200 Fase de alimentación 4 fallida en el canal 3 Jan 29 00:22:35.125 prm_server/error 0/7/CPU0 t10 np_thread_channel_bringup NP3 no pudo arrancar, lo intentó de nuevo. Número de reintento 2 29 de enero 00:22:59.075 prm_server/error 0/7/CPU0 t10 prm_np_Channel_PowerUp : 0x80001d46 Error al alimentar el canal 3 fase 4 29 de enero 00:22:59.075 prm_server/error 0/7/CPU0 t10 np_thread_channel_bringup : 0xa57c0200 Fase de alimentación 4 fallida en el canal 3 Jan 29 00:22:59.075 prm_server/error 0/7/CPU0 t10 np_thread_channel_bringup Después de 3 intentos, NP3 no se ha podido inicializar. 29 de enero 00:23:00.087 prm_server/error 0/7/CPU0 t10 prm_send_pfm_msg: Fallo persistente de inicialización de NP, no es necesaria la recarga de la tarjeta de línea. Registrar registros de controladores NP <NP#3>ERROR en la formación de DDR (estado 0x1) <NP#3>ddr3TipRunAlg: error de ajuste 0 <NP#3>ddrTipRunAlgo opcode: error de ddr3TipRunAlg (error 0x1) <NP#3>*** Error: desconocido 0x1	nodo: node0_7_CPU0 --------------------- HORA ACTUAL: 3 de mayo 09:46:42 2022 TOTAL DE PFM: 1 EMERGENCIA/ALERTA (E/A): 1 CRÍTICA (CR): 0 ERROR(ER): 0 ------------------------------------------------------------------------------------------------- Tiempo aumentado |S#|Nombre del fallo |Sev|Proc_ID|Nombre de desarrollo/ruta |Manejar --------------------+—+-----------------------------------+—+-------+--------------+---------- 29 de enero 00:22:58|8 |NP_INIT_FAIL_NO_RESET |E/A|5356 |Proceso de red|0x1008000	Recarga de LC a través de CLI para descartar cualquier problema transitorio. Si el problema aún observa la RMA en la LC ID de bug de Cisco CSCwa85165
Falla de inicialización de LSP NP (error HbmReadParicleError)	LC/0/13/CPU0:Jan 10 13:34:59.106 IST: npu_server_lsp[278]: %PLATFORM-NP-4-SHUTDOWN_START : NP4: EMRHIMREG.ch1Psch0HbmReadParicleError detectado, apagado de NP en curso LC/0/13/CPU0:Jan 10 13:34:59.106 IST: pfm_node_lc[330]: %PLATFORM-NP-0-UNRECOVERABLE_ERROR: Set|npu_server_lsp[4632]|0x10a5004|Se ha detectado un error no recuperable en NP4	+++ show controllers np interrupts all location 0/13/CPU0 [16:02:16.712 IST Lun 10 de enero de 2022] ++++ Nodo: 0/13/CPU0: ---------------------------------------------------------------- ID de nombre de interrupción de NPU Cnt — ------------------------------------------------------------------------------------------ -------------- ------- <snip> 4 hbmdpReg0.hbmdpExceptionLeaf0.hbmdpIntNwlHbmdpRdDataUncorrectableErrCh1Psch1 0x201dc013 1 4 hbmdpReg0.hbmdpExceptionLeaf0.hbmdpIntNwlHbmdpRdDataUncorrectableErrCh1Psch0 0x201dc012 1	Verifique que el ID de bug de Cisco CSCvt59803 esté instalado. La recarga de LC a través de CLI ayuda a recuperar.
Enlace del árbitro inactivo con espera	Fabric-Manager: ##############                Estado de sector =====================================  0/RP0/CPU0 0 En línea  0/RP1/CPU0 0 En línea    0/0/CPU0 0 1 En línea    0/1/CPU0 0 1 En línea    0/8/CPU0 0 Sin conexión (enlace de árbitro de backplane inactivo)    0/8/CPU0 1 fuera de línea (enlace de árbitro de backplane inactivo)    0/8/CPU0 2 fuera de línea (enlace de árbitro de backplane inactivo)    0/8/CPU0 3 fuera de línea (enlace de árbitro de backplane inactivo)		OIR la tarjeta para descartar cualquier problema transitorio. RMA para la repetición del mismo error.
Error de Serdes	show serdes trace location 0/X/CPU0 | i "HTL_ERR_DEVICE_NOT_CONNECTED"') observa estos errores: 68413 Aug 12 22:44:33.525 vkg_serdes/error 0/3/CPU0 t5234 Error: vkg_mdx1_get_lasi_info() line:2910 mdx1_serdes_status_get failed on device 1 channel 12. rc=0x2103 - HTL_ERR_DEVICE_NOT_CONNECTED	ID de bug de Cisco CSCvz75552	Defecto de software

Defectos conocidos

ID de falla de funcionamiento de Cisco	Componente	TÍTULO
ID de bug de Cisco CSCvy00012	asr9k-diags-online	Agotamiento de la memoria del paquete por online_diag_rsp
ID de bug de Cisco CSCvw57721	asr9k-servicepack	Umbrella SMU que contiene firmware actualizado para Lightspeed NP y serdes árbitros
ID de bug de Cisco CSCvz75552	asr9k-vic-ls	El firmware Phy se cuelga y hace que la óptica no se reconozca en A9K-20HG-FLEX
ID de bug de Cisco CSCvz76691	asr9k-servicepack	SMU de Umbrella con manejo mejorado de interrupciones de estado de link para tarjetas de línea Tomahawk
ID de bug de Cisco CSCvz84139	asr9k-ls-fabric	falla fab_si cuando el router se actualiza a 742
ID de bug de Cisco CSCwa81006	asr9k-pfm	ASR9K/eXR no puede confirmar el cierre del puerto de ruta de datos del administrador de errores en algunos escenarios
ID de bug de Cisco CSCvz16840	asr9k-fia	Las sesiones BLB se inestabilizan cuando la CLI recarga la LC porque la ruta de reenvío se cierra temprano debido a los cambios agregados en 6.5.2
ID de bug de Cisco CSCwb64255	asr9k-fab-xbar	nuevas configuraciones SI para SKB en chasis Starscream(9912) y Megatron(9922)
ID de bug de Cisco CSCwa09794	asr9k-fab-xbar	nuevo SI después de ajustar el chasis RO para SKB-SM15
ID de bug de Cisco CSCvv45788	asr9k-fab-xbar	procesos fab_xbar y mgid-programmer que acceden a hw al mismo tiempo
ID de bug de Cisco CSCwd22196	asr9k-prm	Agotamiento del búfer RFD entre el link ILKN en Tomahawk LC
ID de bug de Cisco CSCwb66960	asr9k-fab-infra	Aislamiento de fallos de fabric de punt ASR9k
ID de bug de Cisco CSCwa79758	asr9k-fab-xbar	Pérdida de multidifusión en LC LSP después de realizar OIR de otra LC LSP con falla de link XBAR
ID de bug de Cisco CSCvw88284	asr9k-lda-ls	RSP5 BW es el valor predeterminado de 200 G en chasis 9910/9906 en lugar de 600 G.
ID de bug de Cisco CSCvm82379	asr9k-fab-arb	fab-arb se estrelló mientras tomaba sh tech fabric
ID de bug de Cisco CSCvh00349	asr9k-fia	El fabric ASR9k puede gestionar paquetes de multidifusión enviados durante el modo de espera
ID de bug de Cisco CSCvk44688	asr9k-fia	FPGA tuvo errores repetidamente y no pudo recuperarse
ID de bug de Cisco CSCvy31670	asr9k-ls-fia	LSP: Al eliminar FC0 se habilita el limitador de velocidad de fabric, pero FC4 no
ID de bug de Cisco CSCvt59803	asr9k-ls-npdriver	LSP: PLATFORM-NP-4-SHUTDOWN IMRHIMREG.ch1Psch1HbmReadParicleError

Comportamiento de fault-manager datapath port shutdown/toggle Comando

• fault-manager datapath port shutdown El comando ayuda a apagar los puertos de FIA/NP respectivos para los cuales se ha configurado la alarma de falla de Punt Datapath, en RP/RSP activo, y la interfaz no se activa automáticamente hasta que recarga la LC. Este comando CLI no funciona como se esperaba de la versión 7. x.x. (comando CLI fault-manager datapath port shutdown no funciona según el diseño de 7. x.x) - corregido en 7.7.2.
• fault-manager datapath port toggle El comando CLI funciona bien. Abre el puerto una vez que la alarma Punt Datapath Failure está despejada.
• Esto ayuda a evitar una interrupción del servicio si está disponible la redundancia de nivel de link adecuada y la disponibilidad de BW en la trayectoria redundante.

Probando: para validar la operación de comando mencionada anteriormente.

Inducción de la generación de errores PUNT en NP0 LC7:

RP/0/RP0/CPU0:ASR-9922-A#monitor np counter PUNT_DIAGS_RSP_ACT np0 count 20 location 0/7/CPU0

Wed Jul  7 14:15:17.489 UTC


Usage of NP monitor is recommended for cisco internal use only.

Please use instead 'show controllers np capture' for troubleshooting packet drops in NP

and 'monitor np interface' for per (sub)interface counter monitoring


Warning: Every packet captured will be dropped! If you use the 'count'

         option to capture multiple protocol packets, this could disrupt

         protocol sessions (eg, OSPF session flap). So if capturing protocol

         packets, capture only 1 at a time.



Warning: A mandatory NP reset will be done after monitor to clean up.

         This will cause ~150ms traffic outage. Links will stay Up.

 Proceed y/n [y] > y

 Monitor PUNT_DIAGS_RSP_ACT on NP0 ... (Ctrl-C to quit)




Wed Jul  7 14:17:08 2021 -- NP0 packet




 From Fabric: 127 byte packet

0000: 00 09 00 00 b4 22 00 00 ff ff ff ff 00 00 ff ff   ....4"..........

0010: 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc aa aa aa aa   ....ppppLLLL****

0020: 55 55 55 55 00 00 00 00 01 00 00 00 00 00 00 00   UUUU............

0030: 00 00 00 00 ff ff ff ff 00 00 ff ff 00 ff 00 ff   ................

0040: f0 f0 f0 f0 cc cc cc cc aa aa aa aa 55 55 55 55   ppppLLLL****UUUU

0050: 00 00 00 00 01 00 00 00 00 00 00 00 00 00 00 00   ................

0060: ff ff ff ff 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0   ............pppp

0070: cc cc cc cc aa aa aa aa 55 55 55 55 00 00 00      LLLL****UUUU...




                                    (count 1 of 20)

Wed Jul  7 14:18:09 2021 -- NP0 packet




 From Fabric: 256 byte packet

0000: 00 09 00 00 b5 22 00 00 ff ff ff ff 00 00 ff ff   ....5"..........

0010: 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc aa aa aa aa   ....ppppLLLL****

0020: 55 55 55 55 00 00 00 00 01 00 00 00 00 00 00 00   UUUU............

0030: 00 00 00 00 ff ff ff ff 00 00 ff ff 00 ff 00 ff   ................

0040: f0 f0 f0 f0 cc cc cc cc aa aa aa aa 55 55 55 55   ppppLLLL****UUUU

0050: 00 00 00 00 01 00 00 00 00 00 00 00 00 00 00 00   ................

0060: ff ff ff ff 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0   ............pppp

0070: cc cc cc cc aa aa aa aa 55 55 55 55 00 00 00 00   LLLL****UUUU....

0080: 01 00 00 00 00 00 00 00 00 00 00 00 ff ff ff ff   ................

0090: 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc   ........ppppLLLL

00a0: aa aa aa aa 55 55 55 55 00 00 00 00 01 00 00 00   ****UUUU........

00b0: 00 00 00 00 00 00 00 00 ff ff ff ff 00 00 ff ff   ................

00c0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

00d0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

00e0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

00f0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................




                                    (count 2 of 20)

Wed Jul  7 14:19:09 2021 -- NP0 packet

Actual packet size 515 bytes truncated size 384:




 From Fabric: 384 byte packet

0000: 00 09 00 00 b6 22 00 00 ff ff ff ff 00 00 ff ff   ....6"..........

0010: 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc aa aa aa aa   ....ppppLLLL****

0020: 55 55 55 55 00 00 00 00 01 00 00 00 00 00 00 00   UUUU............

0030: 00 00 00 00 ff ff ff ff 00 00 ff ff 00 ff 00 ff   ................

0040: f0 f0 f0 f0 cc cc cc cc aa aa aa aa 55 55 55 55   ppppLLLL****UUUU

0050: 00 00 00 00 01 00 00 00 00 00 00 00 00 00 00 00   ................

0060: ff ff ff ff 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0   ............pppp

0070: cc cc cc cc aa aa aa aa 55 55 55 55 00 00 00 00   LLLL****UUUU....

0080: 01 00 00 00 00 00 00 00 00 00 00 00 ff ff ff ff   ................

0090: 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc   ........ppppLLLL

00a0: aa aa aa aa 55 55 55 55 00 00 00 00 01 00 00 00   ****UUUU........

00b0: 00 00 00 00 00 00 00 00 ff ff ff ff 00 00 ff ff   ................

00c0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

00d0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

00e0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

00f0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

0100: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

0110: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

0120: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

0130: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

0140: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

0150: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

0160: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

0170: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................



RP/0/RP0/CPU0:ASR-9922-A#sh pfm location 0/RP0/CPU0

Wed Jul  7 14:19:17.174 UTC




node: node0_RP0_CPU0

---------------------

CURRENT TIME: Jul  7 14:19:17 2021

PFM TOTAL: 2   EMERGENCY/ALERT(E/A): 1   CRITICAL(CR): 0   ERROR(ER): 1 

-------------------------------------------------------------------------------------------------

Raised Time         |S#|Fault Name                         |Sev|Proc_ID|Dev/Path Name |Handle   

--------------------+--+-----------------------------------+---+-------+--------------+----------

Jul  1 10:13:45 2021|0 |SPINE_UNAVAILABLE                  |E/A|5082   |Fabric Manager|0x1034000

Jul  7 14:19:09 2021|0 |PUNT_FABRIC_DATA_PATH_FAILED       |ER |9429   |System Punt/Fa|0x2000004

RP/0/RP0/CPU0:ASR-9922-A#sh pfm process 9429 location 0/Rp0/CPU0

Wed Jul  7 14:19:37.128 UTC







node: node0_RP0_CPU0

---------------------

CURRENT TIME: Jul  7 14:19:37 2021

PFM TOTAL: 2   EMERGENCY/ALERT(E/A): 1   CRITICAL(CR): 0   ERROR(ER): 1 

PER PROCESS TOTAL: 0   EM: 0   CR: 0   ER: 0  

Device/Path[1 ]:Fabric loopbac  [0x2000003 ] State:RDY  Tot: 0 

Device/Path[2 ]:System Punt/Fa  [0x2000004 ] State:RDY  Tot: 1 

1   Fault Id:          432

    Sev:               ER

    Fault Name:        PUNT_FABRIC_DATA_PATH_FAILED

    Raised Timestamp:  Jul  7 14:19:09 2021

    Clear Timestamp:   N/A

    Changed Timestamp: N/A

    Resync Mismatch:   FALSE

    MSG:               failure threshold is 3, (slot, NP) failed: (0/7/CPU0, 0)

Device/Path[3 ]:Crossbar Switc  [0x108c000 ] State:RDY  Tot: 0 

Device/Path[4 ]:Crossbar Switc  [0x108c001 ] State:RDY  Tot: 0 

Device/Path[5 ]:Crossbar Switc  [0x108c002 ] State:RDY  Tot: 0 

Device/Path[6 ]:Crossbar Switc  [0x108c003 ] State:RDY  Tot: 0 

Device/Path[7 ]:Crossbar Switc  [0x108c004 ] State:RDY  Tot: 0 

Device/Path[8 ]:Crossbar Switc  [0x108c005 ] State:RDY  Tot: 0 

Device/Path[9 ]:Crossbar Switc  [0x108c006 ] State:RDY  Tot: 0 

Device/Path[10]:Crossbar Switc  [0x108c007 ] State:RDY  Tot: 0 

Device/Path[11]:Crossbar Switc  [0x108c008 ] State:RDY  Tot: 0 

Device/Path[12]:Crossbar Switc  [0x108c009 ] State:RDY  Tot: 0 

Device/Path[13]:Crossbar Switc  [0x108c00a ] State:RDY  Tot: 0 

Device/Path[14]:Crossbar Switc  [0x108c00b ] State:RDY  Tot: 0 

Device/Path[15]:Crossbar Switc  [0x108c00c ] State:RDY  Tot: 0 

Device/Path[16]:Crossbar Switc  [0x108c00d ] State:RDY  Tot: 0 

Device/Path[17]:Crossbar Switc  [0x108c00e ] State:RDY  Tot: 0 

Device/Path[18]:Fabric Interfa  [0x108b000 ] State:RDY  Tot: 0 

Device/Path[19]:Fabric Arbiter  [0x1086000 ] State:RDY  Tot: 0 

Device/Path[20]:CPU Controller  [0x108d000 ] State:RDY  Tot: 0 

Device/Path[21]:Device Control  [0x109a000 ] State:RDY  Tot: 0 

Device/Path[22]:ClkCtrl Contro  [0x109b000 ] State:RDY  Tot: 0 

Device/Path[23]:NVRAM           [0x10ba000 ] State:RDY  Tot: 0 

Device/Path[24]:Hooper switch   [0x1097000 ] State:RDY  Tot: 0 

Device/Path[25]:Hooper switch   [0x1097001 ] State:RDY  Tot: 0 

Device/Path[26]:Hooper switch   [0x1097002 ] State:RDY  Tot: 0 

Device/Path[27]:Hooper switch   [0x1097003 ] State:RDY  Tot: 0 

El puerto no se desactivó en este caso:

RP/0/RP0/CPU0:ASR-9922-A#sh ipv4 int brief location 0/7/CPU0

Wed Jul  7 14:21:29.693 UTC




Interface                      IP-Address      Status          Protocol Vrf-Name

TenGigE0/7/0/0                 unassigned      Down            Down     default

TenGigE0/7/0/1                 unassigned      Down            Down     default

TenGigE0/7/0/2                 unassigned      Down            Down     default

TenGigE0/7/0/3                 unassigned      Down            Down     default

TenGigE0/7/0/4                 unassigned      Down            Down     default

TenGigE0/7/0/5                 unassigned      Down            Down     default

TenGigE0/7/0/6                 unassigned      Down            Down     default

TenGigE0/7/0/7                 unassigned      Shutdown        Down     default

TenGigE0/7/0/8                 unassigned      Shutdown        Down     default

TenGigE0/7/0/9                 unassigned      Shutdown        Down     default

TenGigE0/7/0/10                unassigned      Down            Down     default

TenGigE0/7/0/11                unassigned      Down            Down     default

TenGigE0/7/0/12                unassigned      Down            Down     default

TenGigE0/7/0/13                unassigned      Shutdown        Down     default

TenGigE0/7/0/14                unassigned      Shutdown        Down     default

TenGigE0/7/0/15                unassigned      Shutdown        Down     default

TenGigE0/7/0/16                unassigned      Shutdown        Down     default

TenGigE0/7/0/17                unassigned      Shutdown        Down     default

TenGigE0/7/0/18                unassigned      Down            Down     default

TenGigE0/7/0/19                unassigned      Up              Up       default  >>>>>>> Port is UP



RP/0/RP0/CPU0:ASR-9922-A#sh logging last 200 | in 0/7/0

Wed Jul  7 14:22:35.715 UTC

RP/0/RP0/CPU0:ASR-9922-A#

Caso de ensayo 1.2:

Comportamiento de NP/Ports con el fault-manager datapath port toggle comando:

RP/0/RP0/CPU0:ASR-9922-A#sh run formal | in data

Wed Jul  7 14:52:11.714 UTC

Building configuration...

fault-manager datapath port toggle

RP/0/RP0/CPU0:ASR-9922-A#

No hay alarma en PFM:

RP/0/RP0/CPU0:ASR-9922-A#sh pfm location  0/Rp0/CPU0

Wed Jul  7 14:55:13.410 UTC



node: node0_RP0_CPU0

---------------------

CURRENT TIME: Jul  7 14:55:13 2021

PFM TOTAL: 1   EMERGENCY/ALERT(E/A): 1   CRITICAL(CR): 0   ERROR(ER): 0 

-------------------------------------------------------------------------------------------------

Raised Time         |S#|Fault Name                         |Sev|Proc_ID|Dev/Path Name |Handle   

--------------------+--+-----------------------------------+---+-------+--------------+----------

Jul  1 10:13:45 2021|0 |SPINE_UNAVAILABLE                  |E/A|5082   |Fabric Manager|0x1034000




RP/0/RP0/CPU0:ASR-9922-A#

Generación de errores PUNT en NP0 LC7:

RP/0/RP0/CPU0:ASR-9922-A#monitor np counter PUNT_DIAGS_RSP_ACT np0 count 20 location 0/7/CPU0

Wed Jul  7 14:51:18.596 UTC




Usage of NP monitor is recommended for cisco internal use only.

Please use instead 'show controllers np capture' for troubleshooting packet drops in NP

and 'monitor np interface' for per (sub)interface counter monitoring




Warning: Every packet captured will be dropped! If you use the 'count'

         option to capture multiple protocol packets, this could disrupt

         protocol sessions (eg, OSPF session flap). So if capturing protocol

         packets, capture only 1 at a time.







Warning: A mandatory NP reset will be done after monitor to clean up.

         This will cause ~150ms traffic outage. Links will stay Up.

 Proceed y/n [y] > y

 Monitor PUNT_DIAGS_RSP_ACT on NP0 ... (Ctrl-C to quit)




Wed Jul  7 14:53:21 2021 -- NP0 packet




 From Fabric: 127 byte packet

0000: 00 09 00 00 d8 22 00 00 ff ff ff ff 00 00 ff ff   ....X"..........

0010: 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc aa aa aa aa   ....ppppLLLL****

0020: 55 55 55 55 00 00 00 00 01 00 00 00 00 00 00 00   UUUU............

0030: 00 00 00 00 ff ff ff ff 00 00 ff ff 00 ff 00 ff   ................

0040: f0 f0 f0 f0 cc cc cc cc aa aa aa aa 55 55 55 55   ppppLLLL****UUUU

0050: 00 00 00 00 01 00 00 00 00 00 00 00 00 00 00 00   ................

0060: ff ff ff ff 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0   ............pppp

0070: cc cc cc cc aa aa aa aa 55 55 55 55 00 00 00      LLLL****UUUU...




                                    (count 1 of 20)

Wed Jul  7 14:54:22 2021 -- NP0 packet




 From Fabric: 256 byte packet

0000: 00 09 00 00 d9 22 00 00 ff ff ff ff 00 00 ff ff   ....Y"..........

0010: 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc aa aa aa aa   ....ppppLLLL****

0020: 55 55 55 55 00 00 00 00 01 00 00 00 00 00 00 00   UUUU............

0030: 00 00 00 00 ff ff ff ff 00 00 ff ff 00 ff 00 ff   ................

0040: f0 f0 f0 f0 cc cc cc cc aa aa aa aa 55 55 55 55   ppppLLLL****UUUU

0050: 00 00 00 00 01 00 00 00 00 00 00 00 00 00 00 00   ................

0060: ff ff ff ff 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0   ............pppp

0070: cc cc cc cc aa aa aa aa 55 55 55 55 00 00 00 00   LLLL****UUUU....

0080: 01 00 00 00 00 00 00 00 00 00 00 00 ff ff ff ff   ................

0090: 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc   ........ppppLLLL

00a0: aa aa aa aa 55 55 55 55 00 00 00 00 01 00 00 00   ****UUUU........

00b0: 00 00 00 00 00 00 00 00 ff ff ff ff 00 00 ff ff   ................

00c0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

00d0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

00e0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................

00f0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00   ................




                                    (count 2 of 20)










RP/0/RP0/CPU0:ASR-9922-A#sh pfm location  0/Rp0/CPU0

Wed Jul  7 14:56:24.459 UTC







node: node0_RP0_CPU0

---------------------

CURRENT TIME: Jul  7 14:56:24 2021

PFM TOTAL: 2   EMERGENCY/ALERT(E/A): 1   CRITICAL(CR): 0   ERROR(ER): 1 

-------------------------------------------------------------------------------------------------

Raised Time         |S#|Fault Name                         |Sev|Proc_ID|Dev/Path Name |Handle   

--------------------+--+-----------------------------------+---+-------+--------------+----------

Jul  1 10:13:45 2021|0 |SPINE_UNAVAILABLE                  |E/A|5082   |Fabric Manager|0x1034000

Jul  7 14:55:23 2021|0 |PUNT_FABRIC_DATA_PATH_FAILED       |ER |9429   |System Punt/Fa|0x2000004

RP/0/RP0/CPU0:ASR-9922-A#sh pfm process 9429 location 0/RP0/CPU0

Wed Jul  7 14:56:39.961 UTC







node: node0_RP0_CPU0

---------------------

CURRENT TIME: Jul  7 14:56:40 2021

PFM TOTAL: 2   EMERGENCY/ALERT(E/A): 1   CRITICAL(CR): 0   ERROR(ER): 1 

PER PROCESS TOTAL: 0   EM: 0   CR: 0   ER: 0  

Device/Path[1 ]:Fabric loopbac  [0x2000003 ] State:RDY  Tot: 0 

Device/Path[2 ]:System Punt/Fa  [0x2000004 ] State:RDY  Tot: 1 

1   Fault Id:          432

    Sev:               ER

    Fault Name:        PUNT_FABRIC_DATA_PATH_FAILED

    Raised Timestamp:  Jul  7 14:55:23 2021

    Clear Timestamp:   N/A

    Changed Timestamp: N/A

    Resync Mismatch:   FALSE

    MSG:               failure threshold is 3, (slot, NP) failed: (0/7/CPU0, 0)

Device/Path[3 ]:Crossbar Switc  [0x108c000 ] State:RDY  Tot: 0 

Device/Path[4 ]:Crossbar Switc  [0x108c001 ] State:RDY  Tot: 0 

Device/Path[5 ]:Crossbar Switc  [0x108c002 ] State:RDY  Tot: 0 

Device/Path[6 ]:Crossbar Switc  [0x108c003 ] State:RDY  Tot: 0 

Device/Path[7 ]:Crossbar Switc  [0x108c004 ] State:RDY  Tot: 0 

Device/Path[8 ]:Crossbar Switc  [0x108c005 ] State:RDY  Tot: 0 

Device/Path[9 ]:Crossbar Switc  [0x108c006 ] State:RDY  Tot: 0 

Device/Path[10]:Crossbar Switc  [0x108c007 ] State:RDY  Tot: 0 

Device/Path[11]:Crossbar Switc  [0x108c008 ] State:RDY  Tot: 0 

Device/Path[12]:Crossbar Switc  [0x108c009 ] State:RDY  Tot: 0 

Device/Path[13]:Crossbar Switc  [0x108c00a ] State:RDY  Tot: 0 

Device/Path[14]:Crossbar Switc  [0x108c00b ] State:RDY  Tot: 0 

Device/Path[15]:Crossbar Switc  [0x108c00c ] State:RDY  Tot: 0 

Device/Path[16]:Crossbar Switc  [0x108c00d ] State:RDY  Tot: 0 

Device/Path[17]:Crossbar Switc  [0x108c00e ] State:RDY  Tot: 0 

Device/Path[18]:Fabric Interfa  [0x108b000 ] State:RDY  Tot: 0 

Device/Path[19]:Fabric Arbiter  [0x1086000 ] State:RDY  Tot: 0 

Device/Path[20]:CPU Controller  [0x108d000 ] State:RDY  Tot: 0 

Device/Path[21]:Device Control  [0x109a000 ] State:RDY  Tot: 0 

Device/Path[22]:ClkCtrl Contro  [0x109b000 ] State:RDY  Tot: 0 

Device/Path[23]:NVRAM           [0x10ba000 ] State:RDY  Tot: 0 

Device/Path[24]:Hooper switch   [0x1097000 ] State:RDY  Tot: 0 

Device/Path[25]:Hooper switch   [0x1097001 ] State:RDY  Tot: 0 

Device/Path[26]:Hooper switch   [0x1097002 ] State:RDY  Tot: 0 

Device/Path[27]:Hooper switch   [0x1097003 ] State:RDY  Tot: 0

La interfaz TenGigE0/7/0/19 cayó de NP0:

RP/0/RP0/CPU0:ASR-9922-A#show logging last 200 | in 0/7/0       

Wed Jul  7 14:58:42.959 UTC

LC/0/7/CPU0:Jul  7 14:55:23.798 UTC: ifmgr[270]: %PKT_INFRA-LINK-3-UPDOWN :
 Interface TenGigE0/7/0/19, changed state to Down

LC/0/7/CPU0:Jul  7 14:55:23.798 UTC: ifmgr[270]: %PKT_INFRA-LINEPROTO-5-UPDOWN :
 Line protocol on Interface TenGigE0/7/0/19, changed state to Down

RP/0/RP0/CPU0:Jul  7 14:55:23.802 UTC: BM-DISTRIB[1290]: %L2-BM-6-ACTIVE :
 TenGigE0/7/0/19 is no longer Active as part of Bundle-Ether854 (Link is down)

LC/0/7/CPU0:Jul  7 14:55:25.854 UTC: vic_0_0[379]: %PLATFORM-VIC-4-RFI :
 Interface TenGigE0/7/0/19, Detected Remote Fault

LC/0/7/CPU0:Jul  7 14:55:26.936 UTC: lda_server[114]: %PKT_INFRA-FM-2-FAULT_CRITICAL :
 ALARM_CRITICAL :OPTICS RX POWER LANE-0 LOW ALARM :CLEAR : Te0/7/0/0: 

Generación de error PUNT detenido:

RP/0/RP0/CPU0:ASR-9922-A#sh ipv4 int brief location 0/7/CPU0   

Wed Jul  7 14:59:16.322 UTC



Interface                      IP-Address      Status          Protocol Vrf-Name

TenGigE0/7/0/0                 unassigned      Down            Down     default

TenGigE0/7/0/1                 unassigned      Down            Down     default

TenGigE0/7/0/2                 unassigned      Down            Down     default

TenGigE0/7/0/3                 unassigned      Down            Down     default

TenGigE0/7/0/4                 unassigned      Down            Down     default

TenGigE0/7/0/5                 unassigned      Down            Down     default

TenGigE0/7/0/6                 unassigned      Down            Down     default

TenGigE0/7/0/7                 unassigned      Shutdown        Down     default

TenGigE0/7/0/8                 unassigned      Shutdown        Down     default

TenGigE0/7/0/9                 unassigned      Shutdown        Down     default

TenGigE0/7/0/10                unassigned      Down            Down     default

TenGigE0/7/0/11                unassigned      Down            Down     default

TenGigE0/7/0/12                unassigned      Down            Down     default

TenGigE0/7/0/13                unassigned      Shutdown        Down     default

TenGigE0/7/0/14                unassigned      Shutdown        Down     default

TenGigE0/7/0/15                unassigned      Shutdown        Down     default

TenGigE0/7/0/16                unassigned      Shutdown        Down     default

TenGigE0/7/0/17                unassigned      Shutdown        Down     default

TenGigE0/7/0/18                unassigned      Down            Down     default

TenGigE0/7/0/19                unassigned      Down            Down     default  >>>>>>

Alarma detenida:

RP/0/RP0/CPU0:ASR-9922-A#sh pfm location  0/Rp0/CPU0

Wed Jul  7 15:01:44.478 UTC


node: node0_RP0_CPU0

---------------------

CURRENT TIME: Jul  7 15:01:44 2021

PFM TOTAL: 1   EMERGENCY/ALERT(E/A): 1   CRITICAL(CR): 0   ERROR(ER): 0 

-------------------------------------------------------------------------------------------------

Raised Time         |S#|Fault Name                         |Sev|Proc_ID|Dev/Path Name |Handle   

--------------------+--+-----------------------------------+---+-------+--------------+----------

Jul  1 10:13:45 2021|0 |SPINE_UNAVAILABLE                  |E/A|5082   |Fabric Manager|0x1034000

RP/0/RP0/CPU0:ASR-9922-A#

Se activó la interfaz:

RP/0/RP0/CPU0:ASR-9922-A#show logging  | in 0/7/0/19                                 

Wed Jul  7 15:06:11.532 UTC

LC/0/7/CPU0:Jul  7 14:55:23.798 UTC: ifmgr[270]: %PKT_INFRA-LINK-3-UPDOWN :
 Interface TenGigE0/7/0/19, changed state to Down

LC/0/7/CPU0:Jul  7 14:55:23.798 UTC: ifmgr[270]: %PKT_INFRA-LINEPROTO-5-UPDOWN :
 Line protocol on Interface TenGigE0/7/0/19, changed state to Down

RP/0/RP0/CPU0:Jul  7 14:55:23.802 UTC: BM-DISTRIB[1290]: %L2-BM-6-ACTIVE :
 TenGigE0/7/0/19 is no longer Active as part of Bundle-Ether854 (Link is down)

LC/0/7/CPU0:Jul  7 14:55:25.854 UTC: vic_0_0[379]: %PLATFORM-VIC-4-RFI :
 Interface TenGigE0/7/0/19, Detected Remote Fault

LC/0/7/CPU0:Jul  7 15:03:27.204 UTC: ifmgr[270]: %PKT_INFRA-LINK-3-UPDOWN :
 Interface TenGigE0/7/0/19, changed state to Up

LC/0/7/CPU0:Jul  7 15:03:27.206 UTC: ifmgr[270]: %PKT_INFRA-LINEPROTO-5-UPDOWN :
 Line protocol on Interface TenGigE0/7/0/19, changed state to Up

RP/0/RP0/CPU0:Jul  7 15:03:29.219 UTC: BM-DISTRIB[1290]: %L2-BM-6-ACTIVE :
 TenGigE0/7/0/19 is Active as part of Bundle-Ether854