Resolución de problemas de interfaz ASR1000-ESP10 que dejó de reenviar tráfico debido a "HAL_PKTMEM-2-OUT_OF_RESOURCES"

Introducción

Este documento describe cómo resolver problemas y verificar los mensajes de registro HAL_PKTMEM-2-OUT_OF_RESOURCES en Aggregation Services Routers 1000 (ASR 1000) con Embedded Services Processor 10 (ESP10).

Prerequisites

Requirements

Cisco recomienda que tenga conocimiento sobre estos temas:

• reenvío de paquetes ASR1k

Componentes Utilizados

La información que contiene este documento se basa en estas versiones de software:

• ASR1k 15.1(3)S2 y superiores

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. If your network is live, make sure that you understand the potential impact of any command.

Antecedentes

PAK_PRIORITY es el mecanismo que utilizan los dispositivos para especificar el tratamiento de un paquete mientras se transmite dentro del dispositivo. Los paquetes que normalmente se etiquetan como PAK_PRIORITY serían paquetes de protocolo de control, por ejemplo: RIP, OSPF, EIGRP, ISIS, PPP, HDLC, etc.

Síntoma

Normalmente, este problema se presenta a sí mismo como el router que no puede reenviar el tráfico desde ciertas interfaces.

Estos registros se pueden ver en el buffer de registro:

.18:56:40.808 GMT: %IOSXE-2-PLATFORM: F0: cpp_cp: QFP:00 Subproceso:069 TS:00063743445833820173 %HAL_PKTMEM-2-OUT_OF_RESOURCES:
.18:57:41.222 GMT: %IOSXE-2-PLATFORM: F0: cpp_cp: QFP:00 Subproceso:047 TS:0006374406093385973 %HAL_PKTMEM-2-OUT_OF_RESOURCES:
.18:58:43.662 GMT: %IOSXE-2-PLATFORM: F0: cpp_cp: QFP:00 Subproceso:009 TS:0006374468373382518 %HAL_PKTMEM-2-OUT_OF_RESOURCES

Este registro significa que el dispositivo se quedó sin búferes de paquetes, debido a la suscripción excesiva del tráfico pak_priority.
ASR 1k no descartará los paquetes PAK_PRIORITY, lo que facilita que llenen las memorias intermedias sin permitir que pase otro tipo de tráfico.

Troubleshoot

Comience comprobando los valores predeterminados de las interfaces para las colas de la interfaz con problemas:

Interfaz predeterminada de salida de cola de infraestructura activa de qfp duro de plataforma R1#sh interfaz GigabitEthernet0/0/4
Interfaz: GigabitEthernet0/0/4 QFP: 0.0 if_h: 19 Num Colas/Programaciones: 1
Detalles de la cola:
Índice 0 (ID de cola:0x8a, Nombre: GigabitEthernet0/0/4)
Información de control de software:
ID de cola (caché): 0x0000008a, cableado: 0x8b670082, qlimit (bytes): 3281312
parent_sid: 0x278, debug_name: GigabitEthernet0/0/4
sw_flag: 0x0800091, estado_sw: 0x0000801, port_uidb: 0
orig_min : 0, min: 105000000
min_qos : 0 , min_dflt: 0
orig_max: 0, máx.: 0
max_qos : 0 , max_dflt: 0
compartir: 1
nivel : 0, prioridad: 0
defer_obj_refcnt: 0
Estadísticas:
caídas de cola (bytes): 0 , (paquetes): 0
enqs totales (bytes): 969986824 , (paquetes): 6713421
queue_depth (bytes): 262736736

Puede ver que el límite de cola es 3281312 pero la profundidad de cola es 262736736. Se está excediendo la cantidad de paquetes. Esto sólo puede ocurrir cuando los paquetes pak_priority llegan a una velocidad alta en la interfaz.

A continuación, verifique las caídas en el QFP (procesador de flujo cuántico) del ASR 1k, observa que hay caídas de BQSOOR (almacenamiento en cola y programación fuera de los recursos) en aumento. El BQS es el ASIC de almacenamiento en búfer, almacenamiento en cola y programación, esto significaría que el dispositivo no puede almacenar en búfer ciertos paquetes que llegan debido a que está saturado.

R1#show plat hardw qfp active statistics drop all | e_0_
—
Estadísticas de descarte globales octetos de paquetes
—
BqsOor 62918 8700111

R1#show plat hardw qfp active statistics drop all | e_0_
—
Estadísticas de descarte globales octetos de paquetes
—
BqsOor 62923 8700966

R1#show plat hardw qfp active statistics drop all | e_0_
—
Estadísticas de descarte globales octetos de paquetes
—
BqsOor 62942 8703894

Ahora verifique la utilización del paquete bqs para ver el porcentaje de búfer utilizado.

R1#show platform hardware qfp act bqs 0 utilización de paquetes
Detalles de la utilización de la memoria del búfer de paquetes:
Total: 256.00 MB
Usado: 253.44 MB
Libre: 2620.00 KB
Valores de umbral:
Sin memoria (OOM): 255,96 MB, Estado: Falso
Vital (> 98%): 253,44 MB, Estado: Verdadero
Sin recurso (OOR): 217,60 MB, Estado: Verdadero
Utilización: 99 %

La utilización es del 99%, por lo que esto confirma que el dispositivo se está quedando sin recursos para el búfer.

Ahora debe localizar en qué grupo de búfers se encuentran los paquetes.

Hay 4 opciones:

· colas de QoS creadas a través de MQC ejecutan el comando "Show policy-map int | incl. profundidad de cola|límite"
· Las colas predeterminadas para la interfaz de salida ejecutan el comando "Sho plat hard qfp act inf bqs que out def all | incl queue_depth"
· Las colas de reciclaje utilizadas para la infraestructura ejecutan el comando "Sho plat hard afp act in bqs queue out reciclan all | incl queue_depth"
· colas IPC (protocolo de comunicación entre procesos) ejecutan el comando "Sho plat hard afp act in bqs queue out ipc | incl queue_depth"

R1#show platform hardware qfp act inf bqs que out def all | i queue_de
queue_depth (bytes): 0
queue_depth (bytes): 0
queue_depth (bytes): 0
queue_depth (bytes): 0
queue_depth (bytes): 0
queue_depth (bytes): 0
queue_depth (bytes): 0
queue_depth (bytes): 0
queue_depth (bytes): 0
queue_depth (bytes): 0
queue_depth (bytes): 0
queue_depth (bytes): 0
queue_depth (bytes): 0
queue_depth (bytes): 0
queue_depth (bytes): 0
queue_depth (bytes): 0
queue_depth (bytes): 0
queue_depth (bytes): 262736736
queue_depth (bytes): 0
queue_depth (bytes): 0
queue_depth (bytes): 0
queue_depth (bytes): 0
queue_depth (bytes): 0
queue_depth (bytes): 0

R1#show platform hardware qfp act in bqs que out recy all | i queue_de
queue_depth (packets): 0
queue_depth (packets): 0
queue_depth (packets): 0
queue_depth (packets): 0
queue_depth (packets): 0
queue_depth (packets): 0
queue_depth (packets): 0
queue_depth (packets): 0
queue_depth (packets): 0
queue_depth (packets): 0
queue_depth (packets): 0
queue_depth (packets): 0
queue_depth (packets): 0
queue_depth (packets): 0
queue_depth (packets): 0
queue_depth (packets): 0
R1#show platform hardware qfp act in bqs que out ipc | i queue_de
queue_depth (bytes): 0
queue_depth (bytes): 0
queue_depth (bytes): 0

Verá que los paquetes están en la cola predeterminada.

Normalmente, este problema puede asociarse con una tormenta de paquetes marcados PAK_PRIORITY o ataques DDOS que podrían enviarse marcados como PAK_PRIORITY para interrumpir el reenvío de paquetes, ya que esta CoPP(Control Plane Policing) podría ser necesaria para descartar paquetes que no provienen de un origen válido.
El control de flujo también puede causar esto en cuyo caso, también verá que las entradas de pausa aumentan en la interfaz.

R1#show int gi0/0/4
GigabitEthernet0/0/4 está activo, el protocolo de línea está activo
El hardware es SPA-10X1GE-V2, la dirección es 74de.eeee.cccc (bia 74de.eeee.cccc)
Descripción: inmumpt005rtwn01-G0/2 Airtel 779861 300 Mbps/1 Gbps
La dirección de Internet es 10.1.1.1/30
MTU 9000 bytes, BW 30000 Kbit/seg, DLY 10 usec,
reliability 255/255, txload 1/255, rxload 1/255
Encapsulación ARPA, loopback no establecido
Keepalive no admitido
Dúplex completo, 1000 Mbps, tipo de enlace activo, tipo de medio LX
control de flujo de salida activado, control de flujo de entrada activado
Tipo ARP: ARPA, tiempo de espera ARP 04:00:00
Última entrada 00:00:02, salida 00:00:01, nunca se cerrará la salida
Última compensación de los contadores "show interface" 8w5d
Cola de entrada: 0/375/0/0 (tamaño/máx/caídas/vaciados); Caídas totales de resultados: 11
Estrategia de almacenamiento en cola Cola basada en clase
Cola de salida: 0/40 (tamaño/máx.)
Velocidad de entrada de 30 segundos 0 bits/s, 0 paquetes/s
Velocidad de salida de 30 segundos 0 bits/s, 0 paquetes/s
16653945560 packets input, 6397725725851 bytes, 91 no buffer
339 broadcasts recibidos (0 multidifusión IP)
0 fragmentos, 0 gigantes, 0 aceleradores
52 errores de entrada, 52 CRC, 0 trama, 0 desbordamiento, 0 ignorados
0 watchdog, 2095792 multicast, 166107198 pause input
12240362564 paquetes de salida, 3785983938723 bytes, 0 agotamiento