ASR 5000/5500 Series que resuelven problemas los asuntos relacionados del puerto/NPU
Contenido
Introducción
Este artículo presenta las ideas en cómo resolver problemas los diversos asuntos relacionados las Plataformas ASR 5000 y 5500 del puerto incluyendo los problemas relacionados con la unidad de procesamiento de la red (NPU), y toca un bit en los problemas de la agregación del link (RETRASO) también. Estas técnicas no son ingeniería espacial y de hecho son sabidas sobre todo por los ingenieros, pero uno o más se pueden saltar a menudo encima en el proceso de Troubleshooting simplemente debido al descuido en la precipitación con los pasos hacia la resolución potencial. El artículo primero comienza con las revisiones médicas relacionadas puerto. Entonces presenta todos los acercamientos en una cierta clase de orden metódica. Finalmente ofrece una serie de ejemplos reales que vayan troubleshooting del puerto del más allá de lo básico para los que quieran cavar profundamente.
Comandos de Troubleshooting
muestre el historial del desvío SNMP
Busque los modelos de PortLinkUp y de PortLinkDown. Considere:
- cuantas veces está sucediendo y durante cuándo el período
- puertos múltiples o apenas un puerto o un cierto otro modelo
- trabajo de mantenimiento que los técnicos pueden o no pueden ser conscientes de
muestre la tabla de puertos toda
- indica si los links están hacia arriba o hacia abajo
- Agregación del link (RETRASO) - confirme los puertos están en el estado correcto, o + (distribución/active) o ~ (estado de acuerdo/recurso seguro). Otro estado * o - la investigación adicional de la necesidad.
muestre la información de puerto
- diversa información tal como estado del link, modo de puerto, configuraciones de puerto, configuraciones de la agregación del link (RETRASO), Módulo SFP, etc.
muestre el diag del indicador luminoso LED amarillo de la placa muestra gravedad menor
- información de diagnóstico básica, generalmente no eso útil
muestre el [verbose] stats rct
- sigue toda la actividad PSC/DPC/SMC/MIO (los intercambios, las migraciones, apagan, etc.) desde el bootup
muestre la tabla de la utilización de puertos
- es la producción qué se espera para el Time Of Day
- Los puertos multi de la trayectoria (ECMP) y del RETRASO del igual costo deben transmitir bastante uniformemente
- El ancho de banda del rx está bajo control del otro extremo
muestre la tabla de la utilización del puerto lógico
- analiza la utilización de puertos por el VLAN ID
- si los números son pequeños comparados a la tabla de la utilización de puertos, implica los paquetes que no la hacen al NPU del puerto
muestre los contadores de la transmisión de datos del puerto <slot/port>
- cuentas de paquetes en los puertos físicos ellos mismos de los informes
- marque a los diversos contadores de fallas para ver si ningunos están incrementando y a qué tarifa
- Importante: éste es uno de esos pocos comandos que se recoge DOS VECES en un SSD que pueda tener mucho valor para resolver problemas los aumentos de la cuenta de paquetes en relativamente un período corto
muestre el [vlan <vlan>] de los contadores del npu del puerto <slot/port>
- todos los puertos están conectados con el resto del sistema a través de la unidad del procesador de red (NPU), cualquiera situada en el indicador luminoso LED amarillo de la placa muestra gravedad menor conectado de los servicios de paquetes (PSC, ASR 5000) (si el PSC está conectado o asociado directamente vía los indicadores luminosos LED amarillo de la placa muestra gravedad menor de la barra transversal de la Redundancia (RCC)) o en la entrada-salida de la Administración (MIO) (ASR 5500) en la cual el puerto también está situado.
- marque a los diversos contadores de fallas para ver si ningunos están incrementando y a qué tarifa
- para la implementación del RETRASO, los contadores están señalados para el puerto principal que captura los totales a través de todos los puertos en el grupo del RETRASO, y tan no hay manera de saber qué puerto está causando los errores. En ese caso, para ASR 5000, “muestre las cuentas de fallas de los informes de los all_pacs del debug stats del npu del puerto” en PSC # nivel qué esperanzadamente ayuda a la punta al indicador luminoso LED amarillo de la placa muestra gravedad menor del culpable.
- Se han considerado los problemas donde el aumento en los contadores del faliure de este comando es causado por los errores en el linecard, donde “los contadores de la transmisión de datos del puerto de la demostración” no muestran el problema.
- no todos los problemas NPU se cogen con este comando. Hay el otro soporte técnico solamente NPU ordena (es decir los all_pacs del debug stats del npu de la demostración, los all_pacs del sf stats del npu de la demostración, etc.) los problemas de caída de ese paquete de la captura que no se cubren aquí.
- Importante: éste es uno de esos pocos comandos que se recoge DOS VECES en un SSD que pueda tener mucho valor para resolver problemas los aumentos de la cuenta de paquetes en relativamente un período corto
muestre los registros
- busque cualquier entrada relacionada con los puertos incluyendo el npu de los recursos, el npuctrl, el etc.
muestre el transmisor-receptor del puerto (ASR 5500 solamente)
- busque los niveles de luz constantes a través de todos los puertos
Acciones de la corrección
Entre cada uno de los pasos siguientes, marque la salida de los comandos antedichos, como aplicable, de detectar cualquier mejora y/o de cambiar en el comportamiento. Si el problema es esporádico, un período de espera apropiado puede ser necesario antes de declarar el éxito/el error.
Ésta no se piensa para ser una lista dura y rápida que tiene que ser ejecutada en la orden o aún totalmente. Hay demasiadas variables que desempeñan un papel en resolver problemas tales problemas y así que ésta se piensa para ser una guía de modo que en el lo menos, el analista de errores tenga acceso a todas las opciones potenciales. Ésos con la experiencia de muchos años son probablemente familiares con algunos de estos acercamientos pues se aplican a otras Plataformas, pero una lista de verificación del recordatorio es siempre una buena idea, y ésas sin el conocimiento de la plataforma pueden no ser familiares con algunos de los acercamientos y/o de los comandos específicos de la plataforma disponibles.
Recuerde: cada escenario es diferente y los pasos de Troubleshooting revelarán la nueva información que dictará los pasos futuros que diferenciarán entre los escenarios. Esto es apenas una guía.
Los pasos considerados y la orden tomada variarán dependiendo de la gravedad del problema, del impacto potencial del suscriptor, y del sentimiento del cliente.
Intercambio al puerto redundante o al RETRASO
- Necesidad de considerar el hecho de que el puerto que es resuelto problemas ahora está manejando el tráfico O no está manejando el tráfico
- ASR5000: el linecards del mismo tamaño ahora está conectado con un diverso PSC (NPU), mientras que el linecard mitad-clasificado continuará siendo conectado con el mismo PSC
- el conmutar encima no cambia ningún cableado, y tan más probablemente el hacer tan no diferenciará en un puerto que despide el escenario, pero en lo más menos posible, si el problema estaba en el puerto activo, el impacto será minimizado puesto que es ahora sea un puerto en espera
Conexiones por cable del intercambio con el puerto redundante
- dependiendo de qué cable se tira primero, el puerto activo final podría ser cualquier puerto, así que el puerto puede necesitar ser conmutado detrás para conseguir de nuevo a la disposición que comienza
- si sigue habiendo el problema con el puerto preocupado, después mire más de cerca ese puerto en el ASR
- si el Switches del problema al otro vira hacia el lado de babor, después mire más de cerca la conexión de ese puerto en el otro extremo
Limpie las fibras
- si el puerto que es limpiado es activo, después necesita ser conmutado de nuevo después de la limpieza
- las fibras de la limpieza han sido definitivamente una actividad que resuelve con frecuencia los problemas
Substituya los elementos en la trayectoria, incluyendo el cable Ethernet/la fibra/el panel de conexiones/los interconecta/golpea ligeramente
- si el puerto que es limpiado es activo, después necesitará ser conmutado de nuevo después de la limpieza
- puede ser que sea asombrosamente descubrir cómo este paso resuelve con frecuencia los problemas
Reemplazo enchufable del (SFP) del pequeño factor de forma en cualquier/los ambos lados de la conexión
- los SFP se pueden pedir por separado
- Comprobación para los SFP inusitados para comprobar
------------------------------
ASR 5000 solamente:
Reinicialización del linecard
El linecard vuelve a sentar
- El volver a sentar logrará un superconjunto de la reinicialización y es más intruso y digno de intentar
Migración PSC
- El PSC conectado con el linecard que recibe el puerto problemático (asignaciones del indicador luminoso LED amarillo de la placa muestra gravedad menor de la demostración/tabla de indicador luminoso LED amarillo de la placa muestra gravedad menor de la demostración toda))
Reinicialización PSC
El PSC vuelve a sentar
- Una migración PSC dará lugar al PSC que es reajustado pero no es el equivalente de una reinicialización
- Una restauración PSC es semejantemente más intrusa que una reinicialización PSC
- Un PSC vuelve a sentar logrará un superconjunto de la reinicialización PSC en un paso
- En todo el antedicho, si se resuelve el problema, una migración para hacer el active PSC sería otra vez necesaria confirmar si el problema está resuelto completamente (si se asume que la actividad PSC ha resuelto el puerto que despedía). ¿Observe que dependiendo del diseño de placas y de la configuración de placas que comienza (es decir está el linecard que tiene el problema físicamente detrás del PSC conectado? , el etc.), conmutando el PSC de nuevo al active puede o no puede dar lugar al mismo linecard del <-> PSC que asocia que estaba el caso antes de la actividad.
Intercambio del indicador luminoso LED amarillo de la placa muestra gravedad menor de la administración del sistema (SMC)
Reinicialización SMC
El SMC vuelve a sentar
ASR 5500 solamente:
Intercambio MIO
- esto es diferente que apenas un puerto o un intercambio del RETRASO. Cualquier puerto activo en el MIO que es conmutada encima llegará a ser espera. Si el puerto problemático es ya activo en el MIO espera, después el intercambio MIO no cambia el estado del puerto sino sigue siendo un paso válido
----------------------------------
Recarga del chasis
- aunque es inverosímil, es siempre posible que hay una cierta clase de anomalía que se puede resolver solamente con una recarga
Reemplazo de hardware en el switch adyacente
Reemplazo de hardware en ASR 5x00 (PSC, LC, MIO, SMC o RCC)
La corrección camina referencia de comandos:
¿el indicador luminoso LED amarillo de la placa muestra gravedad menor emigra del <x> al <y>? Migración PSC/DPC
¿- Mientras que la elevación de la palanca es otra manera, ponga? t hace eso Y después tira del indicador luminoso LED amarillo de la placa muestra gravedad menor o un indicador luminoso LED amarillo de la placa muestra gravedad menor apaga los resultados
¿Card Switch del <x> al <y>? Intercambio SMC/MIO/LC/RCC
¿Switch del puerto al <x>? Intercambio del puerto del NON-RETRASO
¿Switch del puerto de la link-agregación al <x>? Intercambio del RETRASO
¿- X debe ser el puerto principal del RETRASO o dominó? pares s dependiendo de la dirección
reinicialización X del indicador luminoso LED amarillo de la placa muestra gravedad menor
- el reinicio de placa es otra opción pero se recomienda la reinicialización
Escenarios de Troubleshooting del ejemplo
El nodo inter espera de la recuperación de la sesión del chasis PGW (ICSR) está recibiendo el volumen alto de tráfico del enebro MX-960
Este ejemplo muestra los puertos activos del RETRASO que recibían el tráfico significativo incluso pensaron que el chasis es recurso seguro del Redundancy Protocol del servicio (SRP) en este caso la producción casi es nada. El valor de los dos comandos siguientes usados en la conjunción es que los puertos están mostrando el tráfico significativo que es recibido pero el NPU no está mostrando ningún tráfico. Esto implica el tráfico se está cayendo antes de alcanzar el NPU, posiblemente a la derecha en los puertos ellos mismos. “Los contadores de la transmisión de datos del puerto de la demostración” y “el npu del puerto de la demostración contradice” el corraborate esto puesto que los contadores NPU están aumentando apenas mientras que los contadores de la transmisión de datos están aumentando rápidamente.
[local]PGW-ICSR> show port utilization table Sunday July 26 00:13:32 UTC 2015 ------ Average Port Utilization (in mbps) ------Port Type Current 5min 15min Rx Tx Rx Tx Rx Tx----- ------------------------ ------- ------- ------- ------- ------- ------- 5/1 1000 Ethernet 0 0 0 0 0 0 5/10 10G Ethernet 0 0 0 0 0 0 5/11 10G Ethernet 0 0 0 0 0 0 5/15 10G Ethernet 0 0 0 0 0 0 5/16 10G Ethernet 0 0 0 0 0 0 5/28 10G Ethernet 105 13 105 13 105 13 5/29 10G Ethernet 0 0 0 0 0 0 6/1 1000 Ethernet 0 0 0 0 0 0 6/10 10G Ethernet 4214 0 4121 0 3993 0 6/11 10G Ethernet 4089 0 4103 0 3995 0 6/15 10G Ethernet 4166 0 4172 0 3996 0 6/16 10G Ethernet 4163 0 4174 0 3997 0 6/28 10G Ethernet 0 0 0 0 0 0 6/29 10G Ethernet 1 0 1 0 1 0 [local]PGW-ICSR> show logical-port utilization table Sunday July 26 00:13:45 UTC 2015 ------ Average Port Utilization (in mbps) ------Slot/Port vlan Current 5min 15min Rx Tx Rx Tx Rx Tx-------------- -------- -------- -------- -------- -------- -------- 5/10 2427 0 0 0 0 0 0 5/10 2407 0 0 0 0 0 0 5/10 2011 0 0 0 0 0 0 5/10 2405 0 0 0 0 0 0 5/10 2015 0 0 0 0 0 0 5/10 2455 0 0 0 0 0 0 6/10 2427 0 0 0 0 0 0 6/10 2407 0 0 0 0 0 0 6/10 2011 0 0 0 0 0 0 6/10 2405 0 0 0 0 0 0 6/10 2015 0 0 0 0 0 0 6/10 2455 0 0 0 0 0 0 6/29 31 0 0 0 0 0 0
[local]PGW-ICSR> clear port npu counters all
Saturday July 25 01:44:38 UTC 2015
[local]PGW-ICSR> clear port data count all
Saturday July 25 01:44:43 UTC 2015
[local]PGW-ICSR> show port data counters 6/10
Saturday July 25 01:45:30 UTC 2015
rt npu counteCounters for port 6/10:
Line Card 10 Gigabit Ethernet Port
Rx Counter Data | Tx Counter Data
----------------------- -------------- + ----------------------- -------------
RX Bytes 20310895783 | TX Bytes 9746
RX Unicast frames 25564965 | TX Unicast frames 41
RX Multicast frames 85 | TX Multicast frames 48
RX Broadcast frames 0 | TX Broadcast frames 0
RX Size 64 frames 338598 | TX Size 64 frames 9
RX Size 65 .. 127 fr 6881254 | TX Size 65 .. 127 fr 32
RX Size 128 .. 255 fr 4151284 | TX Size 128 .. 255 fr 48
RX Size 256 .. 511 fr 761933 | TX Size 256 .. 511 fr 0
RX Size 512 .. 1023 fr 599377 | TX Size 512 .. 1023 fr 0
RX Size 1024 .. 1518 fr 12678554 | TX Size 1024 .. 1518 fr 0
RX Size 1519 .. 1522 fr 154050 | TX Size 1519 .. 1522 fr 0
[local]PGW-ICSR> show port npu counters 6/10
Saturday July 25 01:45:31 UTC 2015
Counters for port 6/10
Counter Rx Frames Rx Bytes Tx Frames Tx Bytes
---------------------- -------------------- ----------- --------------------
Unicast 147 11716 150 12234
Multicast 870 73376 416 51584
Broadcast 4 240 0 0
IPv4 unicast 66 4436 66 4550
IPv4 non-unicast 238 15232 0 0
IPv6 unicast 83 7400 84 7684
IPv6 non-unicast 632 8144 0 0
Fragments received 0 0 n/a n/a
Packets reassembled 0 0 n/a n/a
Fragments to kernel 0 0 n/a n/a
HW error 0 0 n/a n/a
Port non-operational 0 0 0 0
SRC MAC is multicast 0 0 n/a n/a
Unknown VLAN tag 0 0 n/a n/a
Other protocols 97 8240 n/a n/a
Not IPv4 399 36472 n/a n/a
Bad IPv4 header 0 0 n/a n/a
Paquetes faltantes entre la transmisión de datos y los contadores del npu
Este ejemplo para ASR 5000 muestra la salida que compara los contadores de la transmisión de datos y del npu. En este caso, el Multicast y los paquetes de broadcast hacen juego entre los comandos, pero la cuenta del rx para el npu es menos que para la transmisión de datos. El comando “debug stats del npu de la demostración” puede explicar posiblemente la diferencia, pero no en todos los casos, al igual que el caso aquí donde ningunos de los contadores de ese comando pueden explicar las diferencias.
[local]DO-HSGW> clear port npu counters allThursday August 06 02:05:51 UTC 2015 [local]DO-HSGW> clear port datalink counters allThursday August 06 02:05:52 UTC 2015 [local]DO-HSGW> show npu stats debug all-pacs clearThursday August 06 02:05:52 UTC 2015 [local]DO-HSGW> show card tableThursday August 06 02:18:59 UTC 2015Slot Card Type Oper State SPOF Attach----------- -------------------------------------- ------------- ---- ------5: PSC Packet Services Card 3 Active No 21 37 [local]DO-HSGW> show port npu count 21/1Thursday August 06 02:13:52 UTC 2015Counters for port 21/1sCounter Rx Frames Rx Bytes Tx Frames Tx Bytes-------------------- ------------- --------------- ------------- ---------------Unicast 2502 289800 1726 308932Multicast 1091 92000 0 0Broadcast 1231 79781 0 0IPv4 unicast 2400 283272 1624 304240IPv4 non-unicast 534 34176 0 0IPv6 unicast 0 0 0 0IPv6 non-unicast 539 52982 0 0Fragments received 0 0 n/a n/aPackets reassembled 0 0 n/a n/aFragments to kernel 0 0 n/a n/aHW error 0 0 n/a n/aPort non-operational 0 0 0 0SRC MAC is multicast 0 0 n/a n/aUnknown VLAN tag 0 0 n/a n/aOther protocols 50 7850 n/a n/aNot IPv4 0 0 n/a n/aBad IPv4 header 0 0 n/a n/aIPv4 MRU exceeded 0 0 n/a n/aTCP tiny fragment 0 0 0 0No ACL match 0 0 0 0Filtered by ACL 0 0 0 0TTL expired 0 0 n/a n/aFlow lookup twice 0 0 n/a n/aUnknown IPv4 class 0 0 n/a n/aToo short: IP 0 0 n/a n/aToo short: ICMP 0 0 0 0Too short: IGMP 0 0 0 0Too short: TCP 0 0 0 0Too short: UDP 0 0 0 0Too short: IPIP 0 0 n/a n/aToo short: GRE 0 0 n/a n/aToo short: GRE key 0 0 n/a n/aDon't frag discards n/a n/a 0 0Fragment packets n/a n/a 0 0Fragment fragments n/a n/a 0 0IPv4VlanMap dropped 0 0 n/a n/aIPSec NATT keep alive 0 0 n/a n/aMPLS Flow not found 0 0 n/a n/aMPLS unicast 0 0 0 0Size < 17 0 0 0 0Size 17 .. 64 1834 117376 102 4692Size 65 .. 127 1385 113948 36 2520Size 128 .. 255 1589 225633 1191 170710Size 256 .. 511 16 4624 397 131010Size 512 .. 1023 0 0 0 0Size 1024 .. 2047 0 0 0 0Size 2048 .. 4095 0 0 0 0Size 4096 .. 4500 0 0 0 0Size > 4500 0 0 0 0 [local]DO-HSGW> show port data counters 21/1Thursday August 06 02:13:52 UTC 2015how npu Counters for port 21/1:Line Card Gigabit Ethernet Port Rx Counter Data | Tx Counter Data----------------------- -------------- + ----------------------- -------------RX Unicast frames 5555 | TX Unicast frames 1726RX Multicast frames 1091 | TX Multicast frames 0RX Broadcast frames 1233 | TX Broadcast frames 0RX Size 64 frames 0 | TX Size 64 frames 102RX Size 65 .. 127 fr 4219 | TX Size 65 .. 127 fr 36RX Size 128 .. 255 fr 1681 | TX Size 128 .. 255 fr 1191RX Size 256 .. 511 fr 49 | TX Size 256 .. 511 fr 397RX Size 512 .. 1023 fr 1828 | TX Size 512 .. 1023 fr 0RX Size 1024 .. 1518 fr 18 | TX Size 1024 .. 1518 fr 0RX Size > 1518 frames 84 | TX Size > 1518 frames 0RX Bytes OK 1934599 | TX Bytes OK 317264RX Bytes BAD 0 | TX Bytes BAD 0RX SHORT OK 0 | TX PAUSE 0RX SHORT CRC 0 | TX ERR 0RX OVF 0 |RX NORM CRC 0 |RX LONG OK 0 |RX LONG CRC 0 |RX PAUSE 0 |RX FALS CRS 0 |RX SYM ERR 0 |RX FIFO CORR ECC ERR 0 | TX FIFO CORR ECC ERR 0RX FIFO UNREC ECC ERR 0 | TX FIFO UNREC ECC ERR 0RX Disc frames 0 | TX Disc frames 0RX Disc bytes 0 | TX Disc bytes 0RX ERR frames 0 | TX ERR frames 0----------------------- -------------- + ----------------------- ------------- [local]DO-HSGW> show npu stats debug slot 5Thursday August 06 02:13:53 UTC 2015NPU debug stats for slot 5Total number of NPU debug stat counters: 267 WARN: ---------------------------------- lc-rx-drop (id: 234) 50 INFO: ---------------------------------- csix-idle-cnt (id: 29) 36268853 npu-resent-fc-msg (id: 45) 951 npu-tx-fc-cframe (id: 46) 44701 npu-rx-sf-xon (id: 60) 13316 cp2npu-unk-mac-drop-cnt (id: 153) 177255 ipv6-unk-nexthdr (id: 155) 262 rx-cp-sft-pkt (id: 164) 33439 rx-sf0-sft-pkt (id: 165) 33439 rx-sf1-sft-pkt (id: 166) 33439 lc-rx-arp-slowpath (id: 316) 70 flow-notfound-done-slowpath (id: 325) 1233 flow-lkup-done-slowpath (id: 326) 3473
Pausa y RX OVF de la transmisión de datos TX en ASR 5000
La pausa TX indica que este puerto ha alcanzado una cierta carga pico en algún momento del tiempo y ha enviado una trama de pausa al Switch del par, de modo que el Switch del par pueda reducir agraciado el tráfico hacia este puerto. Sin embargo, parece que el Switch del par no está habilitado con el control de flujo y por lo tanto hay algunos contadores en el linecard que indica algunos descensos del desbordamiento en el puerto.
Incluso si la utilización de puertos media no está alcanzando el valor pico (como el 6 GBPS), el puerto puede recibir un punto súbito del tráfico que pueda llevar a la PAUSA TX. Por lo tanto, es recomendable tener el control de flujo habilitado en el Switch del par siempre sólo en caso.
show port datalink counters
Counters for port 21/1:Line Card 10 Gigabit Ethernet Port Rx Counter Data | Tx Counter Data----------------------- -------------- + ----------------------- -------------RX Unicast frames 11562820841545 | TX Unicast frames 8643405785924RX Multicast frames 401729121 | TX Multicast frames 0RX Broadcast frames 16900986 | TX Broadcast frames 0RX Size 64 frames 2562649224215 | TX Size 64 frames 5324800463761RX Size 65 .. 127 fr 1827916995441 | TX Size 65 .. 127 fr 1921108746736RX Size 128 .. 255 fr 527160156402 | TX Size 128 .. 255 fr 377388275894RX Size 256 .. 511 fr 384674712910 | TX Size 256 .. 511 fr 285180922294RX Size 512 .. 1023 fr 335734722295 | TX Size 512 .. 1023 fr 248088896685RX Size 1024 .. 1518 fr 5894848662488 | TX Size 1024 .. 1518 fr 486837840991RX Size > 1518 frames 29836364100 | TX Size > 1518 frames 0RX Bytes OK 9248285853715092 | TX Bytes OK 1491301613652484RX Bytes BAD 5358 | TX Bytes BAD 0RX SHORT OK 0 | TX PAUSE 639563RX SHORT CRC 0 | TX ERR 0RX OVF 12768 |RX NORM CRC 0 |RX LONG OK 0 |RX LONG CRC 0 |RX PAUSE 0 |RX FALS CRS 0 |RX SYM ERR 0 |RX SPI FRAME COUNT 11555373252519 | TX SPI FRAME COUNT 8637801817136RX SPI LEN ERR 0 | TX SPI LEN ERR 0RX SPI DIP 2 ERR 0 | TX SPI DIP 4 ERR 0RX SPI STATUS OOF ERR 0 | TX SPI DATA OOF ERR 0RX FIFO OVERFLOW 0 | TX FIFO FULL DROP 0RX PAUSE COUNT 0 | TX DIP 4 PACKET DROP 0SPI EOP/ABORT 0 |RX FRAGMENTS COUNT 0 |RX MAC ERR 26 |RX JABBER COUNT 0 |
Un comando muy bajo (el soporte técnico solamente, se puede extraer del SSD) es “el slot X de la congestión de los datos de la demostración”. En este ejemplo observe el alto nivel de congestión en el slot 5 (valor por defecto conectado con XCLC 21/1) en el NPU a la interfaz del Switch Fabric (SF). Específicamente, un conteo alto de Mensajería del control de flujo del Switch Fabric al NPU, junto con un número alto de caídas de paquetes en que la misma dirección confirma el problema.
******** Data-path congestion information for slot 5 ********NPU Percentage of Frames Dropped:Subsystem | 5 Sec | 5 Min | 15 Min | Total Frames and Drops-------------|---------|---------|---------|----------------------------- LC Top rx | 0.00% | 0.00% | 0.00% | Frames: 715193480189 | | | | Drops: 0 LC Top tx | 0.00% | 0.00% | 0.00% | Frames: 0 | | | | Drops: 0 LC Bot rx | 0.00% | 0.00% | 0.00% | Frames: 0 | | | | Drops: 0 LC Bot tx | 0.00% | 0.00% | 0.00% | Frames: 0 | | | | Drops: 0 LC RCC1 rx | 0.00% | 0.00% | 0.00% | Frames: 0 | | | | Drops: 0 LC RCC1 tx | 0.00% | 0.00% | 0.00% | Frames: 0 | | | | Drops: 0 LC RCC2 rx | 0.00% | 0.00% | 0.00% | Frames: 0 | | | | Drops: 0 LC RCC2 tx | 0.00% | 0.00% | 0.00% | Frames: 0 | | | | Drops: 0 CPU rx | 0.00% | 0.00% | 0.00% | Frames: 121566003797 | | | | Drops: 0 CPU tx | 0.00% | 0.00% | 0.00% | Frames: 59870967969 | | | | Drops: 35226625 SF A rx | 0.00% | 0.00% | 0.00% | Frames: 224008179 | | | | Drops: 0 SF A tx | 0.01% | 0.00% | 0.00% | Frames: 378241304254 | | | | Drops: 274645028 SF B rx | 0.00% | 0.00% | 0.00% | Frames: 656009419 | | | | Drops: 0 SF B tx | 0.00% | 0.00% | 0.00% | Frames: 392219947264 | | | | Drops: 320394097 EDC rx | 0.00% | 0.00% | 0.00% | Frames: 0 | | | | Drops: 0 EDC tx | 0.00% | 0.00% | 0.00% | Frames: 0 | | | | Drops: 0NPU Received Flow Control Events:Event | 5 Sec | 5 Min | 15 Min | Total Event Count----------------|-------------|-------------|-------------|-------------------- rx-sf-xoff | 21668 | 843417 | 2358340 | 828378025 rx-sf-xon | 21811 | 851786 | 2383440 | 873518866 rx-lc-xoff | 0 | 0 | 0 | 0 rx-lc-xon | 0 | 0 | 0 | 0 rx-cp-xoff | 53 | 5021 | 15176 | 17316366 rx-cp-xon | 53 | 5021 | 15176 | 17316366 rx-edc-xoff | 0 | 0 | 0 | 0 rx-edc-xon | 0 | 0 | 0 | 0
TX cada vez mayor ERR debido a las configuraciones de puerto unidas mal en el puerto de administración ASR 5500
En este ejemplo, los boletos comenzaron a ser abiertos refiriéndose a un aumento en los contadores TX ERR en el puerto 5/1, el puerto de administración en ASR 5500. En un sitio, “no fue notado” pues un problema hasta después de que una FREGONA fuera ejecutada que implementó la creación y la generación de archivos de registro del evento, una característica del servicio de carga Enhance. Ninguna correlación se podría hacer entre implementar esa característica y un aumento súbito en estos incidentes, excepto de observar que había también un aumento súbito en la producción para el puerto de administración, que debe llevar solamente el tráfico de administración en 12/30 cuando el cambio fue realizado. Aquí los txpackets variables del esquema PORTSch1 se representan gráficamente que muestran el aumento:
Una auditoría de la red mostró que el problema sucedía en muchos Nodos, por ejemplo aquí es apenas un pequeño snippet de la auditoría:
*************** ALPR-DXGW-ICSR ***************show port datalink counters 5/1 | grep "TX ERR"Monday January 04 03:33:14 UTC 2016RX SHORT CRC 0 | TX ERR 2038860*************** ANJT-PGW ***************show port datalink counters 5/1 | grep "TX ERR"Monday January 04 03:33:14 UTC 2016RX SHORT CRC 0 | TX ERR 1975169*************** AZUS-PGW-00 ***************show port datalink counters 5/1 | grep "TX ERR"Monday January 04 03:33:15 UTC 2016RX SHORT CRC 0 | TX ERR 1709395*************** AZUSPND-PGW-00 ***************show port datalink counters 5/1 | grep "TX ERR"Monday January 04 03:33:15 UTC 2016RX SHORT CRC 0 | TX ERR 1211060
Volviendo a SSDs viejo (puesto que solamente los contadores básicos están siendo seguidos por Bulkstats), puede ser visto que sucedía el error lentamente hasta 12/30, pero por otra parte después de que la ejecución de la FREGONA, el error sucediera a una tarifa mucho más alta:
Thursday November 19 13:41:44 UTC 2015Counters for port 5/1:Line Card Gigabit Ethernet Port Rx Counter Data | Tx Counter Data----------------------- -------------- + ----------------------- -------------RX SHORT CRC 0 | TX ERR 5927969 Monday November 30 13:35:45 UTC 2015Counters for port 5/1:Line Card Gigabit Ethernet Port Rx Counter Data | Tx Counter Data----------------------- -------------- + ----------------------- -------------RX SHORT CRC 0 | TX ERR 6116249 Tuesday December 01 13:39:26 UTC 2015Counters for port 5/1:Line Card Gigabit Ethernet Port Rx Counter Data | Tx Counter Data----------------------- -------------- + ----------------------- -------------RX SHORT CRC 0 | TX ERR 6130958 Counters cleared ... [local]ASR5500-PGW> show port datalink counters 5/1Monday January 04 02:41:29 UTC 2016Counters for port 5/1:Line Card Gigabit Ethernet Port Rx Counter Data | Tx Counter Data----------------------- -------------- + ----------------------- -------------RX Unicast frames 171008921 | TX Unicast frames 221976127RX SHORT CRC 0 | TX ERR 5852770 ******** show port datalink counters *******Tuesday January 05 13:38:51 UTC 201Rx Counter Data | Tx Counter Data----------------------- -------------- + ----------------------- -------------RX Unicast frames 216450269 | TX Unicast frames 8080952673RX SHORT CRC 0 | TX ERR 11497275
******** show port info *******
Tuesday January 05 13:33:07 UTC 2016
Port: 5/1
Port Type : 1000 Ethernet
Configured Duplex : Auto
Configured Speed : Auto
Link State : Up
Link Duplex : Half
Link Speed : 100 MbIssue fixed ...Wednesday January 06 14:29:28 UTC 2016Counters for port 5/1:Line Card Gigabit Ethernet Port Rx Counter Data | Tx Counter Data----------------------- -------------- + ----------------------- -------------RX SHORT CRC 0 | TX ERR 0
[local]PGW> show port info 5/1
Wednesday January 06 12:58:50 UTC 2016
Port: 5/1
Port Type : 1000 Ethernet
Role : Management Port
Configured Duplex : Auto
Configured Speed : Auto
Link State : Up
Link Duplex : Full
Link Speed : 1000 Mb
El problema resultó ser una discordancía en las configuraciones de puerto entre el ASR 5500 y el nuevo Switch con con los cuales conecta, el nexo 7000. El arreglo era fijar los puertos en los ambos extremos al automóvil negocia. El ASR 5500 fue fijado ya al auto, mientras que el nexo fue fijado manualmente a por completo - duplex. El arreglo:
ASR 5500 (already set to this) port ethernet 5/1 medium speed 1000 duplex full no shutdown bind interface 5/1-MGMT local #exitNexus 7K (needed to be set to this)interface Ethernet152/1/11 description MGMT-PORT-5/01 switchport switchport access vlan 10 spanning-tree port type edge no snmp trap link-status no shutdown
Resulta que el problema ocurría a lo lardo de pero nunca fue notado porque el único indicador era el contador TX ERR que no es algo que se puede medir con cualquier información automatizada puesto que no hay variables del bulkstat para cualquier cosa más allá de los contadores de puerto básicos (paquetes del Tx/Rx/bytes, etc.). Pero el problema fue exacerbado seriamente cuando la FREGONA fue funcionada con y puesto que los paquetes del Tx/Rx son capturados por Bulkstats y son KPI medido por el cliente, él entonces fue notado.
¿La pregunta siguiente era tan lo que causada el aumento súbito en el tráfico? El examen del cambio muestra la configuración siguiente llamada “vía el local-contexto”, que especifica usando el puerto local del contexto (5/1 o 6/1) para el tráfico del nuevo evento en vez del puerto 5/29 en el contexto de ECS en donde el tráfico existente del registro de facturación del expediente de datos de evento (EDR) siempre (y continuo ser) se ha enviado el puerto existente 5/29 en ese contexto. Esto no era un hallazgo obvio puesto que esa configuración se utiliza raramente en cualquier config del cliente.
context ECS
interface 5/29-ECS
ip address 10.192.102.75 255.255.255.0
#exit
session-event-module file name evt-repo rotation volume 40000000 rotation time 120 storage-limit 500000000 exclude-checksum-record time-stamp rotated-format compression gzip event transfer-mode push primary encrypted-url +A19y2j... via local-context module-only edr-module active-charging-service file name FDR70 rotation volume 40000000 rotation time 300 storage-limit 500000000 headers reset-indicator edr-format-name trap-on-file-delete charging-service-name omit compression gzip file-sequence-number rulebase-seq-num cdr use-harddisk cdr remove-file-after-transfer cdr transfer-mode push primary encrypted-url +A0d2...
Malos capítulos y colisiones cada vez mayores del tx en el puerto de administración debido al half duplex
La interfaz 24/1 y 25/1 que compongan la interfaz 24/1-MGMT está experimentando los “malos capítulos”, las “colisiones TX” y los “lates collisiones TX”.
De los detalles del soporte de la demostración::
******** show port datalink counters *******Friday January 03 14:14:59 UTC 2014Counters for port 25/1:SPIO 10/100/1000 Ethernet portRx Counter Data | Tx Counter Data----------------------- -------------- + ----------------------- -------------RX Bytes 12808872101 | TX Bytes 20451927433RX BAD frames 0 | TX BAD frames 1403971RX Runt frames 0 | TX Runt frames 0RX Oversize frames 0 | TX Oversize frames 0RX Good frames 95621882 | TX Good frames 39395979RX Multicast frames 6686008 | TX Collisions 1501475RX Broadcast frames 56656415 | TX Excessive collis 0RX Code ERROR 0 | TX Late Collisions 1403968RX CRC ERROR 0 | TX CRC ERROR 0RX length ERROR 0 | TX ABORT 3RX Align ERROR 0 |----------------------- -------------- + ----------------------- -------------
Del sistema un poco más adelante, note el aumento en los malos capítulos y colisiones/lates collisiones:
[local]DO-HSGW> show port datalink counters 25/1Friday January 03 14:26:04 UTC 2014Counters for port 25/1:SPIO 10/100/1000 Ethernet portRx Counter Data | Tx Counter Data----------------------- -------------- + ----------------------- -------------RX Bytes 12809750383 | TX Bytes 20456667635RX BAD frames 0 | TX BAD frames 1404930RX Runt frames 0 | TX Runt frames 0RX Oversize frames 0 | TX Oversize frames 0RX Good frames 95628788 | TX Good frames 39400838RX Multicast frames 6686366 | TX Collisions 1502503RX Broadcast frames 56659440 | TX Excessive collis 0RX Code ERROR 0 | TX Late Collisions 1404927RX CRC ERROR 0 | TX CRC ERROR 0RX length ERROR 0 | TX ABORT 3RX Align ERROR 0 |----------------------- -------------- + ----------------------- -------------
Esto es generalmente indicativo de una discrepancia de configuración en cualquier extremo de la interfaz de Ethernet. Ambos puertos de administración han negociado como half duplex:
[local]DO-HSGW> show port info 24/1Friday January 03 14:33:19 UTC 2014Port: 24/1 Port Type : 1000 Ethernet Dual Media Role : Management Port Description : (None Set) Controlled By Card : 8 (System Management Card) Redundancy Mode : Port Mode Framing Mode : Unspecified Redundant With : 25/1 Preferred Port : Non-Revertive Physical ifIndex : 402718720 Administrative State : Enabled Configured Duplex : Auto Configured Speed : Auto Media Selection : RJ45 MAC Address : 00-05-47-02-5D-EE Link State : Up Link Duplex : Half Link Speed : 100 Mb Link Aggregation Group : None Logical ifIndex : 402718721 Operational State : Down, Standby SFP Module : Present (1000BASE-SX, M5, M610G SFP+Cu)
El otro extremo del link, el Cisco Catalyst 6500, fue fijado para apresurar = 100 y el duplex = por completo. Para reparar el problema, ponga en hard-code el ASR 5000 también para ser lleno - duplex:
port ethernet 24/1 medium speed 100 duplex full no shutdown bind interface 24/1-MGMT local
O alternativamente, fije a los ambos lados para ser automóvil negocia.
Pero tener uno echa a un lado como el auto y el otro lado pues podría dar lugar por completo al establecimiento semidúplex.
Intercambio inesperado del RETRASO - Problema del puerto 23/1 del RETRASO
Lo que sigue fue observado donde el puerto 23/1 en el RETRASO fue pegado en el estado negociado RETRASO después de un intercambio inesperado del RETRASO:
2015-May-15+16:47:40.410 [snmp 22002 info] [1/0/13147 <lagmgr:0>
trap_api.c:2387] [software internal system syslog] Internal trap notification
1205 (LAGGroupUp) card:19, port:1, partner:(007F,64-87-88-66-F7-C0,0016)
2015-May-15+16:47:40.410 [snmp 22002 info] [1/0/13147 <lagmgr:0>
trap_api.c:2387] [software internal system syslog] Internal trap notification
1204 (LAGGroupDown) card:19, port:1, partner:(007F,64-87-88-67-87-C0,0016)
2015-May-15+16:47:40.410 [lagmgr 179050 warning] [1/0/13147 <lagmgr:0>
lagmgr_state.c:1314] [software internal system critical-info syslog] LAG group
50 (global) with master port 19/1 has changed partner
from (007F,64-87-88-67-87-C0,0016) on 17/1, 19/1, 23/1, 27/1, 29/1
to (007F,64-87-88-66-F7-C0,0016) on 18/1, 20/1, 26/1, 28/1, 30/1
[local]PDSN> show port table | grep LA17/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/118/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/119/1 Srvc 10G Ethernet Enabled - Up - None LA~ 19/120/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/123/1 Srvc 10G Ethernet Enabled Up Up Active None LA* 19/126/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/127/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/128/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/129/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/130/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1
[local]PDSN> show port info 23/1
Port: 23/1
Port Type : 10G Ethernet
Role : Service Port
Description : Ingress-Egress Line Card
Controlled By Card : 7 (Packet Services Card 3)
Redundancy Mode : Port Mode
Framing Mode : Unspecified
Redundant With : Not Redundant
Preferred Port : Non-Revertive
Physical ifIndex : 385941504
Administrative State : Enabled
Configured Duplex : Auto
Configured Speed : Auto
Configured Flow Control : Enabled
MAC Address : 00-05-47-02-A6-96
Link State : Up
Link Duplex : Full
Link Speed : 10 Gb
Flow Control : Enabled
Link Aggregation Group : 50 (global, member)
Link Aggregation LACP : Active, Short, Auto
Link Aggregation Master : 19/1
Link Aggregation State : Agreed with LACP peer
Link Aggregation Actor : (8000,00-05-47-02-B1-97,001A,8000,1701)
Link Aggregation Peer : (007F,64-87-88-67-87-C0,0016,007F,0013)
Logical ifIndex : 385941505
Operational State : Up, Active
SFP Module : Present (10G Base SR)
[local]PDSN>show card diag 23
Card 23:
Counters:
In Service Date : Tue Aug 24 06:58:31 2010 (Estimated)
Status:
IDEEPROM Magic Number : Good
Card Diagnostics : Pass
Current Failure : None
Last Failure : None
Card Usable : Yes
Current Environment:
Temperature: Card : 48 C (limit 90 C)
Temperature: LM87 : 49 C (limit 85 C)
Temperature: PHY : 48 C (limit 90 C)
Voltage: 1.2V : 1.205 V (min 1.140 V, max 1.260 V)
Voltage: 1.2V : 1.205 V (min 1.140 V, max 1.260 V)
Voltage: 2.5V : 2.522 V (min 2.375 V, max 2.625 V)
Voltage: 3.3V : 3.285 V (min 3.135 V, max 3.465 V)
Voltage: 1.8V : 1.805 V (min 1.710 V, max 1.890 V)
Los contadores de la transmisión de datos no mostraron ninguna problemas::
[local]PDSN# show port datalink counters 23/1Counters for port 23/1:Line Card 10 Gigabit Ethernet PortRx Counter Data | Tx Counter Data----------------------- -------------- + ----------------------- -------------RX Unicast frames 3782 | TX Unicast frames 6043RX Multicast frames 3782 | TX Multicast frames 0RX Broadcast frames 0 | TX Broadcast frames 0RX Size 64 frames 0 | TX Size 64 frames 0RX Size 65 .. 127 fr 0 | TX Size 65 .. 127 fr 6043RX Size 128 .. 255 fr 3782 | TX Size 128 .. 255 fr 0RX Size 256 .. 511 fr 0 | TX Size 256 .. 511 fr 0RX Size 512 .. 1023 fr 0 | TX Size 512 .. 1023 fr 0RX Size 1024 .. 1518 fr 0 | TX Size 1024 .. 1518 fr 0RX Size > 1518 frames 0 | TX Size > 1518 frames 0RX Bytes OK 483456 | TX Bytes OK 748092RX Bytes BAD 0 | TX Bytes BAD 0RX SHORT OK 0 | TX PAUSE 0RX SHORT CRC 0 | TX ERR 0RX OVF 0 |RX NORM CRC 0 |RX LONG OK 0 |RX LONG CRC 0 |RX PAUSE 0 |RX FALS CRS 0 |RX SYM ERR 0 |SPI RX LEN ERR CNT 0 | SPI TX LEN ERR CNT 0SPI RX DIP2 ERR CNT 0 | SPI TX DIP4 ERR CNT 0SPI RX STAT OOF ERR CNT 0 | SPI TX DATA OOF ERR CNT 0RX MAC ERR CNT 0 |RX FIFO CORR ECC ERR 0 | TX FIFO CORR ECC ERR 0RX FIFO UNRECOV ECC ERR 0 | TX FIFO UNRECOV ECC ERR 0RX Disc frames 0 | TX Disc frames 0RX Disc Bytes 0 | TX Disc Bytes 0RX ERR frames 0 | TX ERR frames 0RX SPI FRAME COUNT 3782 | TX SPI FRAME COUNT 6044RX SPI LEN ERR 0 | TX SPI LEN ERR 0RX SPI DIP 2 ERR 0 | TX SPI DIP 4 ERR 0RX SPI STATUS OOF ERR 0 | TX SPI DATA OOF ERR 0RX FIFO OVERFLOW 0 | TX FIFO FULL DROP 0RX PAUSE COUNT 0 | TX DIP 4 PACKET DROP 0SPI EOP/ABORT 0 |RX FRAGMENTS COUNT 0 |RX MAC ERR 0 |RX JABBER COUNT 0 |----------------------- -------------- + ----------------------- -------------
Los contadores NPU eran ACEPTABLES también. Aquí está el puerto 23/1 contradice algunos segundos después y nada malo está incrementando:
[local]PDSN# show port datalink counters 23/1Counters for port 23/1:Line Card 10 Gigabit Ethernet PortRx Counter Data | Tx Counter Data----------------------- -------------- + ----------------------- -------------RX Unicast frames 3802 | TX Unicast frames 6066RX Multicast frames 3802 | TX Multicast frames 0RX Broadcast frames 0 | TX Broadcast frames 0RX Size 64 frames 0 | TX Size 64 frames 0RX Size 65 .. 127 fr 0 | TX Size 65 .. 127 fr 6066RX Size 128 .. 255 fr 3802 | TX Size 128 .. 255 fr 0RX Size 256 .. 511 fr 0 | TX Size 256 .. 511 fr 0RX Size 512 .. 1023 fr 0 | TX Size 512 .. 1023 fr 0RX Size 1024 .. 1518 fr 0 | TX Size 1024 .. 1518 fr 0RX Size > 1518 frames 0 | TX Size > 1518 frames 0RX Bytes OK 486016 | TX Bytes OK 750944RX Bytes BAD 0 | TX Bytes BAD 0RX SHORT OK 0 | TX PAUSE 0RX SHORT CRC 0 | TX ERR 0RX OVF 0 |RX NORM CRC 0 |RX LONG OK 0 |RX LONG CRC 0 |RX PAUSE 0 |RX FALS CRS 0 |RX SYM ERR 0 |SPI RX LEN ERR CNT 0 | SPI TX LEN ERR CNT 0SPI RX DIP2 ERR CNT 0 | SPI TX DIP4 ERR CNT 0SPI RX STAT OOF ERR CNT 0 | SPI TX DATA OOF ERR CNT 0RX MAC ERR CNT 0 |RX FIFO CORR ECC ERR 0 | TX FIFO CORR ECC ERR 0RX FIFO UNRECOV ECC ERR 0 | TX FIFO UNRECOV ECC ERR 0RX Disc frames 0 | TX Disc frames 0RX Disc Bytes 0 | TX Disc Bytes 0RX ERR frames 0 | TX ERR frames 0RX SPI FRAME COUNT 3802 | TX SPI FRAME COUNT 6067RX SPI LEN ERR 0 | TX SPI LEN ERR 0RX SPI DIP 2 ERR 0 | TX SPI DIP 4 ERR 0RX SPI STATUS OOF ERR 0 | TX SPI DATA OOF ERR 0RX FIFO OVERFLOW 0 | TX FIFO FULL DROP 0RX PAUSE COUNT 0 | TX DIP 4 PACKET DROP 0SPI EOP/ABORT 0 |RX FRAGMENTS COUNT 0 |RX MAC ERR 0 |RX JABBER COUNT 0 |
Pero el comando command “evento del soporte técnico del retraso de la demostración” mostró los eventos continuos en el puerto 23/1. Ésta es la mejor manera de ver el problema señalado.
[local]PDSN> show lag event lagmgr event history [4096/4096] May 15 18:36:57.222 50 23/01 New MUX State: DETACHED May 15 18:36:57.222 50 23/01 SYNC cleared May 15 18:36:57.222 50 23/01 COLL disabled May 15 18:36:58.212 50 23/01 New MUX State: WAITING May 15 18:36:58.223 50 23/01 LACP State Change: 0x07:ACTV:TIMO:AGGR...
La ventana de mantenimiento siguiente, Cisco entró en contacto y una migración PSC fue hecha para poner las asignaciones del indicador luminoso LED amarillo de la placa muestra gravedad menor de nuevo al mapeo predeterminado (para asociar el PSC al linecard físicamente detrás de él: 7 + 16 = 23), como migración eran anteriores hecho a entrar en contacto Cisco.
[local]PDSN card migrate from 16 to 7Are you sure? [Yes|No]: yes[local]PDSN# show port table | grep LA 17/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/118/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/119/1 Srvc 10G Ethernet Enabled - Up - None LA~ 19/120/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/123/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/126/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/127/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/128/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/129/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/130/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1[local]PDSN# show rct statsRCT stats Details (Last 8 Actions)Action Type From To Start Time Duration----------------- --------- ---- ---- ------------------------ ---------- Migration Planned 10 15 2015-Jan-12+07:02:33.842 32.911 secShutdown N/A 10 0 2015-Jan-12+07:08:35.098 0.218 secMigration Planned 16 10 2015-Jan-12+07:19:40.842 32.451 secShutdown N/A 1 16 2015-Mar-19+05:00:54.430 1.368 secMigration Planned 16 1 2015-Mar-27+06:05:48.902 19.085 secShutdown N/A 16 0 2015-Mar-27+06:13:00.397 0.027 secMigration Planned 7 16 2015-May-16+07:04:51.264 37.629 secMigration Planned 16 7 2015-May-16+08:39:48.761 UnfinishedRCT stats Summary-----------------Migrations = 5, Average time = 30.519 secSwitchovers = 0Migration Planned 16 7 2015-May-16+08:39:48.761 43.248 sec
Sat May 16 08:40:33 2015 Internal trap notification 1257 (MigrateComplete) from card 16 to card 7
Una reinicialización del linecard 23 fue realizada:
[local]PDSN# card reboot 23Are you sure? [Yes|No]: yes
Sat May 16 08:41:38 2015 Internal trap notification 4 (CardRebootRequest) card
23 type 10 Gig Ethernet Line Card
Sat May 16 08:41:44 2015 Internal trap notification 1025 (PortUp) card 23 port 1
port type 10G Ethernet
Sat May 16 08:41:44 2015 Internal trap notification 1502 (EntStateOperEnabled)
Port(23/1) Admin state:"Unlocked", Alarm severity:"No active alarm"
Sat May 16 08:41:44 2015 Internal trap notification 55 (CardActive) card 23 type
10 Gig Ethernet Line Card
El puerto ahora está en un buen estado:
[local]PDSN# show port table | grep LA17/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/118/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/119/1 Srvc 10G Ethernet Enabled - Up - None LA~ 19/120/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/123/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/126/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/127/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/128/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/129/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/130/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1
Pero el lado del enebro todavía tenía errores (ninguna salida mostrada aquí).
El problema seguía siendo sin resolver en el lado del enebro.
La fibra entonces fue movida a partir de 23/1 a 17/1 y el error permanecía con 23/1 y se movió a un diverso puerto en el lado del enebro.
Sat May 16 08:46:28 2015 Internal trap notification 1024 (PortDown) card 17 port
1 port type 10G EthernetSat May 16 08:46:28 2015 Internal trap notification 93 (CardStandby) card 17
type 10 Gig Ethernet Line CardSat May 16 08:46:31 2015 Internal trap notification 1024 (PortDown) card 23 port
1 port type 10G EthernetSat May 16 08:46:31 2015 Internal trap notification 93 (CardStandby) card 23
type 10 Gig Ethernet Line Card
Sat May 16 08:46:33 2015 Internal trap notification 1025 (PortUp) card 23 port 1
port type 10G EthernetSat May 16 08:46:33 2015 Internal trap notification 55 (CardActive) card 23 type
10 Gig Ethernet Line CardSat May 16 08:46:40 2015 Internal trap notification 1025 (PortUp) card 17 port 1
port type 10G EthernetSat May 16 08:46:40 2015 Internal trap notification 55 (CardActive) card 17 type
10 Gig Ethernet Line Card
Las fibras fueron movidas de nuevo a la ubicación original y el problema todavía estaba con el puerto 23/1 (éste es todo de la perspectiva del enebro porque como se mencionó anteriormente, el problema era considerado no más en el ASR 5000 después de recomenzar el linecard 23).
Sat May 16 08:51:53 2015 Internal trap notification 1024 (PortDown) card 23 port
1 port type 10G EthernetSat May 16 08:51:53 2015 Internal trap notification 93 (CardStandby) card 23
type 10 Gig Ethernet Line CardSat May 16 08:51:57 2015 Internal trap notification 1024 (PortDown) card 17 port
1 port type 10G EthernetSat May 16 08:51:57 2015 Internal trap notification 93 (CardStandby) card 17
type 10 Gig Ethernet Line CardSat May 16 08:51:58 2015 Internal trap notification 1025 (PortUp) card 23 port 1
port type 10G EthernetSat May 16 08:51:58 2015 Internal trap notification 55 (CardActive) card 23 type
10 Gig Ethernet Line CardSat May 16 08:51:59 2015 Internal trap notification 1025 (PortUp) card 17 port 1
port type 10G Ethernet
Sat May 16 08:51:59 2015 Internal trap notification 55 (CardActive) card 17 type
10 Gig Ethernet Line Card
El intercambio de los SFP entre 23/1 y 17/1 no cambió cualquier cosa.
Sat May 16 08:52:50 2015 Internal trap notification 1024 (PortDown) card 23 port
1 port type 10G EthernetSat May 16 08:52:50 2015 Internal trap notification 93 (CardStandby) card 23
type 10 Gig Ethernet Line CardSat May 16 08:52:58 2015 Internal trap notification 1024 (PortDown) card 17 port
1 port type 10G EthernetSat May 16 08:52:59 2015 Internal trap notification 93 (CardStandby) card 17
type 10 Gig Ethernet Line CardSat May 16 08:53:46 2015 Internal trap notification 1025 (PortUp) card 17 port 1
port type 10G EthernetSat May 16 08:53:46 2015 Internal trap notification 55 (CardActive) card 17 type
10 Gig Ethernet Line CardSat May 16 08:53:53 2015 Internal trap notification 1025 (PortUp) card 23 port 1
port type 10G EthernetSat May 16 08:53:53 2015 Internal trap notification 55 (CardActive) card 23 type
10 Gig Ethernet Line Card
Un volver a sentar del linecard 23/1 borró el problema en el lado del enebro.
Sat May 16 08:55:39 2015 Internal trap notification 1024 (PortDown) card 23 port
1 port type 10G EthernetSat May 16 08:55:39 2015 Internal trap notification 35 (PortLinkDown) ifindex
385941505 adminstate Disabled operstate DownSat May 16 08:55:39 2015 Internal trap notification 1504 (CiscoFruCardStatusChanged) FRU entity Card : 23 operational status changed to
OfflineSat May 16 08:55:39 2015 Internal trap notification 60 (CardDown) card 23 type
10 Gig Ethernet Line CardSat May 16 08:55:39 2015 Internal trap notification 1503 (EntStateOperDisabled)
Card(23) Admin state:"Locked", Alarm severity:"Critical"Sat May 16 08:55:39 2015 Internal trap notification 140 (CardSPOFClear) card 23
type 10 Gig Ethernet Line CardSat May 16 08:55:40 2015 Internal trap notification 84 (ServiceLossLC) Slots 23
and 39 has configured for card type 10 Gig Ethernet Line Card, but neither active
Sat May 16 08:55:41 2015 Internal trap notification 1505
(CiscoFruPowerStatusChanged) FRU entity Card : 23 Power OFFSat May 16 08:55:41 2015 Internal trap notification 1504
(CiscoFruCardStatusChanged) FRU entity Card : 23 operational status changed to
EmptySat May 16 08:55:41 2015 Internal trap notification 7 (CardRemoved) card 23 type
10 Gig Ethernet Line CardSat May 16 08:55:41 2015 Internal trap notification 1507 (CiscoFruRemoved) FRU
entity Card : 23 removedSat May 16 08:55:41 2015 Internal trap notification 1505
(CiscoFruPowerStatusChanged) FRU entity Card : 23 Power OFFSat May 16 08:56:19 2015 Internal trap notification 1505
(CiscoFruPowerStatusChanged) FRU entity Card : 23 Power ONSat May 16 08:56:21 2015 Internal trap notification 1504
(CiscoFruCardStatusChanged) FRU entity Card : 23 operational status changed to
OfflineSat May 16 08:56:21 2015 Internal trap notification 8 (CardInserted) card 23
type 10 Gig Ethernet Line CardSat May 16 08:56:21 2015 Internal trap notification 1506 (CiscoFruInserted) FRU
entity Card : 23 insertedSat May 16 08:56:23 2015 Internal trap notification 1504
(CiscoFruCardStatusChanged) FRU entity Card : 23 operational status changed to
ReadySat May 16 08:56:23 2015 Internal trap notification 5 (CardUp) card 23 type 10
Gig Ethernet Line CardSat May 16 08:56:23 2015 Internal trap notification 1502 (EntStateOperEnabled)
Card(23) Admin state:"Unlocked", Alarm severity:"No active alarm"Sat May 16 08:56:25 2015 Internal trap notification 1504 (CiscoFruCardStatusChanged) FRU entity Card : 23 operational status changed to
ActiveSat May 16 08:56:25 2015 Internal trap notification 55 (CardActive) card 23 type
10 Gig Ethernet Line CardSat May 16 08:56:26 2015 Internal trap notification 1111 (ServiceLossLCClear)
Slots 23 and 39 has configured for card type 10 Gig Ethernet Line Card, one of
them is active nowSat May 16 08:56:26 2015 Internal trap notification 93 (CardStandby) card 23
type 10 Gig Ethernet Line CardSat May 16 08:56:28 2015 Internal trap notification 1025 (PortUp) card 23 port 1
port type 10G EthernetSat May 16 08:56:28 2015 Internal trap notification 1502 (EntStateOperEnabled)
Port(23/1) Admin state:"Unlocked", Alarm severity:"No active alarm"Sat May 16 08:56:28 2015 Internal trap notification 55 (CardActive) card 23 type
10 Gig Ethernet Line Card
Los errores de puerto inexplicados en el router del enebro miraron con el puerto 27/1 (la afectación XGLC del suscriptor)
Este próximo ejemplo, tenía muchos de los mismos pasos de Troubleshooting aplicados y los vale el estudiar. Comenzó con algunos registros amonestadores del resmgr 14537 desconocidos que eran señalados junto con una despedida del puerto 25/1, pero desarrollados en un problema del puerto 27/1 y las fallas de configuración de la llamada crecientes.
2015-May-03+05:29:21.083 [resmgr 14537 warning] [8/0/4643 <rmmgr:80>
_resource_cpu.c:4974] [software internal system critical-info syslog] The CPU
8/0's network i/f cpeth0 is receiving 803.7 Mbit/sec over the past 5 min.
La utilización de puertos era desigual en el puerto 27/1:
[local]PDSN# show port utilization tableMonday May 04 17:49:02 UTC 2015 ------ Average Port Utilization (in mbps) ------Port Type Current 5min 15min Rx Tx Rx Tx Rx Tx----- ------------------------ ------- ------- ------- ------- ------- -------19/1 10G Ethernet 1058 1049 1034 1050 1022 104220/1 10G Ethernet 0 0 0 0 0 023/1 10G Ethernet 1108 1064 1114 1033 1102 103226/1 10G Ethernet 0 0 0 0 0 027/1 10G Ethernet 1002 2472 989 2456 981 244028/1 10G Ethernet 0 0 0 0 0 0
En el lado del enebro MX-960 de la interfaz PDSN en la pregunta, los errores de entrada aumentaban constantemente:
show interfaces xe-0/1/2 extensive | grep Error BPDU Error: None, MAC-REWRITE Error: None, Loopback: None, Input errors: Errors: 2432742, Drops: 0, Framing errors: 0, Runts: 0, Policed discards: 0,
L3 incompletes: 2432742, L2 channel errors: 0, L2 mismatch timeouts: 0,
FIFO errors: 0, Resource errors: 0 Output errors: Carrier transitions: 1, Errors: 0, Drops: 0, Collisions: 0, Aged packets: 0,
FIFO errors: 0, HS link CRC errors: 0, MTU errors: 0, Resource errors: 0 Bit errors 0 Errored blocks 1 CRC/Align errors 0 0 FIFO errors 0 0 Total errors 0 0 Output packet error count 0{master}show interfaces xe-0/1/2 extensive | grep Error BPDU Error: None, MAC-REWRITE Error: None, Loopback: None, Input errors: Errors: 2432851, Drops: 0, Framing errors: 0, Runts: 0, Policed discards: 0,
L3 incompletes: 2432851, L2 channel errors: 0, L2 mismatch timeouts: 0, FIFO errors: 0, Resource errors: 0 Output errors: Carrier transitions: 1, Errors: 0, Drops: 0, Collisions: 0, Aged packets: 0, FIFO errors: 0, HS link CRC errors: 0, MTU errors: 0, Resource errors: 0 Bit errors 0 Errored blocks 1 CRC/Align errors 0 0 FIFO errors 0 0 Total errors 0 0 Output packet error count 0
Los puertos en el PDSN fueron limpiados y como consecuencia había un intercambio del RETRASO y el desequilibrio del puerto fue lejos en los puertos (pares) nuevamente activos junto con los errores en la detención lateral del enebro. Los errores considerados Previsously de la GRIETA y LCP relacionados con las configuraciones de la llamada del IP móvil también pararon.
[local]PDSN# show port utilization tableThursday May 07 15:27:46 UTC 2015 ------ Average Port Utilization (in mbps) ------Port Type Current 5min 15min Rx Tx Rx Tx Rx Tx----- ------------------------ ------- ------- ------- ------- ------- ---
19/1 10G Ethernet 0 0 0 0 0 020/1 10G Ethernet 908 875 901 879 904 88423/1 10G Ethernet 0 0 0 0 0 026/1 10G Ethernet 916 857 922 856 929 86127/1 10G Ethernet 0 0 0 0 0 028/1 10G Ethernet 835 883 838 880 844 88937/1 1000 Ethernet 0 0 0 0 0 0[local]PDSN# show port table
Thursday May 07 15:22:11 UTC 2015
Port Role Type Admin Oper Link State Pair Redundant
----- ---- ------------------------ -------- ---- ---- ------- ----- ----
19/1 Srvc 10G Ethernet Enabled - Up - None LA~ 19/1
20/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1
21/1 Srvc 1000 Ethernet Enabled - Up - 37/1 L2 Link
23/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1
24/1 Mgmt 1000 Ethernet Dual Media Enabled Up Up Active 25/1 L2 Link
24/2 Mgmt 1000 Ethernet Dual Media Disabled Down Down Active 25/2 L2 Link
24/3 Mgmt RS232 Serial Console Enabled Down Down Active 25/3 L2 Link
24/4 Mgmt BITS T1/E1 Timing Disabled Down Down Active 25/4 L2 Link
25/1 Mgmt 1000 Ethernet Dual Media Enabled Down Up Standby 24/1 L2 Link
25/2 Mgmt 1000 Ethernet Dual Media Disabled Down Down Standby 24/2 L2 Link
25/3 Mgmt RS232 Serial Console Enabled Down Down Standby 24/3 L2 Link
25/4 Mgmt BITS T1/E1 Timing Disabled Down Down Standby 24/4 L2 Link
26/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1
27/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1
28/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1
37/1 Srvc 1000 Ethernet Enabled - Up - 21/1 L2 Link
Después de reajustar las estadísticas de puerto y el fall el RETRASO de nuevo a los puertos impares, los errores de entrada en el enebro comenzó a aumentar otra vez. Puesto que la trayectoria había sido limpiada ya era decidido para desviar el trayecto existente entero totalmente, substituyendo ambos SFP (puerto 0/1/2 en el enebro y puerto 27/1 en el PDSN) y ejecutando una fibra directamente entre los Nodos. Una vez que el tráfico fue vuelto al RETRASO impar los errores de entrada continuos para incrementar exactamente como había sido atestiguado con el trayecto existente. La utilización de puertos también volvió a imbalanced en el puerto 27.
show interfaces xe-0/1/2 extensive | grep Error
BPDU Error: None, MAC-REWRITE Error: None, Loopback: None,
Input errors:
Errors: 2898, Drops: 0, Framing errors: 114, Runts: 0, Policed discards: 0,
L3 incompletes: 2784, L2 channel errors: 0, L2 mismatch timeouts: 0,
FIFO errors: 0, Resource errors: 0
Pues los SFP y la fibra eran totalmente nuevos y la trayectoria era un tiro recto entre los Nodos, parecería los errores de entrada está comenzando contracorriente desde las fibras, posiblemente en el PDSN XCLC 27. El tráfico no fue podido de nuevo a los puertos uniformes para parar el impacto de momento antes de decidir en los siguientes pasos. El enebro confirmó los malos paquetes IPv4/IPv6 del puerto 27 ASR.
En una ventana de mantenimiento posterior, las fibras fueron intercambiadas entre los puertos 23 y 27:
Mon May 11 05:33:52 2015 Internal trap notification 1024 (PortDown) card 23 port
1 port type 10G EthernetMon May 11 05:33:52 2015 Internal trap notification 93 (CardStandby) card 23
type 10 Gig Ethernet Line CardMon May 11 05:34:12 2015 Internal trap notification 1024 (PortDown) card 27 port
1 port type 10G EthernetMon May 11 05:34:12 2015 Internal trap notification 93 (CardStandby) card 27
type 10 Gig Ethernet Line CardMon May 11 05:34:13 2015 Internal trap notification 1025 (PortUp) card 27 port 1
port type 10G Ethernetalarm"Mon May 11 05:34:13 2015 Internal trap notification 55 (CardActive) card 27 type
10 Gig Ethernet Line CardMon May 11 05:34:14 2015 Internal trap notification 1024 (PortDown) card 27 port
1 port type 10G EthernetMon May 11 05:34:14 2015 Internal trap notification 93 (CardStandby) card 27
type 10 Gig Ethernet Line CardMon May 11 05:34:20 2015 Internal trap notification 1025 (PortUp) card 27 port 1
port type 10G EthernetMon May 11 05:34:21 2015 Internal trap notification 55 (CardActive) card 27 type
10 Gig Ethernet Line CardMon May 11 05:34:58 2015 Internal trap notification 1025 (PortUp) card 23 port 1
port type 10G EthernetMon May 11 05:34:58 2015 Internal trap notification 55 (CardActive) card 23 type
10 Gig Ethernet Line Card
Y después del intercambio del RETRASO un puerto 27 continuó enviando los errores y virando el desequilibrio hacia el lado de babor.
Mon May 11 05:37:20 2015 Internal trap notification 1204 (LAGGroupDown) card:19,
port:1, partner:(007F,2C-21-72-5E-57-C0,0016)Mon May 11 05:37:20 2015 Internal trap notification 1205 (LAGGroupUp) card:19,
port:1, partner:(007F,2C-21-72-1A-B7-C0,0016)[local]NWBLWICZPN2 DO-PDSN> show port utilization table
Monday May 11 05:40:06 UTC 2015
------ Average Port Utilization (in mbps) ------
Port Type Current 5min 15min
Rx Txx Rx Tx Rx Tx
----- ------------------------ ------- ------- ------- ------- ------- ----
19/1 10G Ethernet 357 386 137 138 45 46
20/1 10G Ethernet 0 0 178 168 314 301
23/1 10G Ethernet 346 349 173 185 57 61
26/1 10G Ethernet 0 0 197 189 324 316
27/1 10G Ethernet 404 1921 147 701 49 233
28/1 10G Ethernet 0 0 207 226 299 318Mon May 11 05:40:42 2015 Internal trap notification 39 (AAAAuthSvrUnreachable)
server 1 ip address 209.165.200.225Mon May 11 05:41:05 2015 Internal trap notification 40 (AAAAuthSvrReachable)
server 1 ip address 209.165.200.225Mon May 11 05:41:42 2015 Internal trap notification 39 (AAAAuthSvrUnreachable)
server 1 ip address 209.165.200.225Mon May 11 05:42:05 2015 Internal trap notification 40 (AAAAuthSvrReachable)
server 1 ip address 209.165.200.225Mon May 11 05:49:42 2015 Internal trap notification 39 (AAAAuthSvrUnreachable)
server 1 ip address 209.165.200.225Mon May 11 05:50:04 2015 Internal trap notification 40 (AAAAuthSvrReachable)
server 1 ip address 209.165.200.225Mon May 11 05:52:42 2015 Internal trap notification 39 (AAAAuthSvrUnreachable)
server 1 ip address 209.165.200.225Mon May 11 05:53:05 2015 Internal trap notification 40 (AAAAuthSvrReachable)
server 1 ip address 209.165.200.225Mon May 11 05:54:29 2015 Internal trap notification 1204 (LAGGroupDown) card:19,
port:1, partner:(007F,2C-21-72-1A-B7-C0,0016)Mon May 11 05:54:29 2015 Internal trap notification 1205 (LAGGroupUp) card:19,
port:1, partner:(007F,2C-21-72-5E-57-C0,0016)
Las fibras fueron intercambiadas detrás:
Mon May 11 05:59:38 2015 Internal trap notification 1024 (PortDown) card 23 port
1 port type 10G EthernetMon May 11 05:59:38 2015 Internal trap notification 93 (CardStandby) card 23
type 10 Gig Ethernet Line CardMon May 11 05:59:43 2015 Internal trap notification 1024 (PortDown) card 27 port
1 port type 10G EthernetMon May 11 05:59:43 2015 Internal trap notification 93 (CardStandby) card 27
type 10 Gig Ethernet Line CardMon May 11 05:59:46 2015 Internal trap notification 1025 (PortUp) card 23 port 1
port type 10G EthernetMon May 11 05:59:46 2015 Internal trap notification 55 (CardActive) card 23 type
10 Gig Ethernet Line CardMon May 11 05:59:54 2015 Internal trap notification 1025 (PortUp) card 27 port 1
port type 10G EthernetMon May 11 05:59:54 2015 Internal trap notification 55 (CardActive) card 27 type
10 Gig Ethernet Line Card
XCLC 27 fue vuelto a sentar:
Mon May 11 06:02:02 2015 Internal trap notification 1024 (PortDown) card 27 port
1 port type 10G EthernetMon May 11 06:02:02 2015 Internal trap notification 60 (CardDown) card 27 type
10 Gig Ethernet Line CardMon May 11 06:02:04 2015 Internal trap notification 7 (CardRemoved) card 27 type
10 Gig Ethernet Line CardMon May 11 06:03:04 2015 Internal trap notification 8 (CardInserted) card 27
type 10 Gig Ethernet Line CardMon May 11 06:03:06 2015 Internal trap notification 5 (CardUp) card 27 type 10
Gig Ethernet Line CardMon May 11 06:03:08 2015 Internal trap notification 55 (CardActive) card 27 type 10 Gig Ethernet Line CardMon May 11 06:03:09 2015 Internal trap notification 93 (CardStandby) card 27
type 10 Gig Ethernet Line CardMon May 11 06:03:11 2015 Internal trap notification 1025 (PortUp) card 27 port 1
port type 10G EthernetMon May 11 06:03:11 2015 Internal trap notification 55 (CardActive) card 27 type
10 Gig Ethernet Line Card
El RETRASO fue hecho active otra vez y el problema todavía fue considerado.
Mon May 11 06:08:21 2015 Internal trap notification 1204 (LAGGroupDown) card:19,
port:1, partner:(007F,2C-21-72-5E-57-C0,0016)Mon May 11 06:08:21 2015 Internal trap notification 1205 (LAGGroupUp) card:19,
port:1, partner:(007F,2C-21-72-1A-B7-C0,0016)Mon May 11 06:12:42 2015 Internal trap notification 39 (AAAAuthSvrUnreachable)
server 1 ip address 209.165.200.225Mon May 11 06:13:04 2015 Internal trap notification 40 (AAAAuthSvrReachable)
server 1 ip address 209.165.200.225Mon May 11 06:14:42 2015 Internal trap notification 39 (AAAAuthSvrUnreachable)
server 1 ip address 209.165.200.225Mon May 11 06:15:05 2015 Internal trap notification 40 (AAAAuthSvrReachable)
server 1 ip address 209.165.200.225Mon May 11 06:15:42 2015 Internal trap notification 39 (AAAAuthSvrUnreachable)
server 1 ip address 209.165.200.225Mon May 11 06:16:07 2015 Internal trap notification 40 (AAAAuthSvrReachable)
server 1 ip address 209.165.200.225
Una migración PSC de PSC 11 (reside detrás del linecard 27) a 16 borra el problema como el Switches del RETRASO a los puertos uniformes (esperados).
Mon May 11 06:26:03 2015 Internal trap notification 1256 (MigrateStart) from
card 11 to card 16Mon May 11 06:26:40 2015 Internal trap notification 1024 (PortDown) card 27 port
1 port type 10G EthernetMon May 11 06:26:40 2015 Internal trap notification 55 (CardActive) card 27 type
10 Gig Ethernet Line CardMon May 11 06:26:41 2015 Internal trap notification 55 (CardActive) card 16 type
Packet Services Card 3Mon May 11 06:26:41 2015 Internal trap notification 55 (CardActive) card 40 type
Redundancy Crossbar CardMon May 11 06:26:41 2015 Internal trap notification 55 (CardActive) card 41 type
Redundancy Crossbar CardMon May 11 06:26:41 2015 Internal trap notification 60 (CardDown) card 11 type
Packet Services Card 3Mon May 11 06:26:42 2015 Internal trap notification 1257 (MigrateComplete) from
card 11 to card 16Mon May 11 06:26:42 2015 Internal trap notification 1025 (PortUp) card 27 port 1
port type 10G EthernetMon May 11 06:27:55 2015 Internal trap notification 5 (CardUp) card 11 type
Packet Services Card 3Mon May 11 06:27:55 2015 Internal trap notification 93 (CardStandby) card 11
type Packet Services Card 3
El PSC 11 fue vuelto a sentar y después reiniciado (estos últimos deben ser innecesarios)
Mon May 11 06:39:48 2015 Internal trap notification 60 (CardDown) card 11 type
Packet Services Card 3Mon May 11 06:40:00 2015 Internal trap notification 7 (CardRemoved) card 11 type
Packet Services Card 3Mon May 11 06:40:42 2015 Internal trap notification 13 (CardMismatch) card 11
type Unknown Card (0x00000000)Mon May 11 06:40:45 2015 Internal trap notification 8 (CardInserted) card 11
type Packet Services Card 3Mon May 11 06:44:57 2015 Internal trap notification 4 (CardRebootRequest) card
11 type Packet Services Card 3Mon May 11 06:46:44 2015 Internal trap notification 7 (CardRemoved) card 11 type
Packet Services Card 3Mon May 11 06:46:59 2015 Internal trap notification 8 (CardInserted) card 11
type Packet Services Card 3Mon May 11 06:50:20 2015 Internal trap notification 5 (CardUp) card 11 type
Packet Services Card 3Mon May 11 06:50:20 2015 Internal trap notification 93 (CardStandby) card 11
type Packet Services Card 3
La migración fue hecha de nuevo a PSC 11 y el problema comenzó otra vez. El problema había sido aislado aparentemente a PSC 11 conectado con XGLC 27.
Mon May 11 06:51:55 2015 Internal trap notification 1256 (MigrateStart) from
card 16 to card 11Mon May 11 06:52:37 2015 Internal trap notification 1024 (PortDown) card 27 port
1 port type 10G EthernetMon May 11 06:52:37 2015 Internal trap notification 93 (CardStandby) card 40
type Redundancy Crossbar CardMon May 11 06:52:37 2015 Internal trap notification 93 (CardStandby) card 41
type Redundancy Crossbar CardMon May 11 06:52:37 2015 Internal trap notification 55 (CardActive) card 27 type
10 Gig Ethernet Line CardMon May 11 06:52:38 2015 Internal trap notification 55 (CardActive) card 11 type
Packet Services Card 3Mon May 11 06:52:38 2015 Internal trap notification 60 (CardDown) card 16 type
Packet Services Card 3Mon May 11 06:52:38 2015 Internal trap notification 1257 (MigrateComplete) from
card 16 to card 11Mon May 11 06:52:38 2015 Internal trap notification 1025 (PortUp) card 27 port 1
port type 10G EthernetMon May 11 06:53:42 2015 Internal trap notification 39 (AAAAuthSvrUnreachable)
server 1 ip address 209.165.200.225Mon May 11 06:53:52 2015 Internal trap notification 5 (CardUp) card 16 type
Packet Services Card 3Mon May 11 06:53:52 2015 Internal trap notification 93 (CardStandby) card 16 type Packet Services Card 3Mon May 11 06:54:07 2015 Internal trap notification 40 (AAAAuthSvrReachable)
server 1 ip address 209.165.200.225
Una migración fue hecha de nuevo a PSC 16 para borrar el problema de momento hasta un reemplazo de RMA:
Mon May 11 06:56:07 2015 Internal trap notification 1256 (MigrateStart) from
card 11 to card 16Mon May 11 06:56:43 2015 Internal trap notification 1024 (PortDown) card 27 port
1 port type 10G EthernetMon May 11 06:56:43 2015 Internal trap notification 55 (CardActive) card 27 type
10 Gig Ethernet Line CardMon May 11 06:56:44 2015 Internal trap notification 55 (CardActive) card 16 type
Packet Services Card 3Mon May 11 06:56:44 2015 Internal trap notification 55 (CardActive) card 40 type
Redundancy Crossbar CardMon May 11 06:56:44 2015 Internal trap notification 55 (CardActive) card 41 type
Redundancy Crossbar CardMon May 11 06:56:44 2015 Internal trap notification 60 (CardDown) card 11 type
Packet Services Card 3Mon May 11 06:56:44 2015 Internal trap notification 1257 (MigrateComplete) from
card 11 to card 16Mon May 11 06:56:44 2015 Internal trap notification 1025 (PortUp) card 27 port 1
port type 10G EthernetMon May 11 06:57:58 2015 Internal trap notification 5 (CardUp) card 11 type
Packet Services Card 3[local]PDSN> show rct statsMonday May 11 07:08:26 UTC 2015RCT stats Details (Last 4 Actions)Action Type From To Start Time Duration----------------- --------- ---- ---- ------------------------ ----------
Migration Planned 11 16 2015-May-11+06:26:04.373 36.453 secShutdown N/A 11 0 2015-May-11+06:39:48.153 0.223 secMigration Planned 16 11 2015-May-11+06:51:55.785 41.630 secMigration Planned 11 16 2015-May-11+06:56:08.452 35.037 secRCT stats Summary-----------------Migrations = 3, Average time = 37.707 secSwitchovers = 0[local]PDSN> show card mappingsMonday May 11 07:10:22 UTC 2015Slot Mapping Slot----------------------------------- -------------- --------------------------17 None -18 None -19 10 Gig Ethernet Line Card <-- direct --> 3 Packet Services Card 3 20 10 Gig Ethernet Line Card <-- direct --> 4 Packet Services Card 3 21 1000 Ethernet Line Card <-- direct --> 5 Packet Services Card 3 22 None -23 10 Gig Ethernet Line Card <-- direct --> 7 Packet Services Card 3 24 Switch Processor I/O Card <------------> 8 System Management Card25 Switch Processor I/O Card <------------> 8 System Management Card26 10 Gig Ethernet Line Card <-- direct --> 10 Packet Services Card 327 10 Gig Ethernet Line Card <--- RCCs ---> 16 Packet Services Card 328 10 Gig Ethernet Line Card <-- direct --> 12 Packet Services Card 3
Pero el RMA todavía no resolvió el problema.
[local]PDSN# show port utilization table verboseTuesday May 12 06:04:57 UTC 2015 ------ Average Port Utilization (in mbps) ------Port Type Current 5min 15min Rx Tx Rx Tx Rx Tx----- ------------------------ ------- ------- ------- ------- ------- -------19/1 10G Ethernet 333.497 331.132 345.255 347.328 354.989 358.53920/1 10G Ethernet 0.003 0.000 0.003 0.000 0.003 0.00023/1 10G Ethernet 361.103 334.488 353.180 354.668 363.226 363.38826/1 10G Ethernet 0.002 0.000 0.002 0.000 0.002 0.00027/1 10G Ethernet 309.096 1897 335.379 1892 339.740 890 28/1 10G Ethernet 0.003 0.000 0.003 0.000 0.003 0.00037/1 1000 Ethernet 0.014 0.005 0.014 0.018 0.014 0.016
Requirió una recarga del chasis finalmente resolver el problema. No se determinó ninguna causa raíz nunca. Pero, la punta aquí es los pasos de Troubleshooting tomados para intentar resolver el problema finalmente trabajado con una recarga. Los resultados no son a veces qué se esperan originalmente sobre la base de los pasos de Troubleshooting tomados. Fue pensado que el RMA con seguridad iba finalmente a solucionar el problema pero no lo hizo. No obstante las medidas apropiadas para eliminar a los culpables potenciales fueron tomadas.
El RETRASO que el intercambio no pudo pegar debido falló XGLC
Un intercambio del RETRASO impar a los puertos uniformes (19, 23, 27 el => 20, 26, 28) no se refrenaría y conmutaría dentro de un minuto. Eso podía implicar un problema con uno o más de los puertos del RETRASO que no podían mantener la conexión. Observe la disminución de la utilización de puertos, pero el grupo de datos es limitado debido al breve periodo de tiempo que los puertos uniformes permanecerían activos:
[XGWout]XGW# show port util tableThursday April 26 07:17:31 UTC 2012 ------ Average Port Utilization (in mbps) ------Port Type Current 5min 15min Rx Tx Rx Tx Rx Tx----- ------------------------ ------- ------- ------- ------- ------- -------19/1 10G Ethernet 895 907 906 931 939 983 20/1 10G Ethernet 0 0 20 14 6 4 21/1 1000 Ethernet 0 0 0 3 0 3 22/1 1000 Ethernet 3 46 3 46 3 47 23/1 10G Ethernet 948 946 883 917 918 956 26/1 10G Ethernet 0 0 16 11 5 3 27/1 10G Ethernet 949 950 989 934 1029 955 28/1 10G Ethernet 0 0 4 14 1 4 [XGWout]XGW# link-aggregation port switch to 20/1Thursday April 26 07:20:20 UTC 2012Are you sure? [Yes|No]: yesThursday April 26 07:20:22 UTC 20122012-Apr-26+07:20:22.826 [lagmgr 179050 warning] [1/0/2337 <lagmgr:0>
lagmgr_state.c:1163] [software internal system critical-info syslog] LAG group
50 (global) with master port 19/1 has changed partner from (007F,00-26-88-8E-
4F-F0,0034) to (007F,00-26-88-A7-FF-F0,0034)
Apr 26 07:21:28 kslxmsce2.msc.vzwnet.com evlogd: [local-60sec28.393]
[lagmgr 179050 warning] [1/0/2337 <lagmgr:0> lagmgr_state.c:1163]
[software internal system critical-info syslog] LAG group 50 (global)
with master port 19/1 has changed partner from
(007F,00-26-88-A7-FF-F0,0034) to (007F,00-26-88-8E-4F-F0,0034)[XGWout]XGW# show port util tableThursday April 26 07:20:46 UTC 2012 ------ Average Port Utilization (in mbps) ------Port Type Current 5min 15min Rx Tx Rx Tx Rx Tx----- ------------------------ ------- ------- ------- ------- ------- -------19/1 10G Ethernet 0 0 896 917 927 965 20/1 10G Ethernet 678 526 45 33 15 11 21/1 1000 Ethernet 0 0 0 3 0 3 22/1 1000 Ethernet 3 45 3 46 3 46 23/1 10G Ethernet 0 0 881 898 903 943 26/1 10G Ethernet 627 442 16 11 5 3 27/1 10G Ethernet 0 0 874 850 980 914 28/1 10G Ethernet 138 436 15 47 5 15 [XGWout]XGW# show port util tableThursday April 26 07:24:58 UTC 2012 ------ Average Port Utilization (in mbps) ------Port Type Current 5min 15min Rx Tx Rx Tx Rx Tx----- ------------------------ ------- ------- ------- ------- ------- -------19/1 10G Ethernet 847 911 742 719 860 874 20/1 10G Ethernet 0 0 137 104 52 39 21/1 1000 Ethernet 0 0 0 4 0 4 22/1 1000 Ethernet 3 48 3 47 3 47 23/1 10G Ethernet 840 804 710 718 837 862 26/1 10G Ethernet 0 0 133 95 50 35 27/1 10G Ethernet 833 814 671 697 883 856 28/1 10G Ethernet 0 0 33 92 12 35
Para resolver problemas más lejos, uno de los puertos del RETRASO (27/1) fue inhabilitado, forzando el intercambio del RETRASO para seguir siendo en el lugar y no Switch detrás (el sistema intercambio a menos que los puertos cambiará para tener una capacidad más alta que actualmente - los puertos activos). Como puede ser visto abajo, la utilización de puertos va abajo perceptiblemente en los puertos UNIFORMES. Cuando se vuelve a permitir el puerto 27/1, el Switches del RETRASO de nuevo a los puertos impares sin la intervención debido a los puertos UNIFORMES que tienen más capacidad.
[local]XGW# show port util tableThursday April 26 08:53:47 UTC 2012 ------ Average Port Utilization (in mbps) ------Port Type Current 5min 15min Rx Tx Rx Tx Rx Tx----- ------------------------ ------- ------- ------- ------- ------- -------19/1 10G Ethernet 670 639 654 609 590 556 20/1 10G Ethernet 0 0 0 0 0 0 21/1 1000 Ethernet 0 20 0 3 0 2 22/1 1000 Ethernet 3 41 3 40 7 83 23/1 10G Ethernet 598 676 574 662 535 585 26/1 10G Ethernet 0 0 0 0 0 0 27/1 10G Ethernet 662 612 658 608 611 585 28/1 10G Ethernet 0 0 0 0 0 0 [local]XGW(config)# port ether 27/1Thursday April 26 08:53:58 UTC 2012[local]XGW(config-port-27/1)# shutThursday April 26 08:54:02 UTC 2012Thu Apr 26 08:54:02 2012 Internal trap notification 35 (PortLinkDown) card 27
port 1 ifindex 453050368Thu Apr 26 08:54:02 2012 Internal trap notification 1024 (PortDown) card 27 port 1 ifindex 453050368port type 10G EthernetThu Apr 26 08:54:02 2012 Internal trap notification 93 (CardStandby) card 27[local]XGW# show port util tableThursday April 26 08:54:26 UTC 2012 ------ Average Port Utilization (in mbps) ------Port Type Current 5min 15min Rx Tx Rx Tx Rx Tx----- ------------------------ ------- ------- ------- ------- ------- -------19/1 10G Ethernet 0 0 634 596 625 591 20/1 10G Ethernet 371 278 27 19 9 6 21/1 1000 Ethernet 0 0 0 3 0 2 22/1 1000 Ethernet 3 39 3 40 3 86 23/1 10G Ethernet 0 0 573 654 572 627 26/1 10G Ethernet 346 268 0 0 0 0 28/1 10G Ethernet 107 233 0 0 0 0 [local]XGW# show port util tableThursday April 26 08:57:11 UTC 2012 ------ Average Port Utilization (in mbps) ------Port Type Current 5min 15min Rx Tx Rx Tx Rx Tx----- ------------------------ ------- ------- ------- ------- ------- -------19/1 10G Ethernet 0 0 375 349 552 520 20/1 10G Ethernet 445 342 203 156 67 52 21/1 1000 Ethernet 0 0 0 3 0 2 22/1 1000 Ethernet 4 50 3 42 3 40 23/1 10G Ethernet 0 0 223 260 465 515 26/1 10G Ethernet 390 323 215 169 71 56 28/1 10G Ethernet 214 302 84 148 28 49
[local]XGW# show port util table
Thursday April 26 09:00:18 UTC 2012
------ Average Port Utilization (in mbps) ------
Port Type Current 5min 15min
Rx Tx Rx Tx Rx Tx
----- ------------------------ ------- ------- ------- ------- ------- -------
19/1 10G Ethernet 0 0 0 0 428 401
20/1 10G Ethernet 414 339 410 320 145 113
21/1 1000 Ethernet 0 0 0 2 0 3
22/1 1000 Ethernet 4 56 3 48 3 42
23/1 10G Ethernet 0 0 0 0 345 391
26/1 10G Ethernet 373 307 391 312 147 117
28/1 10G Ethernet 244 287 203 292 71 106
[local]XGW# show port util table
Thursday April 26 09:08:33 UTC 2012
------ Average Port Utilization (in mbps) ------
Port Type Current 5min 15min
Rx Tx Rx Tx Rx Tx
----- ------------------------ ------- ------- ------- ------- ------- -------
19/1 10G Ethernet 0 0 0 0 37 36
20/1 10G Ethernet 346 302 394 315 358 284
21/1 1000 Ethernet 0 11 0 4 0 3
22/1 1000 Ethernet 4 86 4 80 4 59
23/1 10G Ethernet 0 0 0 0 36 41
26/1 10G Ethernet 331 278 354 307 339 281
28/1 10G Ethernet 252 253 245 273 203 255
[local]XGW# config
Thursday April 26 09:08:43 UTC 2012
[local]XGW(config)# port ether 27/1
Thursday April 26 09:08:49 UTC 2012
[local]XGW(config-port-27/1)# no shut
Thursday April 26 09:08:53 UTC 2012
Thu Apr 26 09:08:53 2012 Internal trap notification 55 (CardActive) card 27
Thu Apr 26 09:08:53 2012 Internal trap notification 36 (PortLinkUp) card 27 port
1 ifindex 453050369
Thu Apr 26 09:08:53 2012 Internal trap notification 1025 (PortUp) card 27 port 1
ifindex 453050369port type 10G Ethernet
[local]XGW# show port util table
Thursday April 26 09:10:11 UTC 2012
------ Average Port Utilization (in mbps) ------
Port Type Current 5min 15min
Rx Tx Rx Tx Rx Tx
----- ------------------------ ------- ------- ------- ------- ------- -------
19/1 10G Ethernet 698 656 0 0 0 0
20/1 10G Ethernet 0 0 370 300 395 315
21/1 1000 Ethernet 0 0 0 3 0 3
22/1 1000 Ethernet 3 85 4 88 4 66
23/1 10G Ethernet 618 702 0 0 0 0
26/1 10G Ethernet 0 0 310 270 357 298
27/1 10G Ethernet 681 624 44 36 14 12
28/1 10G Ethernet 0 0 235 251 227 27
No es excesivo obvio que viran el problema hacia el lado de babor existen, y la utilización del tx no es ésa desigual.
“muestre a demostración de los contadores del npu del puerto” claramente un problema con el contador de errores “mala encabezado del IPv4” que aumenta en una alta velocidad (y ella no debe suceder en absoluto), pero debido a este ser una implementación del RETRASO, sobre la base de la implementación actual, todos los contadores son cummulative para todos los puertos del RETRASO en un grupo del RETRASO, y así que no puede ser determinado qué puerto está teniendo el problema - podría ser ningunos de ellos. (los stats para todos los puertos combinados se encuentran bajo el puerto principal, en este caso 19/1 - los stats en todos los puertos individuales del RETRASO del grupo del RETRASO no tienen NINGÚN significado y se deben ignorar).
Pero, el comando “all_pacs del soporte técnico del debug stats del npu de la demostración” captura el stats NPU sobre una base PSC, y lo que sigue muestra que el problema “está asociado claramente” a PSC 12 y a su (valor por defecto) XGLC conectado 28:
******** show npu stats debug all_pacs *******Thursday April 26 09:01:41 UTC 2012 Line 524176: debug-pkt-drop-invalid-iphdr 3601919 Line 524245: debug-pkt-drop-invalid-iphdr 265 Line 524303: debug-pkt-drop-invalid-iphdr 141 Line 524407: debug-pkt-drop-invalid-iphdr 3468928 Line 524471: debug-pkt-drop-invalid-iphdr 216 Line 524529: debug-pkt-drop-invalid-iphdr 3701708 Line 524595: debug-pkt-drop-invalid-iphdr 6501414 <= NPU debug
stats for slot 12 ******** show port npu counters *******Thursday April 26 09:01:40 UTC 2012Counters for port 19/1Counter Rx Frames Rx Bytes Tx Frames Tx Bytes-------------------- ------------- --------------- ------------- ---------------Bad IPv4 header 6493067 2820637429 n/a n/a ******** show npu stats debug all_pacs *******Thursday April 26 09:03:36 UTC 2012 Line 985303: debug-pkt-drop-invalid-iphdr 3601919 Line 985372: debug-pkt-drop-invalid-iphdr 292 Line 985430: debug-pkt-drop-invalid-iphdr 141 Line 985534: debug-pkt-drop-invalid-iphdr 3468928 Line 985598: debug-pkt-drop-invalid-iphdr 226 Line 985656: debug-pkt-drop-invalid-iphdr 3701708 Line 985722: debug-pkt-drop-invalid-iphdr 7190387 <= NPU debug
stats for slot 12 (INCREASING) ******** show port npu counters *******Thursday April 26 09:03:35 UTC 2012Counters for port 19/1Counter Rx Frames Rx Bytes Tx Frames Tx Bytes-------------------- ------------- --------------- ------------- ---------------Bad IPv4 header 7182088 3089244876 n/a n/a
¿La pregunta todavía se convierte en qué indicador luminoso LED amarillo de la placa muestra gravedad menor está causando realmente este problema, el PSC 12 conectado con XGLC 28, o XGLC 28 sí mismo?
Los problemas NPU serían resueltos típicamente con una migración PSC del PSC 12 conectado con XGLC 28, implicando un problema con el PSC. Cuando esto fue intentada en una ventana de mantenimiento posterior, no pudo resolver el problema, al igual que una restauración del linecard así como una restauración del npumgr.
Aquí está el resultado de Troubleshooting de la restauración del npumgr, XGLC 28 reajustado, y la migración 12 a 16 PSC, estos últimos cuyo los resultados en PSC 16 que es conectado con XGLC 28 y elimina tan PSC 12 que es el problema. Las comprobaciones para el aumento debug-Pkt-descenso-inválido-iphdr fueron hechas entre cada uno de los pasos para confirmar que el problema no fue resuelto. Apague de uno del RETRASO que los puertos (27/1) fueron hechos para forzar un swtichover del RETRASO a seguir siendo conmutado encima para los propósitos de la obtención de datos, y de un ningún cerrado tenido en cuenta para que el RETRASO conmute detrás cuando prueba hecha.
[local]XGW# show port util tableSaturday April 28 05:03:49 UTC 2012 ------ Average Port Utilization (in mbps) ------Port Type Current 5min 15min Rx Tx Rx Tx Rx Tx----- ------------------------ ------- ------- ------- ------- ------- -------19/1 10G Ethernet 2311 2395 2384 2415 2384 2402 20/1 10G Ethernet 0 0 0 0 0 0 21/1 1000 Ethernet 0 9 0 9 0 9 22/1 1000 Ethernet 4 70 4 77 4 73 23/1 10G Ethernet 2230 2224 2222 2293 2202 2268 26/1 10G Ethernet 0 0 0 0 0 0 27/1 10G Ethernet 2496 2433 2505 2427 2440 2381 28/1 10G Ethernet 0 0 0 0 0 0 [local]XGW(config)# port ether 27/1Saturday April 28 05:04:44 UTC 2012[local]XGW(config-port-27/1)# shutdownSaturday April 28 05:04:50 UTC 2012Sat Apr 28 05:04:50 2012 Internal trap notification 35 (PortLinkDown) card 27
port 1 ifindex 453050368Sat Apr 28 05:04:50 2012 Internal trap notification 1024 (PortDown) card 27 port
1 ifindex 453050368port type 10G EthernetSat Apr 28 05:04:50 2012 Internal trap notification 93 (CardStandby) card 27[local]XGW# show port table allSaturday April 28 05:04:59 UTC 2012Port Type Admin Oper Link State Redundant----- ------------------------ -------- ---- ---- ---------------- -----------19/1 10G Ethernet Enabled - Up - None ~19/1 Untagged Enabled Up - Active -20/1 10G Ethernet Enabled Up Up Active None +19/1 [local]XGW# show port util tableSaturday April 28 05:05:42 UTC 2012 ------ Average Port Utilization (in mbps) ------Port Type Current 5min 15min Rx Tx Rx Tx Rx Tx----- ------------------------ ------- ------- ------- ------- ------- -------19/1 10G Ethernet 0 0 2150 2182 2311 2333 20/1 10G Ethernet 1488 1064 0 0 0 0 21/1 1000 Ethernet 0 0 0 9 0 10 22/1 1000 Ethernet 4 70 4 72 4 73 23/1 10G Ethernet 0 0 2163 2225 2182 2251 26/1 10G Ethernet 1353 989 94 68 31 22 28/1 10G Ethernet 372 1042 14 41 4 13 [local]XGW# show npu stats debug all-pacs Saturday April 28 05:07:28 UTC 2012NPU debug stats for slot 12 debug-pkt-drop-invalid-iphdr 10786357[local]XGW# show npu stats debug all-pacsSaturday April 28 05:07:47 UTC 2012NPU debug stats for slot 12 debug-pkt-drop-invalid-iphdr 10966718[local]XGW# task kill facility npumgr instance 12Saturday April 28 05:33:18 UTC 2012Sat Apr 28 05:33:18 2012 Internal trap notification 73 (ManagerFailure) facility
npumgr instance 12 card 12 cpu 1 Sat Apr 28 05:33:18 2012 Internal trap notification 150 (TaskFailed) facility
npumgr instance 12 on card 12 cpu 1Sat Apr 28 05:33:26 2012 Internal trap notification 35 (PortLinkDown) card 28
port 1 ifindex 469827585Sat Apr 28 05:33:26 2012 Internal trap notification 1024 (PortDown) card 28 port
1 ifindex 469827585port type 10G EthernetSat Apr 28 05:33:26 2012 Internal trap notification 36 (PortLinkUp) card 28 port
1 ifindex 469827585Sat Apr 28 05:33:26 2012 Internal trap notification 1025 (PortUp) card 28 port 1
ifindex 469827585port type 10G Ethernet[local]XGW# show port util tableSaturday April 28 05:34:24 UTC 2012 ------ Average Port Utilization (in mbps) ------Port Type Current 5min 15min Rx Tx Rx Tx Rx Tx----- ------------------------ ------- ------- ------- ------- ------- -------19/1 10G Ethernet 0 0 0 0 0 0 20/1 10G Ethernet 894 723 837 661 935 728 21/1 1000 Ethernet 0 36 0 7 0 7 22/1 1000 Ethernet 4 127 4 78 4 79 23/1 10G Ethernet 0 0 0 0 0 0 26/1 10G Ethernet 906 647 780 571 865 644 28/1 10G Ethernet 356 649 0 0 0 0 [local]XGW# show npu stats debug slot 12Saturday April 28 05:35:16 UTC 2012NPU debug stats for slot 12 debug-pkt-drop-invalid-iphdr 540273[local]XGW# show npu stats debug slot 12Saturday April 28 05:35:38 UTC 2012NPU debug stats for slot 12 debug-pkt-drop-invalid-iphdr 692665 Sat Apr 28 05:38:49 2012 Internal trap notification 35 (PortLinkDown) card 28
port 1 ifindex 469827584Sat Apr 28 05:38:49 2012 Internal trap notification 1024 (PortDown) card 28 port
1 ifindex 469827584port type 10G EthernetSat Apr 28 05:38:49 2012 Internal trap notification 35 (PortLinkDown) card 28
port 1 ifindex 469827585Sat Apr 28 05:38:49 2012 Internal trap notification 60 (CardDown) card 28Sat Apr 28 05:38:51 2012 Internal trap notification 5 (CardUp) card 28Sat Apr 28 05:38:51 2012 Internal trap notification 4 (CardRebootRequest) card 28Sat Apr 28 05:38:51 2012 Internal trap notification 84 (ServiceLossLC) Slots 28
and 44 has configured for card type 10 Gig Ethernet Line Card, but neither activeSat Apr 28 05:38:53 2012 Internal trap notification 55 (CardActive) card 28Sat Apr 28 05:38:53 2012 Internal trap notification 1111 (ServiceLossLCClear)
Slots 28 and 44 has configured for card type 10 Gig Ethernet Line Card, one of them is active nowSat Apr 28 05:38:53 2012 Internal trap notification 93 (CardStandby) card 28Sat Apr 28 05:38:55 2012 Internal trap notification 36 (PortLinkUp) card 28 port
1 ifindex 469827584Sat Apr 28 05:38:55 2012 Internal trap notification 1025 (PortUp) card 28 port 1
ifindex 469827584port type 10G EthernetSat Apr 28 05:38:55 2012 Internal trap notification 55 (CardActive) card 28Sat Apr 28 05:38:55 2012 Internal trap notification 36 (PortLinkUp) card 28 port
1 ifindex 469827585Sat Apr 28 05:38:55 2012 Internal trap notification 1025 (PortUp) card 28 port 1
ifindex 469827585port type 10G Ethernet[local]XGW# show port util tableSaturday April 28 05:39:47 UTC 2012 ------ Average Port Utilization (in mbps) ------Port Type Current 5min 15min Rx Tx Rx Tx Rx Tx----- ------------------------ ------- ------- ------- ------- ------- -------19/1 10G Ethernet 0 0 0 0 0 0 20/1 10G Ethernet 236 174 688 544 816 637 21/1 1000 Ethernet 0 17 0 7 0 7 22/1 1000 Ethernet 3 29 3 69 4 75 23/1 10G Ethernet 0 0 0 0 0 0 26/1 10G Ethernet 201 156 779 568 810 597 28/1 10G Ethernet 114 181 0 0 0 0 [local]XGW# show npu stats debug slot 12Saturday April 28 05:40:04 UTC 2012NPU debug stats for slot 12 debug-pkt-drop-invalid-iphdr 2219078[local]XGW# show npu stats debug slot 12Saturday April 28 05:40:15 UTC 2012NPU debug stats for slot 12 debug-pkt-drop-invalid-iphdr 2289375[local]XGW# show port util tableSaturday April 28 05:41:08 UTC 2012 ------ Average Port Utilization (in mbps) ------Port Type Current 5min 15min Rx Tx Rx Tx Rx Tx----- ------------------------ ------- ------- ------- ------- ------- -------19/1 10G Ethernet 0 0 0 0 0 0 20/1 10G Ethernet 769 545 682 528 804 625 21/1 1000 Ethernet 0 0 0 6 0 6 22/1 1000 Ethernet 3 70 3 63 4 73 23/1 10G Ethernet 0 0 0 0 0 0 26/1 10G Ethernet 723 560 634 480 760 561 28/1 10G Ethernet 317 585 81 141 27 47 [local]XGW# show npu stat debug slot 12 clear Saturday April 28 05:41:59 UTC 2012NPU debug stats for slot 12 debug-pkt-drop-invalid-iphdr 2980554[local]XGW# show npu stat debug slot 12 clearSaturday April 28 05:42:10 UTC 2012 debug-pkt-drop-invalid-iphdr 60103Sat Apr 28 05:42:43 2012 Internal trap notification 16 (PACMigrateStart) from
card 12 to card 16Sat Apr 28 05:43:55 2012 Internal trap notification 17 (PACMigrateComplete) from
card 12 to card 16Sat Apr 28 05:44:45 2012 Internal trap notification 5 (CardUp) card 12Sat Apr 28 05:44:45 2012 Internal trap notification 93 (CardStandby) card 12[local]XGW# show npu stat debug slot 16 clearSaturday April 28 05:44:35 UTC 2012NPU debug stats for slot 16 debug-pkt-drop-invalid-iphdr 14650[local]XGW# show npu stat debug slot 16 clearSaturday April 28 05:45:48 UTC 2012NPU debug stats for slot 16 debug-pkt-drop-invalid-iphdr 70940Sat Apr 28 05:45:20 2012 Internal trap notification 126 (SRPSwitchoverInitiated) vpn SRP ipaddr 10.209.74.164Sat Apr 28 05:45:21 2012 Internal trap notification 121 (SRPStandby) vpn SRP
ipaddr 10.209.74.164 rtmod 2[local]XGW(config)# port ether 27/1Saturday April 28 05:52:27 UTC 2012[local]XGW(config-port-27/1)# no shutSaturday April 28 05:52:35 UTC 2012Sat Apr 28 05:52:35 2012 Internal trap notification 36 (PortLinkUp) card 27 port
1 ifindex 453050368Sat Apr 28 05:52:35 2012 Internal trap notification 1025 (PortUp) card 27 port 1
ifindex 453050368port type 10G EthernetSat Apr 28 05:52:35 2012 Internal trap notification 55 (CardActive) card 27Sat Apr 28 05:52:35 2012 Internal trap notification 36 (PortLinkUp) card 27 port
1 ifindex 453050369Sat Apr 28 05:52:35 2012 Internal trap notification 1025 (PortUp) card 27 port 1
ifindex 453050369port type 10G Ethernet[local]XGW# link-aggregation port switch to 19/1Saturday April 28 05:56:39 UTC 2012Are you sure? [Yes|No]: yesSaturday April 28 05:56:42 UTC 2012
Sat Apr 28 07:09:46 2012 Internal trap notification 120 (SRPActive) vpn SRP
ipaddr 10.209.74.164 rtmod 2
[local]XGW# show card table
Saturday April 28 06:06:09 UTC 2012
Slot Card Type Oper State SPOF Attach
----------- -------------------------------- ------------- ---- ------
1: PSC Packet Services Card 2 Active No - -
2: PSC Packet Services Card 2 Active No - -
3: PSC Packet Services Card 2 Active No 19 -
4: PSC Packet Services Card 2 Active No 20 -
5: PSC Packet Services Card 2 Active No 21 37
6: PSC Packet Services Card 2 Active No 22 38
7: PSC Packet Services Card 2 Active No 23 -
8: SMC System Management Card Active No 24 25
9: SMC System Management Card Standby - - -
10: PSC Packet Services Card 2 Active No 26 -
11: PSC Packet Services Card 2 Active No 27 -
12: PSC Packet Services Card 2 Standby - - -
13: PSC Packet Services Card 2 Active No - -
14: PSC Packet Services Card 2 Active No - -
15: PSC Packet Services Card 2 Active No - -
16: PSC Packet Services Card 2 Active No 28 -
La conclusión inverosímil terminó encima de ser un linecard defectuoso, que cuando está substituido, resuelto el problema.
Nota: cuando XGLC 28 fue substituido, el sistema reató el reemplazo XGLC a PSC 1 de Demux en vez del PSC previamente asociado 16. La tarea del Indicador luminoso LED amarillo de la placa muestra gravedad menor-Slot-puerto (CSP) tiene el derecho de asociar un XGLC a cualquier PSC libre que desee a, en este caso PSC 1 en vez de PSC 16. Como consecuencia, la prueba de XGLC 28 estaba contra PSC 1 y no PSC 16 o PSC 12, pero en este momento basado en toda la prueba hecha hasta ahora (es decir el problema sucede si está conectado con PSC 12 o PSC 16), había sido concluido que los errores eran debido a XGLC 28 y a no ningún PSC.
Sun Apr 29 05:17:25 2012 Internal trap notification 60 (CardDown) card 28Sun Apr 29 05:17:25 2012 Internal trap notification 7 (CardRemoved) card 28Sun Apr 29 05:19:56 2012 Internal trap notification 8 (CardInserted) card 28Sun Apr 29 05:19:58 2012 Internal trap notification 5 (CardUp) card 28Sun Apr 29 05:20:00 2012 Internal trap notification 55 (CardActive) card 28[local]XGW# show port util tableSunday April 29 05:23:53 UTC 2012 ------ Average Port Utilization (in mbps) ------Port Type Current 5min 15min Rx Tx Rx Tx Rx Tx----- ------------------------ ------- ------- ------- ------- ------- -------19/1 10G Ethernet 1817 1770 1852 1868 1899 1929 20/1 10G Ethernet 0 0 0 0 0 0 21/1 1000 Ethernet 0 0 0 7 0 7 22/1 1000 Ethernet 3 55 3 58 3 59 23/1 10G Ethernet 1685 1867 1718 1858 1782 1868 26/1 10G Ethernet 0 0 0 0 0 0 27/1 10G Ethernet 1982 1866 1982 1846 2022 1927 28/1 10G Ethernet 0 0 0 0 0 0 [local]XGW# link-aggregation port switch to 20/1Sunday April 29 05:33:18 UTC 2012Are you sure? [Yes|No]: yesSunday April 29 05:33:21 UTC 20122012-Apr-29+05:33:21.124 [lagmgr 179050 warning] [1/0/2337 <lagmgr:0>
lagmgr_state.c:1163] [software internal system critical-info syslog] LAG group
50 (global) with master port 19/1 has changed partner from (007F,00-26-88-8E-
4F-F0,0034) to (007F,00-26-88-A7-FF-F0,0034)[local]LENYKSCJPNR XGW# show port util tableSunday April 29 05:34:05 UTC 2012 ------ Average Port Utilization (in mbps) ------Port Type Current 5min 15min Rx Tx Rx Tx Rx Tx----- ------------------------ ------- ------- ------- ------- ------- -------19/1 10G Ethernet 0 0 1724 1688 1795 1783 20/1 10G Ethernet 1785 1737 112 108 37 36 21/1 1000 Ethernet 0 29 0 8 0 7 22/1 1000 Ethernet 3 55 3 56 3 57 23/1 10G Ethernet 0 0 1430 1522 1609 1720 26/1 10G Ethernet 1632 1790 89 95 29 31 27/1 10G Ethernet 0 0 1719 1669 1865 1780 28/1 10G Ethernet 1840 1738 0 0 0 0 [local]XGW# show npu stats debug slot 1Sunday April 29 05:34:18 UTC 2012NPU debug stats for slot 1 debug-pkt-drop-invalid-iphdr 9[local]XGW# show card tableSunday April 29 05:34:27 UTC 2012Slot Card Type Oper State SPOF Attach----------- -------------------------------- ------------- ---- ------ 1: PSC Packet Services Card 2 Active No 28 - 2: PSC Packet Services Card 2 Active No - - 3: PSC Packet Services Card 2 Active No 19 - 4: PSC Packet Services Card 2 Active No 20 - 5: PSC Packet Services Card 2 Active No 21 37 6: PSC Packet Services Card 2 Active No 22 38 7: PSC Packet Services Card 2 Active No 23 - 8: SMC System Management Card Active No 24 25 9: SMC System Management Card Standby - - -10: PSC Packet Services Card 2 Active No 26 -11: PSC Packet Services Card 2 Active No 27 -12: PSC Packet Services Card 2 Standby - - -13: PSC Packet Services Card 2 Active No - -14: PSC Packet Services Card 2 Active No - -15: PSC Packet Services Card 2 Active No - -16: PSC Packet Services Card 2 Active No - -[local]LENYKSCJPNR XGW# show port npu count 28/1Sunday April 29 05:35:39 UTC 2012Counters for port 28/1Counter Rx Frames Rx Bytes Tx Frames Tx Bytes-------------------- ------------- --------------- ------------- ---------------Bad IPv4 header 0 0 n/a n/a[local]XGW# show npu stats debug all-pacSunday April 29 05:36:05 UTC 2012NPU debug stats for slot 1 debug-pkt-drop-invalid-iphdr 32[local]XGW# show npu stats debug all-pac | grep debug-pkt-drop-invalid-iphdrSunday April 29 05:36:47 UTC 2012 debug-pkt-drop-invalid-iphdr 41 <== PSC 1 debug-pkt-drop-invalid-iphdr 3722008 debug-pkt-drop-invalid-iphdr 920 debug-pkt-drop-invalid-iphdr 141 debug-pkt-drop-invalid-iphdr 3579872 debug-pkt-drop-invalid-iphdr 47 debug-pkt-drop-invalid-iphdr 3817343[local]XGW# show port util tableSunday April 29 05:37:52 UTC 2012 ------ Average Port Utilization (in mbps) ------Port Type Current 5min 15min Rx Tx Rx Tx Rx Tx----- ------------------------ ------- ------- ------- ------- ------- -------19/1 10G Ethernet 0 0 301 297 1300 1280 20/1 10G Ethernet 1686 1603 1490 1454 496 484 21/1 1000 Ethernet 0 0 0 6 0 7 22/1 1000 Ethernet 3 53 3 55 3 55 23/1 10G Ethernet 0 0 448 475 1265 1349 26/1 10G Ethernet 1539 1692 1383 1460 461 486 27/1 10G Ethernet 0 0 252 246 1334 1288 28/1 10G Ethernet 1758 1705 1413 1390 471 463
ComentariosDéjenos ayudarlo
- Abrir un caso de soporte
- (Requiere un Cisco Service Contract)