Problemen met hoge CPU/QFP op routers melden aan TAC
Inhoud
Inleiding
In dit document wordt de algemene probleemoplossing beschreven voor het correct melden van hoge CPU/QFP-problemen aan TAC voor een snellere oplossing van problemen.
Voorwaarden
Vereisten
Cisco raadt u aan om basiskennis te hebben van deze onderwerpen:
- Basiskennis van de Cisco IOS® XE packet forwarding architectuur.
- Basiservaring met Packet Trace Feature.
Gebruikte componenten
Dit document is niet beperkt tot specifieke software- en hardware-versies. Het is van toepassing op elk Cisco IOS XE®-platform met fysieke/gevirtualiseerde QFP zoals ASR1000, ISR4000, ISR1000, Cat8000 of Cat8000v.
De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk live is, moet u zorgen dat u de potentiële impact van elke opdracht begrijpt.
Achtergrondinformatie
Dit document schetst de opdrachten die TAC nodig heeft voor de eerste triage van een hoog CPU/QFP-probleem voor een geweldige TAC-ervaring vanaf het allereerste contact.
Dit document bevat ook tips voor het oplossen van problemen om een probleem met een hoge centrale verwerkingseenheid (CPU) of een probleem met het gebruik van een hoge kwantumstroomprocessor (QFP) te identificeren, zodat u een oplossing kunt vinden voordat u een TAC-geval opent.
Het doel van dit document is niet om eventuele procedures voor probleemoplossing uitgebreid uit te leggen. Indien beschikbaar, worden verwijzingen naar meer gedetailleerde handleidingen voor probleemoplossing verstrekt.
Aan het einde van dit document staan blokdiagrammen die dienen voor educatieve doeleinden als een visuele weergave van de componenten.
Hoge componenten - geheugen, TCAM, CPU, QFP - het gebruik is meestal een indicator van:
- Er gaat iets mis op het apparaat (dat proces werkt niet zoals verwacht, mogelijk Sw-probleem) of in de netwerkomgeving (dat is puntverkeer, lussen).
- Het bereiken van de hardwarebeperking van het apparaat (dat is te veel verkeer / functies die op het apparaat worden uitgevoerd).
Het identificeren van de onderliggende oorzaak van het hoge gebruik van componenten is van vitaal belang om de juiste manier van handelen te bepalen voor het oplossen van het probleem.
Symptomen voor hoog QFP/CPU-gebruik
U kunt valideren of er een hoge CPU- of QFP-conditie is via monitoringtools of via deze opdrachten:
Control Plane (CPU) - iOSd
show process cpu sorted
iosxe_router#show process cpu sorted
CPU utilization for five seconds: 90%/0%; one minute: 0%; five minutes: 0%
PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process
395 78769 1242162 63 89.07% 88.04% 89.02% 0 CDP Protocol
1 8 88 90 0.00% 0.00% 0.00% 0 Chunk Manager
--- snip ---
Vanaf de regel CPU-gebruik gedurende vijf seconden: 90%/0%; één minuut: 0%; vijf minuten: 0%, moet u zich richten op de eerste waarde na de vijf seconden string. In dit geval geeft de 90% het totale CPU-gebruik aan, terwijl het getal rechts van de slash-0 in dit geval het CPU-gebruik vertegenwoordigt vanwege onderbrekingen. Het verschil tussen deze twee getallen vertegenwoordigt het totale CPU-gebruik als gevolg van processen. In dit scenario verbruikt het CDP-protocol het grootste deel van de CPU (control plane)-bronnen.
Control Plane - Kernel (CPU)
Aangezien Cisco IOS XE een Linux-gebaseerde kernel heeft, kunt u soms problemen vinden bij alle processen die erop draaien, u kunt het CPU-platform voor showprocessen gebruiken om te valideren of een proces problemen veroorzaakt (focus op de kolom 5 seconden) om processen van het onderliggende besturingssysteem weer te geven.
iosxe_router#show process cpu platform sorted
-- depending on the architecture, there can be multiple cores, deleting for brevity --
Pid PPid 5Sec 1Min 5Min Status Size Name
--------------------------------------------------------------------------------
18009 18001 323% 325% 328% R 266740 ucode_pkt_PPE0
11168 11160 1% 1% 1% S 914556 linux_iosd-imag
96 2 1% 0% 0% S 0 ksmd
--- snip ---
Opmerking: Routers met virtuele QFP hebben het ucode_pkt_PPE0-proces, het softwareproces dat het gegevensvlak emuleert. Daarom kan dat proces worden genegeerd uit de lijst met processen die bijdragen aan het CPU-gebruik.
Gegevensvlak (QFP)
QFP is het systeem op een chip dat verantwoordelijk is voor alle pakketverzending. Aanvullende informatie is te vinden in de sectie: Inzicht in hoge QFP op IOS XE-routers.
iosxe_router #show platform hardware qfp active datapath utilization
CPP 0: Subdev 0 5 secs 1 min 5 min 60 min
--- snip ---
(bps) 21992 13648 13736 13720
Processing: Load (pct) 0 0 0 0
Crypto/IO
RX: Load (pct) 0 0 0 0
TX: Load (pct) 1 1 1 0
Idle (pct) 99 99 99 99
Vanuit de opdracht qfp Active Data Path Utilisation (actief gegevenspad gebruiken) van het weergaveplatform, richt u zich op de verwerking: laden voor de kolom 5 seconden, omdat dit het meest recente algemene QFP-gebruik biedt. Sommige apparaten geven ook het gebruik van de Crypto / IO-module weer, focus op inactief, hoe dichter bij 100%, hoe beter.
Potentiële logs gezien
Standaard zijn er geen logbestanden gegenereerd door het systeem die een hoog CPU-gebruik op IOSd weergeven, dat CPU nummer 0 gebruikt, de eerste CPU op Cisco IOS XE-systemen.
Deze opdracht moet eerst worden geconfigureerd om syslog op de eerste kern te genereren.
Deze opdracht moet worden geschreven volgens de indeling die is beschreven in CPU Thresholding Notification: process cpu threshold type {total | process | interrupt} rising percentage interval seconds [1falling percentage interval seconds]
Op die manier kunt u dit soort meldingen zien:
%SYS-1-CPURISINGTHRESHOLD: Threshold: Total CPU Utilization(Total/Intr): 91%/2%, Top 3 processes(Pid/Util):Een andere manier om er veel gebruik van te maken, is via SNMP- of Telemetry-metingen.
In sommige gevallen ziet u een waarschuwing voor bronlimieten zoals deze wanneer andere kernen een hoge gebruikshit hebben:
PLATFORM_INFRA-5-IOS_INTR_OVER_LIMIT:Voor het gegevensvlak ziet u dit type QFP-waarschuwing in het logboek dat over het algemeen aangeeft dat de drempelbelasting wordt overschreden:
MCPRP-QFP-ALERT: Slot: 0, QFP:0, Load 93% exceeds the setting threshold(80%).TAC-informatiebehoeften voor initiële triage
- Uitvoer van deze opdrachten wanneer het hoge CPU-gedrag wordt waargenomen:
- klok tonen
- show version
- show running
- Procesprocessor gesorteerd weergeven
- Procesgeschiedenis weergeven
- Platformbronnen weergeven
- Overzicht van het actieve gegevenspad van QFP voor platformhardware weergeven
- Logboekregistratie weergeven
- Netwerktopologie.
- Grafieken CPU/QFP-gebruiksgeschiedenis.
- Verstrek gedetailleerde aanvullende informatie, zoals recente netwerk- of configuratiewijzigingen, verwachte verkeerssnelheid/doorstroming.
Als de CPU niet op een constante 100% staat, voeg dan een show tech output toe. Dit is van grote hulp voor de TAC, en u kunt profiteren van de automatiseringen die TAC heeft ontwikkeld om u te helpen sneller problemen te vinden.
Opmerking: problemen met een hoge CPU moeten worden opgelost terwijl het probleem zich voordoet, omdat het apparaat geen historische gegevens over processen tijdens de looptijd opslaat.
Opmerking: zorg ervoor dat u een ondersteunde versie uitvoert. Kijk voor de release naar het document End-of-Sale en End-of-Life. Ga indien nodig naar een versie die momenteel onder Software Maintenance Releases valt. Anders is de TAC beperkt voor de opties voor probleemoplossing en -oplossing.
Inzicht in het hoge CPU/QFP-gebruik
In de regel wordt een CPU/QFP als hoog beschouwd als deze meer dan 80% draait.
Cisco IOS XE-routers kunnen worden geassocieerd met een hoog gebruik op het besturingsvlak (CPU) of in het gegevensvlak (QFP).
Opmerking: in het ideale geval moet een hoog CPU/QFP-gebruik worden geëvalueerd ten opzichte van de typische gebruikspatronen van het apparaat in de loop van de tijd. Als een apparaat bijvoorbeeld normaal werkt met 10% CPU-gebruik, maar plotseling naar 40% springt, kan dit wijzen op een hoog CPU-gebruik voor dat apparaat. Aan de andere kant is een apparaat dat consistent op 80% CPU-gebruik draait, niet noodzakelijk een probleem als dat het gebruikelijke bedrijfsniveau is. Monitoringsystemen met CPU-grafieken kunnen helpen bij het verzamelen en analyseren van deze gegevens om een basislijn voor elk apparaat vast te stellen.
Algemene stappen voor probleemoplossing
- Identificeer of het probleem het controlevlak (CPU) of het gegevensvlak (QFP) is.
- Identificeer het beledigde proces via specifieke opdrachten.
- Op basis van de procesnaam, doe een webzoekopdracht voor dat proces:
- Focus op het matchen van dat proces met een bekende functie / configuratie.
- Controleer of er een softwaredefect is dat overeenkomt met de naam en het gedrag van het proces. Indien van toepassing, implementeer een workaround of Sw upgrade naar een vaste release.
- Bepaal met behulp van CPU/QFP-grafieken het exacte tijdstip waarop de CPU/QFP zijn gebruik begint te verhogen. Als het overeenkomt met een recente wijziging, gaat u terug naar de oorspronkelijke configuratie-/softwareversie en controleert u de resultaten.
- Als de zoekopdracht op het web geen bruikbare resultaten oplevert of als u denkt dat een functie verkeerd werkt, opent u een TAC-geval met deze informatie:
- showtech
- Opdrachten verzameld (kijk naar de informatie TAC behoeften voor de eerste triage sectie).
- Probeer het tijdstip waarop het probleem met een specifieke configuratiewijziging is begonnen, aan te passen en voeg deze informatie toe bij het openen van de TAC-kwestie.
- Als het gegevensvlak wordt geïdentificeerd als het probleem: geef de netwerktopologie, het verwachte aantal gebruikers en de typische verkeerssnelheid op die door het apparaat stroomt.
- Indien beschikbaar, geef de CPU/QFP-gebruiksgeschiedenisgrafiek op.
Hoge CPU op Cisco IOS XE-routers
Verwijzend naar CPU op een Cisco IOS XE-router verwijst naar de CPU die verantwoordelijk is voor de administratieve / besturingsvlakbewerkingen van het apparaat. Er zijn veel processen die op het apparaat worden uitgevoerd, allemaal draaien ze bovenop een Linux-gebaseerde kernel. Elk van deze processen wordt uitgevoerd in een CPU voor algemene doeleinden.
Wanneer een hoge CPU-conditie aanwezig is, is dit meestal een indicator van:
- Een of meer processen die een taak met hoge intensiteit moeten voltooien.
- Een of meer processen werken niet zoals verwacht.
- Controlevliegtuig dat pakketten ontvangt en verwerkt die door het gegevensvlak worden verzonden.
Sommige platforms hebben meerdere CPU's voor algemene doeleinden, die zich aan deze regels houden:
- Als de Cisco IOS XE-router modulair is (die meerdere kaarten accepteert, zoals Route Processor, Embedded Service Processor, SPA Interface Processor), zijn er meerdere CPU's beschikbaar voor besturingsvlakbewerkingen en één CPU voor algemeen gebruik voor elk van de kaarten.
- Als de Cisco IOS XE-router een ingebouwde is en alleen servicemodules of interfacekaarten accepteert, heeft de router een enkele CPU voor algemene doeleinden (virtueel of fysiek) die wordt beschouwd als in de routeprocessor (zoals te zien is in de uitvoer van showplatformbronnen).
Op Cisco IOS XE-apparaten hebt u over het algemeen dataplane en CPU-toegewezen cores voor besturingsvliegtuigen.
Over het algemeen geldt dat als CPU 0 (de eerste CPU) is gekoppeld aan IOSd (IOS daemon), de CPU-toegewezen kern aan het controlevlak gerelateerd is. Andere CPU's kunnen een combinatie zijn van besturingsvlak en gegevensvlak-CPU's.
In het geval van ASR 1000, die over het algemeen modulair is, tonen commando-uitgangen zoals show platform resources en show platform software status control-processor brief het gebruik voor control plane (RP) en data plane (ESP) CPU's.
- Raadpleeg in het geval van de ISR4000-reeks de Implement Performance License for Integrated Service Router 4000 waarin de diagrammen voor de verschillende CPU-distributies tussen de bestaande modellen worden weergegeven.
- In het geval dat virtuele platforms zoals Cisco CSR1000v en Cisco CSR8000v sjabloongebaseerd zijn, waarbij standaard de meeste vCPU's aan het gegevensvlak zijn toegewezen. Raadpleeg De vCPU-distributie configureren in de Installatie- en configuratiegids voor gegevens, besturings- en servicevlakken en de Cisco Catalyst 8000V Edge-software.
Control plane CPU's zijn gewijd aan het regelen van protocolverwerking zoals het verwerken van BGP-protocol, STP-protocol, CDP, SSH enzovoort. Control plane CPU's verwerken pakketten die bestemd zijn voor de router zelf voor de verwerking ervan.
Dataplane verwijst over het algemeen naar transitpakketten die de router zelf niet verbruikt in Routing Processor (RP), in plaats daarvan verwerken dataplane pakketten die alleen worden verwerkt in de Quantum Flow Processor (QFP) -component, de pakketprocessor. Deze pakketten worden verwerkt in QFP, waar opzoekingen gebeuren om het transitpakket naar de beoogde bestemming te sturen.
Inzicht in hoge QFP op Cisco IOS XE-routers
De Quantum Flow Processor (QFP) is het systeem op een chip (SoC) dat verantwoordelijk is voor alle pakketdoorvoerbewerkingen in het apparaat. De QFP draait een gespecialiseerd stuk software genaamd microcode. Deze microcode is verantwoordelijk voor het uitvoeren en toepassen van functies op alle pakketten die door het apparaat gaan, op basis van de configuratie van de invoer / uitvoer-interface. Het interageert ook met de rest van het systeem via de verschillende processen.
Wanneer een hoge QFP-voorwaarde aanwezig is, is het meestal een indicator van:
- QFP verwerkt te veel netwerkverkeer (pakketten per seconde).
- QFP moet functies met hoge intensiteit verwerken.
- Een combinatie van pakketten per seconde + hoge intensieve functies hebben een grotere impact op het gebruik van QFP.
- Microcode verwerkt iets op de verkeerde manier.
Voor een beter begrip van de situatie moet TAC het Feature Invocation Array (FIA)-spoor verzamelen voor aanvullende analyse. Dit is gedocumenteerd tijdens Troubleshoot met de IOS-XE Datapath Packet Trace-functie
Hoge CPU/QFP op Cisco IOS XE-routers (ISR4300/4200/4400/4600-reeks, Cat8200/8300/8500, CSR1000v, CAT8000v)
Dit zijn basiscommando's die op het moment van het probleem moeten worden verzameld (EEM-logica kan worden geïmplementeerd om logmeldingen te koppelen en de uitvoer te krijgen):
router_non_modular#show platform resources
**State Acronym: H - Healthy, W - Warning, C - Critical
Resource Usage Max Warning Critical State
----------------------------------------------------------------------------------------------------
RP0 (ok, active) H
Control Processor 10.64% 100% 80% 90% H
DRAM 2143MB(54%) 3913MB 88% 93% H
bootflash 2993MB(97%) 3099MB 70% 90% C
ESP0(ok, active) H
QFP H
DRAM 52844KB(20%) 262144KB 85% 95% H
IRAM 207KB(10%) 2048KB 85% 95% H
CPU Utilization 0.00% 100% 90% 95% H
Router#show platform software status control-processor brief
Load Average
Slot Status 1-Min 5-Min 15-Min
RP0 Healthy 1.75 1.25 1.14
Memory (kB)
Slot Status Total Used (Pct) Free (Pct) Committed (Pct)
RP0 Healthy 4003008 2302524 (58%) 1700484 (42%) 3043872 (76%)
CPU Utilization
Slot CPU User System Nice Idle IRQ SIRQ IOwait
RP0 0 5.60 10.80 0.00 75.00 0.00 0.10 8.50
1 8.10 11.81 0.00 66.66 0.00 0.20 13.21
2 4.69 9.49 0.00 80.81 0.00 0.19 4.79
3 4.80 10.20 0.00 79.30 0.00 0.10 5.60
4 3.70 3.20 0.00 92.90 0.00 0.00 0.20
5 1.09 2.99 0.00 95.00 0.00 0.09 0.79
6 20.00 33.10 0.00 46.90 0.00 0.00 0.00
7 0.00 0.00 0.00 100.00 0.00 0.00 0.00
Router#Hoge CPU op modulaire Cisco IOS XE-routers (ASR1k-reeks)
Een hoog CPU-gebruik in een modulaire Cisco IOS XE-router kan een hoge CPU-conditie hebben in de routeprocessor (RP), de Embedded Service Processor (ESP) of de SPA Interface Processor (SIP) -kaart. Deze commando's helpen om te begrijpen of de hoge CPU-conditie gerelateerd is aan een andere kaart binnen het apparaat:
ios_xe_modular_router#show platform resources
**State Acronym: H - Healthy, W - Warning, C - Critical
Resource Usage Max Warning Critical State
----------------------------------------------------------------------------------------------------
RP0 (ok, active) H
Control Processor 11.62% 100% 90% 95% H
DRAM 1730MB(45%) 3783MB 90% 95% H
ESP0(ok, active) H
Control Processor 19.59% 100% 90% 95% H
DRAM 616MB(65%) 946MB 90% 95% H
QFP H
TCAM 8cells(0%) 65536cells 45% 55% H
DRAM 79212KB(30%) 262144KB 80% 90% H
IRAM 9329KB(7%) 131072KB 80% 90% H
SIP0 H
Control Processor 2.30% 100% 90% 95% H
DRAM 280MB(60%) 460MB 90% 95% H
* Afhankelijk van de Cisco IOS-versie kan QFP het processorgebruik bevatten, anders moet u het qfp-datapadgebruik van het showplatform verzamelen
Een goede naslaghandleiding voor ASR1k is te vinden bij Troubleshoot High CPU op ASR1000 Series Router
Opmerking: opdrachten variëren soms afhankelijk van het platform en de versie. Zoek in sommige gevallen naar de specifieke platformdocumentatie.
Revisiegeschiedenis
| Revisie | Publicatiedatum | Opmerkingen |
|---|---|---|
2.0 |
11-Sep-2026
|
Hercertificering - bijgewerkte stijlvereisten, merkvereisten en opmaak. |
1.0 |
23-Oct-2024
|
Eerste vrijgave |
FeedbackContact Cisco
- Een ondersteuningscase openen
- (Vereist een Cisco-servicecontract)