Inhoud

Inleiding

Voorwaarden

Vereisten

Gebruikte componenten

Achtergrondinformatie

Symptomen voor een hoog QFP/CPU-gebruik

Besturingsplane (CPU) - IOSd

Bedieningsplane - Kernel (CPU)

Dataplane (QFP)

Potentiële logboeken gezien

Informatie TAC Behoeften voor eerste triage

Een goed begrip van het hoge CPU/QFP-gebruik

Algemene stappen voor probleemoplossing

Inzicht in hoge CPU’s op Cisco IOS-XE routers

High QFP begrijpen op Cisco IOS-XE routers

Hoge CPU/QFP op Cisco IOS-XE routers (ISR4300/4200/4400/4600 Series, Cat8200/8300/8500, CSR1000v, CAT8000v)

Hoge CPU op modulaire Cisco IOS-XE routers (ASR1k Series)

Inleiding

Dit document beschrijft algemene probleemoplossing voor het correct melden van hoge CPU/QFP-problemen aan TAC voor een snellere caseoplossing.

Voorwaarden

Vereisten

Cisco raadt u aan een basiskennis te hebben van deze onderwerpen:

- Basiskennis van Cisco IOS®-XE pakketdoorstuurarchitectuur.

- Basiservaring met Packet Trace-functie.

Gebruikte componenten

Dit document is niet beperkt tot specifieke software- en hardware-versies. Het is van toepassing op elk routing Cisco IOS-XE® platform met fysieke/gevirtualiseerde QFP zoals ASR1000, ISR4000, ISR1000, Cat8000 of Cat8000v.

De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk live is, moet u zorgen dat u de potentiële impact van elke opdracht begrijpt.

Achtergrondinformatie

Dit document schetst de opdrachten die TAC nodig heeft voor het eerste proefproces van een hoog CPU/QFP-probleem voor een geweldige TAC-ervaring vanaf het eerste contact.

Ook bevat dit document tips voor probleemoplossing om een hoog CPU-probleem of een hoog QFP-gebruiksprobleem (Quantum Flow Processor) te identificeren, zodat u een oplossing kunt vinden voordat u een TAC-case opent.

Het doel van dit document is niet om enige procedures voor probleemoplossing uitgebreid uit te leggen. Indien beschikbaar, worden de verwijzingen naar meer in diepe het oplossen van probleemgidsen verstrekt.

Aan het eind van dit document zijn er blokdiagrammen die voor educatieve doeleinden dienen als visuele weergave van de onderdelen.

Hoge componenten - geheugen, TCAM, CPU, QFP - gebruik is doorgaans een indicator van:

- Er gaat iets mis op het apparaat (dat proces werkt niet zoals verwacht, mogelijk Sw probleem) of in de netwerkomgeving (dat is puntverkeer, loops)

- Het bereiken van de hardwarebeperking van het apparaat (dat is te veel verkeer/functies die op het apparaat lopen)

Het identificeren van de onderliggende oorzaak van het hoge componentgebruik is van vitaal belang om een juiste koers voor het oplossen van het probleem te bepalen.

Symptomen voor een hoog QFP/CPU-gebruik

U kunt controleren of er een hoge CPU- of QFP-conditie is via controletools of via deze opdrachten:

Besturingsplane (CPU) - IOSd

show process cpu sorted

iosxe_router#show process cpu sorted

CPU utilization for five seconds: 90%/0%; one minute: 0%; five minutes: 0%

PID Runtime(ms)     Invoked      uSecs   5Sec   1Min   5Min TTY Process

395       78769     1242162         63  89.07%  88.04%  89.02%   0 CDP Protocol

1           8          88         90  0.00%  0.00%  0.00%   0 Chunk Manager

--- snip ---

Uit de regel "CPU-gebruik gedurende vijf seconden: 90%/0%; één minuut: 0%; vijf minuten: 0%" moet je focussen op de eerste waarde na de "vijf seconden" string. In dit geval geeft de 90% het totale CPU-gebruik aan, terwijl het nummer rechts van de slash-0 in dit geval het CPU-gebruik als gevolg van onderbrekingen weergeeft. Het verschil tussen deze twee getallen geeft de totale CPU-benutting door processen weer. In dit scenario neemt het CDP-protocol het grootste deel van de CPU-bronnen (besturingsplane) in beslag.

Bedieningsplane - Kernel (CPU)

Aangezien Cisco IOS-XE een op Linux gebaseerde kernel heeft, vindt u soms problemen langs elk van de processen die er bovenop lopen, kunt u het cpu-platform van showprocessen gebruiken dat is gesorteerd voor het valideren als een proces problemen veroorzaakt (focus op de 5sec-kolom) om processen van het onderliggende besturingssysteem weer te geven.

iosxe_router#show process cpu platform sorted

-- depending on the architecture, there can be multiple cores, deleting for brevity --

Pid    PPid    5Sec    1Min    5Min  Status        Size  Name

--------------------------------------------------------------------------------

18009   18001    323%    325%    328%  R           266740  ucode_pkt_PPE0

11168   11160      1%      1%      1%  S           914556  linux_iosd-imag

96       2      1%      0%      0%  S                0  ksmd

--- snip ---

Opmerking: Routers met virtueel QFP hebben het ucode_pkt_PPE0 proces, dat is het softwareproces dat het dataplatform nastreeft. Daarom kan dat proces worden genegeerd in de lijst van processen die bijdragen aan het CPU-gebruik.

Dataplane (QFP)

QFP is het systeem op een chip verantwoordelijk voor alle pakketdoorsturen. Aanvullende informatie vindt u in de sectie: Understanding High QFP on IOS-XE routers.

iosxe_router #show platform hardware qfp active datapath utilization

CPP 0: Subdev 0            5 secs        1 min        5 min       60 min

--- snip ---

(bps)        21992        13648        13736        13720

Processing: Load (pct)            0            0            0            0

Crypto/IO

RX: Load (pct)            0            0            0            0

TX: Load (pct)            1            1            1            0

Idle (pct)           99           99           99           99

Vanaf de opdracht voor het gebruik van actieve gegevenspaden van het showplatform hardware qfp, richt u zich op de verwerking: Laad voor de 5 seconden kolom, aangezien dit het meest recente algemene QFP-gebruik biedt. Sommige apparaten tonen ook het gebruik van de Crypto/IO module, focust op Idle, hoe dichter bij 100%, hoe beter.

Potentiële logboeken gezien

Standaard zijn er geen logs die door het systeem worden gegenereerd die een hoog CPU-gebruik op IOSd tonen, dat CPU-nummer 0 gebruikt, de eerste CPU op Cisco IOS-XE-systemen.

Dit commando moet eerst geconfigureerd worden voor syslog om op de eerste kern gegenereerd te worden.

Deze opdracht moet worden geschreven volgens de indeling die wordt beschreven in CPU-drempelwaardekennisgeving: process cpu threshold type {total |dagvaarden |interrupt} stijgend percentage interval seconden [dalend percentage interval seconden]

Op die manier zouden we dit soort kennisgeving kunnen zien:

%SYS-1-CPURISINGTHRESHOLD: Threshold: Total CPU Utilization(Total/Intr): 91%/2%, Top 3 processes(Pid/Util):

Een andere manier om hoog gebruik op het te vangen is via SNMP of Telemetry metingen.

In sommige gevallen wordt een waarschuwing weergegeven als deze wanneer andere kernen veel gebruikt worden:

PLATFORM_INFRA-5-IOS_INTR_OVER_LIMIT:

Voor dataplatform zien we dit soort QFP-waarschuwing in logbestanden, die over het algemeen aangeven dat de drempelbelasting is overschreden:

MCPRP-QFP-ALERT: Slot: 0, QFP:0, Load 93% exceeds the setting threshold(80%).

Informatie TAC Behoeften voor eerste triage

- Uitvoer van deze opdrachten wanneer het hoge CPU-gedrag wordt waargenomen:

- toonklok

- show version

- show running

- proces cpu gesorteerd tonen

- cpu-geschiedenis proces weergeven

- toon platformmiddelen

- toon platform hardware qfp actieve datapath benuttingssamenvatting

- logboekregistratie tonen

- Netwerktopologie.

- Grafieken van de CPU/QFP-gebruiksgeschiedenis.

- Verstrek extra informatie in detail zoals recente netwerk of configuratieveranderingen, verwachte verkeerssnelheid/stroom.

Als de CPU niet vastzit aan een constante 100%, neem dan een show tech-uitvoer op. Dit is van groot nut voor de TAC, en u kunt profiteren van de automatiseringen die TAC heeft ontwikkeld om u te helpen sneller problemen te vinden.

Opmerking: de hoge CPU-voorwaarde moet worden opgelost terwijl het probleem aanwezig is, aangezien het apparaat geen historische gegevens opslaat over processen in de loop van de tijd.

Opmerking: controleer of u een ondersteunde versie uitvoert. Zoek naar het End-of-Sale- en End-of-Life-document voor de release. Verplaats, indien nodig, naar een versie die momenteel wordt geleverd onder Software Maintenance Releases. Anders is TAC beperkt tot de opties voor probleemoplossing en resolutie.

Een goed begrip van het hoge CPU/QFP-gebruik

Over het algemeen wordt een CPU/QFP geacht hoog te draaien wanneer deze meer dan 80% bedraagt.

Cisco IOS-XE routers kunnen worden geassocieerd met hoge benutting op het besturingsplane (CPU) of in het gegevensvlak (QFP).

Opmerking: in het ideale geval moet een hoog CPU/QFP-gebruik worden geëvalueerd ten opzichte van de typische gebruikspatronen van het apparaat in de loop der tijd. Als een apparaat bijvoorbeeld normaal werkt met 10% CPU-gebruik, maar plotseling tot 40% springt, kan dit wijzen op een hoog CPU-gebruik voor dat apparaat. Aan de andere kant is een apparaat dat constant draait op 80% CPU-gebruik niet per se een probleem als dat zijn gebruikelijke operationele niveau is. Bewakingssystemen met CPU-grafieken kunnen helpen bij het verzamelen en analyseren van deze gegevens om voor elk apparaat een basislijn vast te stellen.

Algemene stappen voor probleemoplossing

1. Identificeer als het probleem besturingsvlak (CPU) of dataplaat (QFP) is.

2. Identificeer het gewraakte proces via specifieke opdrachten.

3. Gebaseerd op procesnaam, doe een webzoekopdracht naar dat proces:

- Stel scherp bij het afstemmen van dat proces met een bekende functie/configuratie.

- Controleer of er een softwaredefect is dat overeenkomt met de naam en het gedrag van het proces. Indien van toepassing, implementeer tijdelijke oplossing of Sw upgrade naar een vaste release.

4. Met behulp van CPU/QFP-grafieken kunt u precies bepalen op welk tijdstip de CPU/QFP het gebruik ervan zal gaan vergroten. Als deze overeenkomt met een recente wijziging, gaat u terug naar de oorspronkelijke configuratie/softwareversie en controleert u de resultaten.

5. Als het webzoeken geen bruikbare resultaten oplevert of als u meent dat een functie verkeerd werkt, opent u een TAC-case met deze informatie:

- show tech

- Verzamelde opdrachten (raadpleeg de informatie over de TAC-behoeften voor het eerste gedeelte van het proefpad).

- Probeer de tijd aan te passen dat het probleem is begonnen met een specifieke configuratiewijziging en neem deze informatie op bij het openen van de TAC-case.

- Als het gegevensvlak als probleem wordt geïdentificeerd: verstrek de netwerktopologie, het verwachte aantal gebruikers, en de typische verkeerstarief die door het apparaat stromen.

- Indien beschikbaar, geef de CPU/QFP-gebruiksgeschiedenisgrafiek op.

Inzicht in hoge CPU’s op Cisco IOS-XE routers

Verwijzing naar CPU op een Cisco IOS-XE router verwijst naar de CPU die verantwoordelijk is voor de bewerkingen van het beheer-/besturingsplane van het apparaat. Er zijn vele processen die op het apparaat lopen, die allemaal bovenop een Linux gebaseerde kernel lopen. Elk van deze processen wordt uitgevoerd in een CPU voor algemene doeleinden.

Wanneer een hoge CPU-voorwaarde aanwezig is, is deze doorgaans een indicator van:

- Een of meer processen moeten een intensieve taak voltooien.

- Een of meer processen werken niet zoals verwacht.

- Besturingsplane die pakketten ontvangt en verwerkt die door het Dataplane worden verzonden.

Sommige platforms hebben meerdere CPU's voor algemene doeleinden, die aan deze regels voldoen:

- Als de Cisco IOS-XE router modulair is (d.w.z. meerdere kaarten accepteert, zoals routeprocessor, ingesloten servicesprocessor, SPA-interfaceprocessor), zijn er meerdere CPU’s beschikbaar voor besturingsvlakke bewerkingen en één CPU voor algemene doeleinden voor elk van de kaarten.

- Als de Cisco IOS-XE router een ingesloten router is en alleen servicemodules of interfacekaarten accepteert, heeft de router één algemene CPU (virtueel of fysiek) die wordt beschouwd als deel uitmakend van de routeprocessor (zoals te zien is in de output van showplatform resources).

Op Cisco IOS XE-apparaten beschikken we over het algemeen over dataplatform en besturingsplane CPU-specifieke kernen.

Over het algemeen geldt dat als CPU 0 (de eerste CPU) is gekoppeld aan IOSd (IOS daemon), de CPU-specifieke kern besturingsvlak-gerelateerd is. Andere CPU’s kunnen een mix zijn van besturingsplane en dataplane CPU’s.

In het geval van ASR 1000, die over het algemeen modulair is, tonen de beveloutput zoals de middelen van het showplatform en de controle-processor van de platformsoftware het gebruik voor controlevliegtuig (RP) en gegevensvliegtuig (ESP) cpu's.

- In het geval van ISR4000 Series, raadpleegt u Prestatielicentie voor geïntegreerde services router 4000 die de diagrammen voor de verschillende CPU-distributies tussen de bestaande modellen weergeeft.

- Als virtuele platforms zoals Cisco CSR1000v en Cisco CSR8000v worden gebruikt, zijn ze standaard gebaseerd op een sjabloon, waarbij de meeste vCPU’s zijn gewijd aan het gegevensvlak. Raadpleeg Het configureren van de vCPU-distributie over de data-, controle- en serviceplanes en de installatiehandleiding voor en configuratie van Cisco Catalyst 8000V Edge-software.

Control plane CPU’s zijn gewijd aan het besturen van protocolverwerking zoals het verwerken van BGP-protocol, STP-protocol, CDP, SSH enzovoort. Bedieningsvlak CPU's verwerken pakketten die bestemd zijn voor de router zelf voor de verwerking ervan.

Het vliegtuig van gegevens verwijst over het algemeen naar doorvoerpakketten die de router niet zelf in Routing Processor (RP) verbruikt, in plaats daarvan de procespakketten van het gegevensvliegtuig die slechts in de component van de Bewerker van de Quantum Flow (QFP) worden verwerkt die de pakketprocessor is. Deze pakketten hebben zijn verwerking in QFP waar de raadplegingen gebeuren om het douanepakket naar zijn voorgenomen bestemming te verzenden.

High QFP begrijpen op Cisco IOS-XE routers

De Quantum Flow Processor (QFP) is het systeem op een chip (SoC) die verantwoordelijk is voor alle pakketdoorsturen operaties in het apparaat.

QFP stelt een gespecialiseerd stuk van software in werking genoemd microcode. Deze microcode is verantwoordelijk voor het uitvoeren en toepassen van functies op alle pakketten die door het apparaat gaan gebaseerd op de input/output interfaceconfiguratie. Het interageert ook met de rest van het systeem via de verschillende processen.

Wanneer een hoge QFP-voorwaarde aanwezig is, is het meestal een indicator van:

- QFP-verwerking te veel netwerkverkeer (pakketten per seconde).

- QFP die high-density eigenschappen moet verwerken.

- Een combinatie van pakketten per seconde + zeer intensieve functies hebben een grotere impact op QFP gebruik.

- Microcode verwerkt iets op de verkeerde manier.

Voor een beter begrip van de situatie moet TAC het Fia-spoor (Feature Invocation Array) verzamelen voor aanvullende analyse. Dit is gedocumenteerd bij probleemoplossing met de IOS-XE Datapath Packet Trace-functie

Hoge CPU/QFP op Cisco IOS-XE routers (ISR4300/4200/4400/4600 Series, Cat8200/8300/8500, CSR1000v, CAT8000v)

Deze beginnen basisbevelen die in kwestie moeten worden verzameld tijd (de logica van EEM kan worden uitgevoerd om logboekbericht aan te passen en de output te krijgen):

router_non_modular#show platform resources

**State Acronym: H - Healthy, W - Warning, C - Critical

Resource                 Usage                 Max             Warning         Critical        State

----------------------------------------------------------------------------------------------------

RP0 (ok, active)                                                                               H

Control Processor       10.64%                100%            80%             90%             H

DRAM                   2143MB(54%)           3913MB          88%             93%             H

bootflash              2993MB(97%)           3099MB          70%             90%             C

ESP0(ok, active)                                                                               H

QFP                                                                                           H

DRAM                   52844KB(20%)          262144KB        85%             95%             H

IRAM                   207KB(10%)            2048KB          85%             95%             H

CPU Utilization        0.00%                 100%            90%             95%             H

Router#show platform software status control-processor brief

Load Average

Slot  Status  1-Min  5-Min 15-Min

RP0 Healthy   1.75   1.25   1.14

Memory (kB)

Slot  Status    Total     Used (Pct)     Free (Pct) Committed (Pct)

RP0 Healthy  4003008  2302524 (58%)  1700484 (42%)   3043872 (76%)

CPU Utilization

Slot  CPU   User System   Nice   Idle    IRQ   SIRQ IOwait

RP0    0   5.60  10.80   0.00  75.00   0.00   0.10   8.50

1   8.10  11.81   0.00  66.66   0.00   0.20  13.21

2   4.69   9.49   0.00  80.81   0.00   0.19   4.79

3   4.80  10.20   0.00  79.30   0.00   0.10   5.60

4   3.70   3.20   0.00  92.90   0.00   0.00   0.20

5   1.09   2.99   0.00  95.00   0.00   0.09   0.79

6  20.00  33.10   0.00  46.90   0.00   0.00   0.00

7   0.00   0.00   0.00 100.00   0.00   0.00   0.00

Router#

Hoge CPU op modulaire Cisco IOS-XE routers (ASR1k Series)

Het hoge CPU-gebruik in een modulaire Cisco IOS-XE-router kan een hoge CPU-voorwaarde hebben in de routeprocessorkaart (RP), de ingesloten servicesprocessor (ESP) of de SPA-interfaceprocessor (SIP) kaart. Deze opdrachten helpen te begrijpen of de hoge CPU-voorwaarde verband houdt met een andere kaart binnen het apparaat:

ios_xe_modular_router#show platform resources

**State Acronym: H - Healthy, W - Warning, C - Critical

Resource                 Usage                 Max             Warning         Critical        State

----------------------------------------------------------------------------------------------------

RP0 (ok, active)                                                                               H

Control Processor       11.62%                100%            90%             95%             H

DRAM                   1730MB(45%)           3783MB          90%             95%             H

ESP0(ok, active)                                                                               H

Control Processor       19.59%                100%            90%             95%             H

DRAM                   616MB(65%)            946MB           90%             95%             H

QFP                                                                                           H

TCAM                   8cells(0%)            65536cells      45%             55%             H

DRAM                   79212KB(30%)          262144KB        80%             90%             H

IRAM                   9329KB(7%)            131072KB        80%             90%             H

SIP0                                                                                           H

Control Processor       2.30%                 100%            90%             95%             H

DRAM                   280MB(60%)            460MB           90%             95%             H

* Afhankelijk van de Cisco IOS versie kan QFP het processorgebruik bevatten, anders moet u het show platform hardware qfp datapath gebruik verzamelen

Een goede naslaghandleiding voor de ASR1k is te vinden bij Troubleshoot High CPU op de ASR1000 Series router

Opmerking: Opdrachten variëren soms afhankelijk van het platform en de versie. Zoek in sommige gevallen naar de specifieke platformdocumentatie.