Rapporteer problemen met hoge CPU/QFP op routers naar TAC

Inleiding

Dit document beschrijft algemene probleemoplossing voor het correct melden van hoge CPU-/QFP-problemen aan TAC voor een snellere oplossing van het probleem.

Voorwaarden

Vereisten

Cisco raadt u aan om basiskennis te hebben van deze onderwerpen:

• Basiskennis van Cisco IOS®-XE packet forwarding architectuur.
• Basiservaring met de Packet Trace-functie.

Gebruikte componenten

Dit document is niet beperkt tot specifieke software- en hardware-versies. Het is van toepassing op elk Cisco IOS-XE®-routeringsplatform met fysieke/gevirtualiseerde QFP zoals ASR1000, ISR4000, ISR1000, Cat8000 of Cat8000v.

De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk live is, moet u zorgen dat u de potentiële impact van elke opdracht begrijpt.

Achtergrondinformatie

In dit document worden de TAC-opdrachten beschreven die nodig zijn voor de eerste triage van een hoog CPU/QFP-probleem voor een geweldige TAC-ervaring vanaf het allereerste contact.

Dit document bevat ook tips voor het oplossen van problemen om een hoog probleem met het gebruik van de centrale verwerkingseenheid (CPU) of een hoog probleem met het gebruik van de Quantum Flow Processor (QFP) te identificeren, zodat u een oplossing kunt vinden voordat u een TAC-geval opent.

Het doel van dit document is niet om eventuele procedures voor probleemoplossing uitgebreid uit te leggen. Indien beschikbaar worden verwijzingen naar meer informatie in uitgebreide handleidingen voor probleemoplossing gegeven.

Aan het einde van dit document staan blokdiagrammen die dienen voor educatieve doeleinden als een visuele weergave van de componenten.

Hoge componenten - geheugen, TCAM, CPU, QFP - gebruik is meestal een indicator van:

• Er gaat iets mis op het apparaat (dat proces werkt niet zoals verwacht, mogelijk Sw-probleem) of in de netwerkomgeving (dat is puntverkeer, lussen)
• De hardwarebeperking van het apparaat bereiken (dat is te veel verkeer / functies die op het apparaat worden uitgevoerd)

Het identificeren van de onderliggende oorzaak van het hoge componentgebruik is van vitaal belang om de juiste manier van handelen voor het oplossen van het probleem te bepalen.

Symptomen voor hoog QFP/CPU-gebruik

U kunt valideren of er een hoge CPU- of QFP-conditie is via monitoringtools of via deze opdrachten:

Controlevlak (CPU) - IOSd

show process cpu sorted
iosxe_router#show process cpu sorted
CPU utilization for five seconds: 90%/0%; one minute: 0%; five minutes: 0%
 PID Runtime(ms)     Invoked      uSecs   5Sec   1Min   5Min TTY Process 
 395       78769     1242162         63  89.07%  88.04%  89.02%   0 CDP Protocol     
   1           8          88         90  0.00%  0.00%  0.00%   0 Chunk Manager    
--- snip ---

Vanaf de regel "CPU-gebruik gedurende vijf seconden: 90% / 0%; één minuut: 0%; vijf minuten: 0%", moet u zich concentreren op de eerste waarde na de tekenreeks "vijf seconden". In dit geval geeft de 90% het totale CPU-gebruik aan, terwijl het nummer rechts van de slash-0 in dit geval het CPU-gebruik vertegenwoordigt als gevolg van onderbrekingen. Het verschil tussen deze twee getallen vertegenwoordigt het totale CPU-gebruik als gevolg van processen. In dit scenario verbruikt het CDP-protocol de meeste CPU-bronnen (control plane).

Controlevlak - kernel (CPU)

Omdat Cisco IOS-XE een Linux-gebaseerde kernel heeft, kunt u soms problemen vinden langs een van de processen die erop worden uitgevoerd, u kunt het CPU-platform voor showprocessen gebruiken dat is gesorteerd om te valideren of een proces problemen veroorzaakt (focus op de kolom van 5 seconden) om processen van het onderliggende besturingssysteem weer te geven.

iosxe_router#show process cpu platform sorted
-- depending on the architecture, there can be multiple cores, deleting for brevity --
   Pid    PPid    5Sec    1Min    5Min  Status        Size  Name                  
--------------------------------------------------------------------------------
 18009   18001    323%    325%    328%  R           266740  ucode_pkt_PPE0        
 11168   11160      1%      1%      1%  S           914556  linux_iosd-imag       
    96       2      1%      0%      0%  S                0  ksmd                  
--- snip ---

Opmerking: Routers met virtuele QFP hebben het ucode_pkt_PPE0-proces, dat het softwareproces is dat het gegevensvlak emuleert. Daarom kan dat proces worden genegeerd uit de lijst met processen die bijdragen aan CPU-gebruik.

Gegevensvlak (QFP)

QFP is het Systeem op een Chip dat verantwoordelijk is voor alle packet forwarding. Aanvullende informatie is te vinden in de sectie: Hoog QFP begrijpen op IOS-XE-routers.

iosxe_router #show platform hardware qfp active datapath utilization 
  CPP 0: Subdev 0            5 secs        1 min        5 min       60 min
--- snip ---
                 (bps)        21992        13648        13736        13720
Processing: Load (pct)            0            0            0            0

Crypto/IO
        RX: Load (pct)            0            0            0            0
        TX: Load (pct)            1            1            1            0
            Idle (pct)           99           99           99           99

Concentreer u op de opdracht voor het gebruik van het actieve gegevenspad van de showplatformhardware qfp: focus op de verwerking: laad de kolom 5 seconden, omdat dit het meest recente algemene QFP-gebruik biedt. Sommige apparaten geven ook het gebruik van de Crypto / IO-module weer, focus op Inactief, hoe dichter bij 100%, hoe beter.

Potentiële logs gezien

Standaard zijn er geen logs gegenereerd door het systeem dat een hoog CPU-gebruik op IOSd toont, waarbij CPU-nummer 0 wordt gebruikt, de eerste CPU op Cisco IOS-XE-systemen.

Deze opdracht moet eerst worden geconfigureerd om syslog op de eerste kern te genereren.

Deze opdracht moet worden geschreven volgens het formaat dat wordt beschreven in CPU Thresholding Notification: process cpu threshold type {total | process | interrupt} rising percentage interval seconds [falling percentage interval seconds]

Op die manier zouden we dit soort meldingen kunnen zien:

%SYS-1-CPURISINGTHRESHOLD: Threshold: Total CPU Utilization(Total/Intr): 91%/2%, Top 3 processes(Pid/Util):

Een andere manier om het hoge gebruik ervan te vangen, is via SNMP- of Telemetriemetingen.

In sommige gevallen zou u een resource LIMIT-waarschuwing zoals deze zien wanneer andere kernen een hoge gebruikshit hebben:

PLATFORM_INFRA-5-IOS_INTR_OVER_LIMIT:

Voor het gegevensvlak zouden we dit type QFP-waarschuwing in het logboek zien, wat in het algemeen aangeeft dat de drempelbelasting is overschreden:

MCPRP-QFP-ALERT: Slot: 0, QFP:0, Load 93% exceeds the setting threshold(80%).

Informatie over de TAC-behoeften voor de eerste triage

• Uitvoer van deze opdrachten wanneer het hoge CPU-gedrag wordt waargenomen:
  • toonklok
  • show version
  • show running
  • ProcesCPU gesorteerd weergeven
  • ProcesCPU-geschiedenis weergeven
  • Platformbronnen weergeven
  • Overzicht van het gebruik van de QFP Active DataPath-platformhardware weergeven
  • logboekregistratie weergeven
• Netwerktopologie.
• Grafieken van de CPU/QFP-gebruikshistorie.
• Geef gedetailleerde aanvullende informatie, zoals recente wijzigingen in het netwerk of de configuratie, verwachte verkeerssnelheid/doorstroming.

Als de CPU niet vastzit aan een constante 100%, neem dan een show-tech-uitvoer op. Dit is een grote hulp voor de TAC en u kunt profiteren van de automatiseringen die TAC heeft ontwikkeld om u te helpen problemen sneller te vinden.

Opmerking: de toestand van de processor met hoge CPU moet worden opgelost terwijl het probleem aanwezig is, omdat het apparaat geen historische gegevens over de bedrijfsduur van processen opslaat.

Opmerking: zorg ervoor dat u een ondersteunde versie gebruikt. Zoek naar het document Einde van verkoop en Levenseinde voor de release. Indien nodig, ga naar een versie die momenteel onder Software Maintenance Releases staat. Anders is TAC beperkt tot de opties voor probleemoplossing en -oplossing.

Inzicht in hoog CPU/QFP-gebruik

In de regel wordt een CPU/QFP als hoog beschouwd als deze boven de 80% draait.

Cisco IOS-XE-routers kunnen worden geassocieerd met een hoog gebruik op het besturingsvlak (CPU) of in het gegevensvlak (QFP).

Opmerking: Idealiter moet een hoog CPU/QFP-gebruik worden geëvalueerd in relatie tot de typische gebruikspatronen van het apparaat in de loop van de tijd. Als een apparaat bijvoorbeeld normaal gesproken 10% CPU-gebruik heeft, maar plotseling naar 40% springt, kan dit wijzen op een hoog CPU-gebruik voor dat apparaat. Aan de andere kant is een apparaat dat consequent op 80% CPU-gebruik draait, niet noodzakelijk een probleem als dat het gebruikelijke werkingsniveau is. Monitoringsystemen met CPU-grafieken kunnen helpen bij het verzamelen en analyseren van deze gegevens om een basislijn voor elk apparaat vast te stellen.

Algemene stappen voor probleemoplossing

1. Identificeer of het probleem een controlevlak (CPU) of een gegevensvlak (QFP) is.
2. Identificeer het gewraakte proces via specifieke opdrachten.
3. Op basis van de naam van het proces, doe een web zoeken naar dat proces:
   • Focus op het matchen van dat proces met een bekende functie/configuratie.
   • Controleer of er een softwaredefect is dat overeenkomt met de naam en het gedrag van het proces. Implementeer, indien van toepassing, een tijdelijke oplossing of upgrade naar een vaste release.
4. Bepaal met behulp van CPU/QFP-grafieken het exacte tijdstip waarop de CPU/QFP het gebruik ervan begint te verhogen. Als deze overeenkomt met een recente wijziging, gaat u terug naar de oorspronkelijke configuratie/softwareversie en controleert u de resultaten.
5.  Als de zoekopdracht op internet geen bruikbare resultaten oplevert of als u denkt dat een functie verkeerd werkt, opent u een TAC-kwestie met deze informatie:
   • showtech
   • Verzamelde opdrachten (raadpleeg de sectie Informatie-TAC's voor de eerste triage).
   • Probeer het tijdstip waarop het probleem begon, af te stemmen op een specifieke configuratiewijziging en neem deze informatie op bij het openen van de TAC-kwestie.
   • Als het gegevensvlak als het probleem wordt geïdentificeerd: geef de netwerktopologie, het verwachte aantal gebruikers en de typische verkeerssnelheid op die door het apparaat stroomt.
   • Geef, indien beschikbaar, de grafiek met de bezettingsgeschiedenis van de CPU/QFP op.

Hoge CPU op Cisco IOS-XE-routers begrijpen

Verwijzend naar CPU op een Cisco IOS-XE-router verwijst naar de CPU die verantwoordelijk is voor de administratieve / controlevliegtuigbewerkingen van het apparaat. Er zijn veel processen die op het apparaat worden uitgevoerd, allemaal op een Linux-kernel. Elk van deze processen wordt uitgevoerd in een CPU voor algemene doeleinden.

Wanneer een hoge CPU-conditie aanwezig is, is dit meestal een indicator van:

• Een of meer processen die een taak met hoge intensiteit moeten voltooien.
• Een of meer processen werken niet zoals verwacht.
• Controle vliegtuig ontvangen en verwerken van pakketten die worden verzonden door de Data Plane.

Sommige platforms hebben meerdere CPU's voor algemene doeleinden, die zich houden aan deze regels:

• Als de Cisco IOS-XE-router modulair is (dat wil zeggen dat meerdere kaarten worden geaccepteerd, zoals routeprocessor, ingebedde serviceprocessor, SPA-interfaceprocessor), zijn er meerdere CPU's beschikbaar voor besturingsvliegtuigbewerkingen en één CPU voor algemene doeleinden voor elk van de kaarten.
• Als de Cisco IOS-XE-router een ingesloten router is en alleen servicemodules of interfacekaarten accepteert, heeft de router een enkele CPU voor algemeen gebruik (virtueel of fysiek) die wordt beschouwd als onderdeel van de routeprocessor (zoals te zien is in de uitvoer van platformbronnen).

Op Cisco IOSXE-apparaten hebben we over het algemeen data plane en control plane CPU-dedicated cores. 

In het algemeen geldt dat als CPU 0 (de eerste CPU) is gekoppeld aan IOSd (IOS daemon), de CPU-dedicated core control plane-gerelateerd is. Andere CPU's kunnen een mix zijn van control plane- en data plane-CPU's.

In het geval van ASR 1000, die over het algemeen modulair is, tonen commando-uitgangen zoals platformbronnen en tonen platformsoftwarestatus control-processor-brief het gebruik voor control plane (RP) en data plane (ESP) CPU's.

• Raadpleeg in het geval van de ISR4000-reeks de Implementatie-prestatielicentie voor Integrated Service Router 4000 die de diagrammen weergeeft voor de verschillende CPU-distributies tussen de bestaande modellen.
• In het geval van virtuele platforms zoals Cisco CSR1000v en Cisco CSR8000v zijn ze sjabloongebaseerd waarbij standaard de meeste vCPU's zijn toegewezen aan het gegevensvlak. Raadpleeg De vCPU-distributie configureren in de Installatie- en configuratiehandleiding voor de Cisco Catalyst 8000V Edge-software en de servicevliegtuigen.

Controle vliegtuig CPU's zijn gewijd aan het regelen van protocol verwerking zoals het verwerken van BGP protocol, STP protocol, CDP, SSH enzovoort. Control plane CPU's verwerken pakketten die bestemd zijn voor de router zelf voor de verwerking ervan.

Data plane verwijst over het algemeen naar doorvoerpakketten die de router niet zelf verbruikt in Routing Processor (RP), in plaats daarvan verwerken data plane pakketten die alleen worden verwerkt in de Quantum Flow Processor (QFP) -component die de pakketprocessor is. Deze pakketten worden verwerkt in QFP, waar opzoekingen het doorvoerpakket naar de beoogde bestemming sturen.

Hoge QFP op Cisco IOS-XE-routers begrijpen

De Quantum Flow Processor (QFP) is het systeem op een chip (SoC) dat verantwoordelijk is voor alle pakketdoorstuurbewerkingen in het apparaat.

De QFP draait een gespecialiseerd stuk software genaamd microcode. Deze microcode is verantwoordelijk voor het uitvoeren en toepassen van functies op alle pakketten die door het apparaat gaan op basis van de input / output-interfaceconfiguratie. Het werkt ook samen met de rest van het systeem via de verschillende processen.

Wanneer een hoge QFP-conditie aanwezig is, is dit meestal een indicator van:

• QFP verwerkt te veel netwerkverkeer (pakketten per seconde).
• QFP moet functies met hoge intensiteit verwerken.
• Een combinatie van pakketten per seconde + intensieve functies hebben een grotere impact op het gebruik van QFP.
• Microcode verwerkt iets op de verkeerde manier.

Voor een beter begrip van de situatie moet TAC het kenmerk van de aanroepingsarray (FIA) verzamelen voor aanvullende analyse. Dit is gedocumenteerd bij Problemen oplossen met de IOS-XE Datapath Packet Trace-functie

Hoge CPU/QFP op Cisco IOS-XE-routers (ISR4300/4200/4400/4600-reeks, Cat8200/8300/8500, CSR1000v, CAT8000v)

Dit zijn basiscommando's die op het moment van het probleem moeten worden verzameld (EEM-logica kan worden geïmplementeerd om logboekmeldingen te matchen en de uitvoer te krijgen):

router_non_modular#show platform resources
**State Acronym: H - Healthy, W - Warning, C - Critical                                             
Resource                 Usage                 Max             Warning         Critical        State
----------------------------------------------------------------------------------------------------
RP0 (ok, active)                                                                               H    
 Control Processor       10.64%                100%            80%             90%             H    
  DRAM                   2143MB(54%)           3913MB          88%             93%             H    
  bootflash              2993MB(97%)           3099MB          70%             90%             C    
ESP0(ok, active)                                                                               H    
 QFP                                                                                           H    
  DRAM                   52844KB(20%)          262144KB        85%             95%             H    
  IRAM                   207KB(10%)            2048KB          85%             95%             H    
  CPU Utilization        0.00%                 100%            90%             95%             H    

Router#show platform software status control-processor brief 
Load Average
 Slot  Status  1-Min  5-Min 15-Min
  RP0 Healthy   1.75   1.25   1.14

Memory (kB)
 Slot  Status    Total     Used (Pct)     Free (Pct) Committed (Pct)
  RP0 Healthy  4003008  2302524 (58%)  1700484 (42%)   3043872 (76%)

CPU Utilization
 Slot  CPU   User System   Nice   Idle    IRQ   SIRQ IOwait
  RP0    0   5.60  10.80   0.00  75.00   0.00   0.10   8.50
         1   8.10  11.81   0.00  66.66   0.00   0.20  13.21
         2   4.69   9.49   0.00  80.81   0.00   0.19   4.79
         3   4.80  10.20   0.00  79.30   0.00   0.10   5.60
         4   3.70   3.20   0.00  92.90   0.00   0.00   0.20
         5   1.09   2.99   0.00  95.00   0.00   0.09   0.79
         6  20.00  33.10   0.00  46.90   0.00   0.00   0.00
         7   0.00   0.00   0.00 100.00   0.00   0.00   0.00

Router#

Hoge CPU op modulaire Cisco IOS-XE-routers (ASR1k-reeks)

Een hoog CPU-gebruik in een modulaire Cisco IOS-XE-router kan een hoge CPU-conditie hebben in de Route Processor (RP)-kaart, de Embedded Service Processor (ESP) of de SPA Interface Processor (SIP)-kaart. Deze opdrachten helpen bij het begrijpen of de hoge CPU-conditie verband houdt met een andere kaart in het apparaat:

ios_xe_modular_router#show platform resources
**State Acronym: H - Healthy, W - Warning, C - Critical                                             
Resource                 Usage                 Max             Warning         Critical        State
----------------------------------------------------------------------------------------------------
RP0 (ok, active)                                                                               H    
 Control Processor       11.62%                100%            90%             95%             H    
  DRAM                   1730MB(45%)           3783MB          90%             95%             H    
ESP0(ok, active)                                                                               H    
 Control Processor       19.59%                100%            90%             95%             H    
  DRAM                   616MB(65%)            946MB           90%             95%             H    
 QFP                                                                                           H    
  TCAM                   8cells(0%)            65536cells      45%             55%             H    
  DRAM                   79212KB(30%)          262144KB        80%             90%             H    
  IRAM                   9329KB(7%)            131072KB        80%             90%             H    
SIP0                                                                                           H    
 Control Processor       2.30%                 100%            90%             95%             H    
  DRAM                   280MB(60%)            460MB           90%             95%             H     

* Afhankelijk van de Cisco IOS-versie kan QFP het processorgebruik bevatten, anders moet u het hardware-qfp-datapathiegebruik van het showplatform verzamelen

Een goede handleiding voor ASR1k is te vinden op Troubleshoot High CPU on ASR1000 Series Router

Opmerking: Opdrachten variëren soms afhankelijk van het platform en de versie. Zoek in sommige gevallen naar de specifieke platformdocumentatie.