Problemen oplossen met hoge CPU op ASR1000-router

Inleiding

In dit document wordt beschreven hoe u problemen met hoge CPU's kunt oplossen op een router uit de ASR1000-reeks.

Voorwaarde

Vereisten

Cisco raadt u aan de ASR1000-architectuur te begrijpen om dit document te interpreteren en te gebruiken. 

Beschrijving

Hoge CPU op een Cisco-router kan worden gedefinieerd als de voorwaarde dat het CPU-gebruik op de router boven het normale gebruik ligt. In sommige scenario's wordt het toegenomen CPU-gebruik verwacht, terwijl dit in andere scenario's op een probleem kan wijzen. Tijdelijk hoog CPU-gebruik op de router als gevolg van netwerkwijziging of configuratiewijziging kan worden genegeerd en wordt verwacht gedrag.

Een router die gedurende langere perioden een hoge CPU-benutting heeft zonder veranderingen in het netwerk of de configuratie is echter ongebruikelijk en moet worden geanalyseerd. Daarom is de CPU bij overmatig gebruik niet in staat om actief alle andere processen te onderhouden, wat resulteert in een langzame opdrachtregel, planlatentie, pakketdrops en het uitvallen van services.

De oorzaken van een hoge CPU zijn:

1. Control Plane CPU ontvangt te veel puntverkeer
2. Een proces dat zich onverwacht gedraagt en leidt tot overmatig gebruik van de CPU
3. Data Plane-processor wordt te veel gebruikt/overtekend
4. Te veel processoronderbrekingen

Hoge CPU is niet altijd een ASR1000-serie router probleem als router CPU gebruik is direct evenredig met de belasting op de router.  Als er bijvoorbeeld een netwerkwijziging is, zal dit een grote hoeveelheid controlevliegtuigverkeer veroorzaken, omdat het netwerk opnieuw convergeert. Daarom moeten we de hoofdoorzaak van de CPU-overbenutting bepalen om te bepalen of het verwacht gedrag of een probleem is.

Hieronder vindt u een diagram met een stapsgewijs proces voor het oplossen van een probleem met een hoge CPU:

Stappen voor probleemoplossing

Stap 1 – Identificeer de module met een hoge CPU

ASR1000 heeft verschillende CPU's voor de verschillende modules. Daarom moeten we zien welke module groter is dan normaal gebruik. Dit kan worden gezien door de waarde voor stationair draaien, want hoe lager de waarde voor stationair draaien, hoe hoger het CPU-gebruik van die module. Deze verschillende CPU's weerspiegelen allemaal het regelvlak van de modules.

Bepaal welke module binnen het apparaat een hoge CPU heeft. Is het de RP, ESP of SIP met de onderstaande opdracht?

   Toon platformsoftware status controle-processor samenvatting

Raadpleeg de onderstaande uitvoer om de gemarkeerde kolom te bekijken

Als de RP een lage inactieve waarde heeft, gaat u verder met stap 2, punt 1

Als de ESP een lage waarde voor stationair draaien heeft, gaat u verder met stap 3, punt 2 

Als de SIP een lage waarde voor stationair draaien heeft, gaat u verder met stap 4, punt 3

   Router#show platform software status controle-processor samenvatting

   belastingsgemiddelde
   Sleufstatus 1 min 5 min 15 min
   RP0 Gezond 0,00 0,02 0,00
   ESP0 Gezond 0,01 0,02 0,00
   SIP0 Gezond 0,00 0,01 0,00

   Geheugen (kB)
   Sleufstatus Totaal gebruikt (PCT) Vrij (PCT) Ingezet (PCT)
   RP0 Gezond 2009376 1879196 (94 %) 130180 ( 6 %) 1432748 (71 %)
   ESP0 Gezond 2009400 692100 (34 %) 1317300 (66 %) 472536 (24 %)
   SIP0 Gezond 471804 284424 (60 %) 187380 (40 %) 193148 (41 %)

   CPU-gebruik
   Sleuf CPU Gebruikerssysteem Nice Idle IRQ SIRQ IOwait
   RP0 0 2,59 2,49 0,00 94,80 0,00 0,09 0,00
   ESP0 0 2,30 17,90 0,00 79,80 0,00 0,00 0,00
   SIP0 0 1,29 4,19 0,00 94,41 0,09 0,00 0,00

Als de waarden voor stationair draaien allemaal relatief hoog zijn, is het mogelijk geen probleem met het controlevlak. Om problemen met het gegevensvlak op te lossen, moet het QFP van de ESP worden nageleefd. Symptomen van "hoge CPU" kunnen nog steeds worden waargenomen als gevolg van een overbenutte QFP, wat niet zal resulteren in een hoge CPU op de besturingsvlakprocessors. Ga verder met STAP 6.

Stap 2 – Analyseer de module

• routeprocessor

Bevestig binnen de RP welke processor een hoog CPU-gebruik heeft met de onderstaande opdracht. Is het het Linux-proces of het IOS?

   tonen platform software proces slot RP actieve monitor

Als het CPU-percentage van IOS hoog is (linux_iosd-imag), dan is het de RP IOS. Ga verder met STAP 3

Als het CPU-percentage van andere processen hoog is, is het waarschijnlijk het Linux-proces. Ga verder met STAP 4

• Embedded Services-processor

Bevestig binnen het ESP of de processor van het controlevlak een hoog CPU-gebruik heeft. Is het de FECP?

   actieve FP-monitor tonen van de processleuf voor platformsoftware

Als de processen hoog zijn, is het de FECP, ga dan verder met STAP 5

Als het niet de FECP is, is het geen probleem in verband met de processen in het controlevlak binnen het ESP. Als er nog steeds symptomen zoals netwerklatentie of wachtrijdalingen worden waargenomen, moet het gegevensvlak mogelijk worden gecontroleerd op overmatig gebruik. Ga verder met STAP 6

• SPA-interfaceprocessor

Als wordt waargenomen dat de SIP een hoge CPU-benutting heeft, wordt de IOCP een hoge CPU-waarde gegeven. Bepaal welk proces of welke processen binnen de IOCP een hoog CPU-gebruik hebben.

Voer een pakketopname uit en identificeer welk verkeer hoger is dan normaal en welke processen zijn gekoppeld aan dit type verkeer. Ga verder met STAP 7

Stap 3 – IOS-processen

Het eerste percentage is het totale CPU-gebruik en het tweede percentage is het onderbroken CPU-gebruik, de hoeveelheid CPU die wordt gebruikt om puntpakketten te verwerken.

Als het interruptiepercentage hoog is, betekent dit dat een grote hoeveelheid verkeer op de RP wordt gepunteerd (dit kan worden bevestigd met het infrastructuurpunt van de platformsoftware voor opdrachtshows)

Als het interrupt percentage laag is, maar de totale CPU hoog is, dan is er een proces of processen die zullen worden waargenomen om de CPU voor een langere periode te gebruiken.

Bevestig binnen het IOS welk proces of welke processen een hoog CPU-gebruik hebben met de onderstaande opdracht.

   Processen gesorteerd weergeven

Identificeer welk percentage hoog is (totale CPU of CPU onderbreken), en identificeer indien nodig het individuele proces / processen. Ga verder met STAP 7

   Router#show processen CPU gesorteerd

   CPU-gebruik gedurende vijf seconden: 0%/0%; één minuut: 1%; vijf minuten: 1%

   PID Runtime(ms) Aangeroepen uSecs 5sec 1min 5min TTY-proces

   PID Runtime(ms) Aangeroepen uSecs 5sec 1min 5min TTY-proces

   188 8143 434758 18 0,15% 0,18% 0,19% 0 Ethernet Msec TI

   515 380 7050 53 0,07% 0,00% 0,00% 0 SBC hoofdproces

     3 2154 215 10018 0,07 % 0,00 % 0,19 % 0 Exec            

   380 1783 55002 32 0,07% 0,06% 0,06% 0 MMA DB TIMER    

    63 3132 11143 281 0,07 % 0,07 % 0,07 % 0 IOSD IPC-taak   

     5 1 2 500 0,00% 0,00% 0,00% 0 IPC ISSU-verzending

     6 19 12 1583 0.00% 0.00% 0.00% 0 RF Slave Main Th

     8 0 1 0 0.00% 0.00% 0.00% 0 RO Notify Timers

     7 0 1 0 0,00% 0,00% 0,00% 0 EDDRI_MAIN      

    10 6 75 80 0.00% 0.00% 0.00% 0 Pool Manager    

     9 5671 538 10540 0,00% 0,14% 0,12% 0 Checkheaps     

Stap 4 – Linux-processen

Als wordt waargenomen dat het IOS de CPU te veel heeft gebruikt, moeten we het CPU-gebruik voor het individuele Linux-proces observeren. Deze processen zijn de andere processen die worden vermeld in de show platform software proces slot RP actieve monitor. Identificeer welk proces of welke processen worden geobserveerd om een hoge CPU te ervaren en ga vervolgens naar STAP 7.

Stap 5 – FECP-processen

Als een proces of processen hoog zijn, is het waarschijnlijk dat de processen binnen de FECP verantwoordelijk zijn voor het hoge CPU-gebruik, ga dan naar STAP 7

Stap 6 – QFP-gebruik

De Quantum Flow Processor is de ASIC voor forwarding. Om de belasting op de forwarding engine te bepalen, kan de QFP worden bewaakt. In de onderstaande opdracht worden de invoer- en uitvoerpakketten (prioriteit en niet-prioriteit) weergegeven in pakketten per seconde en bits per seconde. De laatste regel geeft de totale hoeveelheid CPU-belasting weer als gevolg van het doorsturen van pakketten in een percentage.

   Platform hardware QFP Active DataPath-gebruik tonen

Identificeer of de invoer of uitvoer hoog is en bekijk de procesbelasting en ga vervolgens verder met STAP 7

   Router#show platform hardware qfp actieve datapath gebruik

     CPP 0: Subdev 0 5 sec 1 min 5 min 60 min

    Input: Prioriteit (pps) 0 0 0

                     (BPS) 208 176 176 176

        Niet-prioritair (pps) 0 2 2 2

                     (bps) 64 784 784 784

               Totaal (kkp) 0 2 2 2

                     (bps) 272 960 960 960

    Output: Prioriteit (pps) 0 0 0

                     (bps) 192 160 160 160

        Niet-prioritair (pps) 0 1 1 1

                     (bps) 0 6488 6496 6488

              Totaal (kkp) 0 1 1 1

                     (BPS) 192 6648 6656 6648

    Verwerking: Belasting (pct) 0 0 0

Stap 7 - Bepaal de oorzaak en identificeer de oplossing

Met het proces of de processen waarvan wordt waargenomen dat ze de CPU te veel hebben gebruikt, is er een duidelijker beeld van waarom een hoge CPU is opgetreden. Om verder te gaan, onderzoek de functies die door het geïdentificeerde proces worden uitgevoerd. Dit zal helpen bij het bepalen van een actieplan voor de aanpak van het probleem. Bijvoorbeeld - Als het proces verantwoordelijk is voor een bepaald protocol, kunt u kijken naar de configuratie met betrekking tot dit protocol.

Als u nog steeds CPU-gerelateerde problemen ondervindt, wordt het aanbevolen om contact op te nemen met TAC om een technicus in staat te stellen u verder te helpen bij het oplossen van problemen. De bovenstaande stappen om problemen op te lossen, helpen de technicus het probleem efficiënter te isoleren.

Voorbeeld van probleemoplossing

In dit voorbeeld doorlopen we het proces om problemen op te lossen en proberen we het beste een mogelijke oorzaak voor de hoge CPU van de router te identificeren. Om te beginnen, bepalen welke module wordt waargenomen om de hoge CPU te ervaren, hebben we de onderstaande uitvoer:  

   Router#show platform software status controle-processor samenvatting
   belastingsgemiddelde
   Sleufstatus 1 min 5 min 15 min
   RP0 Gezond 0,66 0,15 0,05
   ESP0 Gezond 0,00 0,00 0,00
   SIP0 Gezond 0,00 0,00 0,00

   Geheugen (kB)
   Sleufstatus Totaal gebruikt (PCT) Vrij (PCT) Ingezet (PCT)
   RP0 Gezond 2009376 1879196 (94 %) 130180 ( 6 %) 1432756 (71 %)
   ESP0 Gezond 2009400 692472 (34 %) 1316928 (66 %) 472668 (24 %)
   SIP0 Gezond 471804 284556 (60 %) 187248 (40 %) 193148 (41 %)

   CPU-gebruik
   Sleuf CPU Gebruikerssysteem Nice Idle IRQ SIRQ IOwait
   RP0 0 57,11 14,42 0,00 0,00 28,25 0,19 0,00
   ESP0 0 2,10 17,91 0,00 79,97 0,00 0,00 0,00
   SIP0 0 1,20 6,00 0,00 92,80 0,00 0,00 0,00

Aangezien het aantal inactieve CPU's binnen RP0 erg laag is, duidt dit op een hoog CPU-probleem binnen de routeprocessor. Om verdere problemen op te lossen, zullen we daarom bepalen welke processor binnen de RP een hoge CPU ervaart.

   Router#show processen CPU gesorteerd
   CPU-gebruik gedurende vijf seconden: 84%/36%; één minuut: 34%; vijf minuten: 9%
   PID Runtime(ms) Aangeroepen uSecs 5sec 1min 5min TTY-proces
   107 303230 50749 5975 46,69% 10.12% 4,45% 0 IOSXE-RP Punt SE
    63 105617 540091 195 0,23 % 0,10 % 0,08 % 0 IOSD IPC-taak
   159 74792 2645991 28 0,15% 0,06% 0,06% 0 VRRS Hoofddraad
   116 53685 169683 316 0,15% 0,05% 0,01% 0 per seconde banen
     9 305547 26511 11525 0,15% 0,28% 0,16% 0 Checkheaps
   188 362507 20979154 17 0,15% 0,15% 0,19% 0 Ethernet Msec Ti
     3 147 186 790 0,07 % 0,08 % 0,02 % 0 Exec
     2 32126 33935 946 0,07% 0,03% 0,00% 0 Laadmeter
   446 416 33932 12 0,07% 0,00% 0,00% 0 VDC-proces
   164 59945 5261819 11 0,07 % 0,04 % 0,02 % 0 IP ARP Retry Age
    43 1703 16969 100 0,07% 0,00% 0,00% 0 IPC Keep Alive M  

Uit deze output kan worden opgemaakt dat het totale CPU-percentage en het interrupt-percentage hoger zijn dan verwacht. Het topproces dat de CPU gebruikt, is de "IOSXE-RP Punt Se", het proces dat het verkeer voor de RP-CPU afhandelt, daarom kunnen we verder kijken naar dit verkeer dat op de RP wordt gepunteerd.

   Router#show platform software infrastructuurpunt
   Interne statistieken LSMPI-interface:
   enabled=0, disabled=0, throttled=0, unthrottled=0, status is gereed
   Invoerbuffers = 90100722
   Uitgangsbuffers = 100439
   Radonentelling = 90100722
   Taxdontelling = 100436
   Rx geen deeltjestypetelling = 0
   Tx geen deeltjestypetelling = 0
   Txbuf van schaduwtelling = 0
   Geen begin pakket = 0
   Geen einde pakket = 0
   Statistieken puntval:
   Slechte versie 0
   Slecht type 0
   Had feature header 0
   Had platform header 0
   Feature header ontbreekt 0
   Mismatch 0 van algemene koptekst
   Slechte totale lengte 0
   Slechte pakketlengte 0
   Slechte netwerkoffset 0
   Geen puntkop 0
   Onbekend verbindingstype 0
   Geen swidb 1
   Slechte ESS-functieheader 0
   Geen ESS-functie 0
   Geen SSLVPN-functie 0
   Punt Voor Ons type onbekend 0
   Puntoorzaak buiten bereik 0
   IOSXE-RP Punt-pakket veroorzaakt:
       62210226 Layer2-besturings- en legacypakketten
            147 ARP-aanvraag- of antwoordpakketten
       27801234 Datapakketten voor ons
          84426 RP<->QFP Keepalive-pakketten
              6 Glean-aangrenzingspakketten
           1647 Voor ons bedieningspakketten

       FOR_US Control IPv4-protocol:
              1647 OSPF-pakketten
   Pakkethistogram (500 bytes/bin), gemiddelde grootte in 92, uit 56:
    Pak-size in-count out-count
         0+: 90097805 98790
       500+: 0,7

Uit deze uitvoer kunnen we zien dat er een grote hoeveelheid pakketten in de "Voor-ons datapakketten" zijn die het verkeer richting de router aangeeft, deze teller werd bevestigd dat deze meerdere keren gedurende enkele minuten is verhoogd vanaf observatie van het commando. Dit bevestigt dat de CPU overmatig wordt gebruikt door een grote hoeveelheid puntverkeer, dat vaak het vliegtuigverkeer regelt. Vliegtuigverkeer kan ARP, SSH, SNMP, Route Updates (BGP, EIGRP, OSPF) enz. omvatten. Uit deze informatie kunnen we de mogelijke oorzaak van de hoge CPU identificeren en dit helpt bij het oplossen van problemen met de oorzaak. Bijvoorbeeld, een pakketopname of een monitor van verschillende verkeer kan worden geïmplementeerd om het exacte verkeer naar de RP te zien, waardoor de onderliggende oorzaak kan worden geïdentificeerd en opgelost om een soortgelijk probleem in de toekomst te voorkomen.

Zodra een pakketopname is voltooid, zijn enkele voorbeelden van mogelijk puntverkeer:

• ARP: Dit kan het gevolg zijn van een buitensporig aantal ARP-verzoeken, wat zou gebeuren als meerdere IP-adressen ARP-verzoeken zouden verzenden via de configuratie van een IP-route naar een uitzendinterface. Dit kan ook te wijten zijn aan doorgespoelde vermeldingen uit de ARP-tabel en moet opnieuw worden geleerd op basis van de MAC-adresvermeldingen die ouder worden of de interfaces omhoog / omlaag komen.

• SSH: Dit kan een hoge CPU veroorzaken vanwege een grote show-opdracht (show tech-support) of wanneer veel debug-opdrachten zijn ingeschakeld, waardoor veel CLI over de SSH-sessie moet worden verzonden.

• SNMP: Dit kan te wijten zijn aan de SNMP-agent die een lange periode nodig heeft om een verzoek te verwerken en daarom de hoge CPU veroorzaakt. Vaak zijn twee waarschijnlijke oorzaken MIB's die worden ondervraagd, of route- en / of ARP-tabellen die door de NMS worden ondervraagd.

• Route-updates: Vaak is een toestroom van routeupdates te wijten aan een netwerkherconvergentie of linkflappen. Dit kan wijzen op routes die naar beneden gaan binnen het netwerk, of hele apparaten die naar beneden gaan die het netwerk dwingen om samen te komen en de beste routes opnieuw te berekenen, afhankelijk van welk routeringsprotocol wordt gebruikt.

Dit benadrukt hoe de oorzaak kan worden geïsoleerd door identificatie van de oorzaak van de hoge CPU, als het gaat om een individueel procesniveau. Vanaf hier kan het individuele proces of protocol afzonderlijk worden geanalyseerd om te bepalen of het een configuratieprobleem, softwareprobleem, netwerkontwerp of beoogde praktijk is.

Extra opdrachten

Hieronder vindt u een lijst met andere nuttige opdrachten die u kunt gebruiken en die zijn gesorteerd op basis van de processor waarop ze betrekking hebben:

routeprocessor

• <Procesgeschiedenis weergeven>
  • Biedt een grafiek van de CPU-geschiedenis in de afgelopen 60 seconden, minuten en 72 uur
• <show process process_ID>
  • Gedetailleerde informatie over individuele procesgeheugen en CPU-toewijzingen
• <Punt Platformsoftware-infrastructuur tonen>
  • Geeft informatie over al het verkeer dat op de RP wordt gepunteerd
• <show platform software status control-processor brief>
  • Details over de belasting en 'gezondheid' van de CPU en details over de geheugen- en modulestatistieken
• <Show Platform Software Process Slot R0|R1 Monitor>
  • Details over de verschillende processen en hun CPU- en geheugentoewijzingen op de geselecteerde module
• <Monitor Platform Software Process R0|R1>
  • Biedt een live feed die de processen bijwerkt terwijl ze de CPU gebruiken
  • Vereist dat de opdracht "terminaltype" eerst in de globale configuratiemodus wordt ingevoerd om correct te functioneren

Embedded Services-processor

• <Lijst van platformsoftwareprocessen weergeven FP Active Summary>
  • Gedetailleerd een overzicht van alle processen die op de CPU worden uitgevoerd, evenals de gemiddelde belasting
• <Show Platform Software Process Slot F0|F1 Monitor>
  • Details over de verschillende processen en hun CPU- en geheugentoewijzingen op de geselecteerde module
• <Platform-softwareproces monitoren F0|F1>
  • Biedt een live feed die de processen bijwerkt terwijl ze de CPU gebruiken
  • Vereist dat de opdracht "terminaltype" eerst in de globale configuratiemodus wordt ingevoerd om correct te functioneren