Inhoud

Inleiding

Trap-triggers

Opeenvolgende fouten in de aanpak van het AAMGR-proces

Keeplevlegenbenadering

Opdrachten voor probleemoplossing/benaderingen

Basisconfiguratie van straal

toont faciliteit voor taakmiddelen

tonen straal tellers {allen | server > [voorbeeld] ] | samenvatting

installatie van het subsysteem voor showsessies {amgr | sessmgr} {alle | Bijvoorbeeld >

pingelen

traceroute

Straaltestinstantie x auth {Straalgroep | alle | server haven >

Straaltestinstantie x accounting {straal groep | alle | server haven >

Straalinfo [Straalgroep] tonen ]-instantie { X | alle

monitor-abonnee

Packet Capture

Remedities

Eindvoorbeeld

Gerelateerde Cisco Support Community-discussies

Inleiding

Dit artikel beschrijft hoe u SNMP-traps voor AAAccSrvOnbereikbaar en AAAAuthSrvUnbereikbaar kunt oplossen, die worden geactiveerd vanwege bereikbaarheidsproblemen met een RADIUS-server (Remote Verificatie Dial-In User Service) die wordt gebruikt om abonnees (of exploitanten die zich in het knooppunt registreren, te authentiseren, maar dat is niet wat hier wordt besproken). Er zijn twee benaderingen die kunnen worden gebruikt om te bepalen wanneer een van deze vallen zal optreden. Dit artikel zal uitleggen welke voorwaarden deze vallen veroorzaken en welke oplossingen voor probleemoplossing en gegevensverzameling kunnen worden gebruikt om de worteloorzaak te bepalen en op te lossen. Er wordt ook gesproken over een aantal mogelijke corrigerende maatregelen die in overweging kunnen worden genomen.

Merk op dat het resultaat van onbereikbaarheid zal bestaan uit aanroepen van fouten of fouten in de boekhouding, net zoals wanneer de Straalresponsen afwijzingen zijn in plaats van acceptaties. Hoewel het succes/falen (authenticatie) percentage onafhankelijk van de time-out/bereikbaarheid wordt gemeten (hiervoor zijn vallen en alarmen) en zeker afzonderlijk kan worden geanalyseerd, zal dit artikel zich richten op het bereikbaarheidsprobleem en niet op het afwijzende probleem.

De resultaten van de LAB en de echte tickets worden overal gebruikt om de discussies weer op gang te brengen. Wat openbare IP-adressen in dit artikel lijken te zijn, zijn nep-adressen.

Trap-triggers

Er zijn twee verschillende modellen/algoritmen/benaderingen om te kiezen om de status van een Straalserver te bepalen en wanneer om een andere server te proberen als er fouten worden gemaakt:

Opeenvolgende fouten in de aanpak van het AAMGR-proces

De oorspronkelijke benadering en de aanpak die vaker door de exploitanten wordt gebruikt, houden in dat het aantal fouten dat op een rij is voorgevallen voor een bepaald luchtvaartproces in de gaten wordt gehouden. Een Aamgr-proces is verantwoordelijk voor alle automatische berichtverwerking en -uitwisseling met een Straalserver, en veel Aamgr-proces bestaat in een chassis, elk gekoppeld aan sessmgr-processen (de belangrijkste processen die verantwoordelijk zijn voor de aanroep). (Bekijk alle CAMGR processen met de opdracht "Taakresources tonen") Een bepaald AAMGR-proces zal daarom Straalberichten verwerken voor veel oproepen, niet slechts één enkele aanroep, en dit algoritme houdt in te volgen hoeveel keer in een bepaalde rij een bepaald AAMGR-proces geen antwoord heeft gekregen op hetzelfde verzoek dat het heeft moeten doorsturen - een "Time-out bij toegangsaanvraag" zoals gemeld in "tellers van de show".

De respectieve tegenovergestelde "Access-request Current Consecutive Failures in a mgr", ook van "show Straaltellers" wordt verhoogd wanneer dit gebeurt, en de opdracht "Show straal accounting (of authenticatie) servers detail" geeft de tijdstempels aan van de Straalstaat verandering van Active in Not Responding (maar er wordt geen SNMP-val of -logbestanden gegenereerd voor slechts één storing). Hier is een voorbeeld voor Straalboekhouding:

[source]PDSN> show radius accounting servers detail

Friday November 28 23:23:34 UTC 2008

+-----Type:       (A) - Authentication   (a) - Accounting

|                 (C) - Charging         (c) - Charging Accounting

|                 (M) - Mediation       (m) - Mediation Accounting

|

|+----Preference: (P) - Primary         (S) - Secondary

||

||+---State:     (A) - Active          (N) - Not Responding

|||               (D) - Down             (W) - Waiting Accounting-On

|||               (I) - Initializing     (w) - Waiting Accounting-Off

|||               (a) - Active Pending   (U) - Unknown

|||

|||+--Admin       (E) - Enabled         (D) - Disabled

|||| Status:

||||

||||+-Admin

||||| status     (O) - Overridden       (.) - Not Overridden

||||| Overridden:

|||||

vvvvv IP             PORT GROUP

------ ------------- ----- -----------------------

PNE. 198.51.100.1    1813 default

Event History:

2008-Nov-28+23:18:36       Active

2008-Nov-28+23:18:57       Not Responding

2008-Nov-28+23:19:12       Active

2008-Nov-28+23:19:30       Not Responding

2008-Nov-28+23:19:36       Active

2008-Nov-28+23:20:57       Not Responding

2008-Nov-28+23:21:12       Active

2008-Nov-28+23:22:31       Not Responding

2008-Nov-28+23:22:36       Active

2008-Nov-28+23:23:30       Not Responding

Als deze teller de ingestelde waarde bereikt (standaard = 4) zonder ooit te worden gereset, per Configureerbaar: (neem nota van de haakjes [ ] worden gebruikt om op optionele kwalificatiepunt aan te geven en in deze gevallen wordt een boekhouding van probleemoplossing opgenomen (echtheidscontrole is de standaardinstelling indien de boekhouding niet wordt gespecificeerd)

straal [accounting] detectie-dode server opeenvolgende fouten 4

Vervolgens wordt deze server "Down" gemarkeerd voor de ingestelde periode (minuten):

straal [accounting] dodelijke tijd 10

Een SNMP-val en -logbestanden worden ook geactiveerd, bijvoorbeeld voor verificatie en/of accounting:

Fri Jan 30 06:17:19 2009 Internal trap notification 39 (AAAAuthSvrUnreachable) server 2 ip address 172.28.221.178

Fri Jan 30 06:22:19 2009 Internal trap notification 40 (AAAAuthSvrReachable) server 2 ip address 172.28.221.178

Fri Nov 28 21:59:12 2008 Internal trap notification 42 (AAAAccSvrUnreachable) server 6 ip address 172.28.221.178

Fri Nov 28 22:28:29 2008 Internal trap notification 43 (AAAAccSvrReachable) server 6 ip address 172.28.221.178

2008-Nov-28+21:59:12.899 [radius-acct 24006 warning] [8/0/518 <aaamgr:231> aaamgr_config.c:1060] [context: source, contextID: 2] [software internal security config user critical-info] Server 172.28.221.178:1813 unreachable

2008-Nov-28+22:28:29.280 [radius-acct 24007 info] [8/0/518 <aaamgr:231> aaamgr_config.c:1068] [context: source, contextID: 2] [software internal security config user critical-info] Server 172.28.221.178:1813 reachable

De vallen geven de onbereikbare server aan. Let op alle patronen. Bijvoorbeeld: gebeurt dit met één server of een andere of alle servers, en wat is de frequentie van de blokkering - gebeurt dit voortdurend of soms?

Merk ook op dat het enige wat nodig is om deze val op gang te brengen, is dat één aaamgr failliet gaat. Het lastige deel van deze val is dat het de omvang van de kwestie niet aangeeft. Het zou zeer uitgebreid of zeer minoir kunnen zijn - dat is de taak van de exploitant om te bepalen en de aanpak om dat uit te zoeken wordt in dit artikel besproken.

De statistieken van de betrappen van het show zullen het aantal keren rapporteren dat het sinds bootup heeft geactiveerd, zelfs als de oudere vallen sindsdien allang zijn verwijderd. Dit voorbeeld toont een onbereikbaar probleem in de boekhouding:

[source]PDSN> show snmp trap statistics | grep -i aaa

Wednesday September 10 08:38:19 UTC 2014

Trap Name                            #Gen #Disc  Disable Last Generated

----------------------------------- ----- -----  ------- --------------------

AAAAccSvrUnreachable                  833     0       0  2014:09:10:08:36:54

AAAAccSvrReachable                    839     0       0  2014:09:10:08:37:00

Merk op dat de aaamgr die in het bovenstaande voorbeeld wordt gemeld, #231 is. Dit is de beheerkaart op ASR 5000 die op de systeembeheerkaart (SMC) staat. Wat in deze output bedriegt is dat wanneer een individuele aaamgr of aaamgrs problemen ondervindt met bereikbaarheid, het nummer dat in de logs wordt gemeld het management aaamgr-geval is en niet het/de specifieke instantie(s) die de kwestie ervaart. Dit komt door het feit dat als veel gevallen bereikbaarheidsproblemen ervaren, dan zou houtkap snel vollopen als ze allemaal als zodanig werden gerapporteerd. Het ontwerp was dus om generisch verslag uit te brengen over de directie, wat, als je dit niet wist, zeker bedrog zou zijn. In het gedeelte Problemen oplossen worden verdere details gegeven over hoe te bepalen welke er fout(en) gaat/falen.  Sinds sommige versies van StarOS 17 en v18+ is dit gedrag gewijzigd, zodat het corresponderende aaaamaanummer met aansluitingsproblemen (zoals gemeld in SNMP-traps) wordt gemeld in de logbestanden met de specifieke id (Cisco CDETS CSCum84773), hoewel nog steeds alleen het eerste voorval (over meerdere ampuls) van dit gebeuren wordt gemeld.

De beheernaam is het maximale aantal sessgr-instanties + 1, en zo is het op een ASR 5500 385 voor Data Processing Card (DPC) of 1153 (voor DPC 2).

Als een opvolger is de management agente verantwoordelijk voor de behandeling van exploitanten/beheerders logins en voor de behandeling van veranderingen in vergunningsaanvragen die door RADIUS-servers zelf worden geïnitieerd.

Doorgaand zal de opdracht "show Straal Accounting (of authenticatie) servers detail" de tijdstempels van de staat aangeven die veranderen in Down die overeenkomt met de vallen/loggen (herinnering: Niet reageren gedefinieerd eerder is slechts één camera die een tijdelijke oplossing krijgt, terwijl Down een enkele parameter is die genoeg opeenvolgende tijden per configuratie krijgt om Down te starten)

vvvvv IP             PORT GROUP

----- --------------- ----- -----------------------

aSDE. 172.28.221.178 1813 default

Event History:

2008-Nov-28+21:59:12       Down

2008-Nov-28+22:28:29       Active

2008-Nov-28+22:28:57       Not Responding

2008-Nov-28+22:32:12       Down

2008-Nov-28+23:01:57       Active

2008-Nov-28+23:02:12       Not Responding

2008-Nov-28+23:05:12       Down

2008-Nov-28+23:19:29       Active

2008-Nov-28+23:19:57       Not Responding

2008-Nov-28+23:22:12       Down

Als er slechts één server is geconfigureerd wordt deze niet gemarkeerd, omdat dat van cruciaal belang is voor een succesvolle CallConnector.

Waarschuwing is dat er een andere parameter is die kan worden geconfigureerd op de detectieschakelaar-gestorven-server configuratie lijn genaamd "response-timeout". Wanneer gespecificeerd, wordt een server slechts gemarkeerd wanneer de opeenvolgende mislukkingen en de reactie-timeout voorwaarden beiden vervuld zijn. De responsietijd specificeert een periode waarin GEEN reacties worden ontvangen op ALLE verzoeken die naar een bepaalde server zijn verstuurd. (Merk op dat deze timer voortdurend opnieuw ingesteld zal worden terwijl er reacties ontvangen worden.) Deze conditie zou verwacht worden wanneer een server of de netwerkverbinding volledig is, vs. gedeeltelijk gecompromitteerd/gedegradeerd.

De gebruikcase voor dit scenario zou een scenario zijn waarbij een uitbarsting in het verkeer de opeenvolgende mislukkingen veroorzaakt om te activeren, maar het meteen markeren van een server als resultaat hiervan is niet gewenst. De server is daarentegen alleen gemarkeerd na een bepaalde periode van tijdminuten waarin er geen reacties worden ontvangen, hetgeen in feite een ware onbereikbaarheid van de server vertegenwoordigt.

Deze methode die net is besproken om de veranderingen in de Straaltoestand van de machine te controleren is afhankelijk van het kijken naar alle geheugenprocessen en het vinden van een methode die de conditie van mislukte herhalingen veroorzaakt. Deze methode is tot op zekere hoogte onderworpen aan enige willekeurig toegewezen storingen, zodat het wellicht niet de ideale algoritme is om fouten op te sporen. Maar het is vooral goed in het vinden van een of meer camera's die kapot zijn, terwijl alle anderen prima werken.

Keeplevlegenbenadering

Een andere methode om de bereikbaarheid van de Straalserver te detecteren, is gebruik te maken van dummy Keeplevendige testberichten. Dit houdt in dat er voortdurend nepberichten worden verzonden in plaats van dat er live verkeer wordt gevolgd. Een ander voordeel van deze methode is dat zij altijd actief is, tegenover de opeenvolgende mislukkingen in een aamgr-benadering, waar er periodes kunnen zijn waarin geen Straal verkeer wordt verstuurd, en dus is er geen manier om te weten of er tijdens die tijden een probleem bestaat, wat leidt tot vertraagde detectie wanneer pogingen beginnen te gebeuren. Ook wanneer een server wordt gemarkeerd, blijven deze keepalives verzonden zodat de server zo snel mogelijk kan worden gemarkeerd. Het nadeel van deze benadering is dat er geen aandacht wordt besteed aan kwesties die verband houden met specifieke amgr-gevallen die problemen kunnen ondervinden omdat zij de managementinstantie gebruikt voor de testberichten.

Hier zijn de verschillende configureerbare onderdelen die relevant zijn voor deze benadering:

radius (accounting) detect-dead-server keepalive

radius (accounting) keepalive interval 30

radius (accounting) keepalive retries 3

radius (accounting) keepalive timeout 3

radius (accounting) keepalive consecutive-response 1

radius (accounting) keepalive username Test-Username

radius keepalive encrypted password 2ec59b3188f07d9b49f5ea4cc44d9586

radius (accounting) keepalive calling-station-id 000000000000000

radius keepalive valid-response access-accept

De opdracht "Straal (accounting) detectie-dode-server-overlevingsvermogen" wordt ingesteld op de alimentatie-benadering in plaats van de opeenvolgende mislukkingen in een aamgr-benadering. In het bovenstaande voorbeeld verstuurt het systeem een testbericht met gebruikersnaam voor Test-Gebruikersnaam en wachtwoord Test-Gebruikersnaam elke 30 seconden en probeert het elke 3 seconden opnieuw als er geen respons wordt ontvangen, en probeert het maximaal 3 keer opnieuw, waarna de server wordt getekend. Zodra het zijn eerste reactie krijgt, tekent het zijn reactie weer op.

Hier is een voorbeeld van een verzoek/antwoord van de authenticatie voor de bovenstaande instellingen:

<<<<OUTBOUND 17:50:12:657 Eventid:23901(6)

RADIUS AUTHENTICATION Tx PDU, from 192.168.50.151:32783 to 192.168.50.200:1812 (142) PDU-dict=starent-vsa1

Code: 1 (Access-Request)

Id: 16

Length: 142

Authenticator: 51 6D B2 7D 6A C6 9A 96 0C AB 44 19 66 2C 12 0A

User-Name = Test-Username

User-Password = B7 23 1F D1 86 46 4D 7F 8F E0 2A EF 17 A1 F3 BF

Calling-Station-Id = 000000000000000

Service-Type = Framed

Framed-Protocol = PPP

NAS-IP-Address = 192.168.50.151

Acct-Session-Id = 00000000

NAS-Port-Type = HRPD

3GPP2-MIP-HA-Address = 255.255.255.255

3GPP2-Correlation-Id = 00000000

NAS-Port = 4294967295

Called-Station-ID = 00

INBOUND>>>>> 17:50:12:676 Eventid:23900(6)

RADIUS AUTHENTICATION Rx PDU, from 192.168.50.200:1812 to 192.168.50.151:32783 (34) PDU-dict=starent-vsa1

Code: 2 (Access-Accept)

Id: 16

Length: 34

Authenticator: 21 99 F4 4C F8 5D F8 28 99 C6 B8 D9 F9 9F 42 70

User-Password = testpassword

De zelfde SNMP vallen worden gebruikt om de onbereikbare/onderste en bereikbare/op straal staten zoals met de opeenvolgende mislukkingen in een nakomingsnadering aan te geven:

Fri Feb 27 17:54:55 2009 Internal trap notification 39 (AAAAuthSvrUnreachable) server 1 ip address 192.168.50.200

Fri Feb 27 17:57:04 2009 Internal trap notification 40 (AAAAuthSvrReachable) server 1 ip address 192.168.50.200

De "show straal counters all" heeft een sectie voor het bijhouden van de permanente verzoeken om verificatie en accounting ook - hier zijn de echtheidstellers:

Server-specific Keepalive Auth Counters

---------------------------------------

Keepalive Access-Request Sent:                            33

Keepalive Access-Request Retried:                         3

Keepalive Access-Request Timeouts:                        4

Keepalive Access-Accept Received:                         29

Keepalive Access-Reject Received:                         0

Keepalive Access-Response Bad Authenticator Received:     0

Keepalive Access-Response Malformed Received:             0

Keepalive Access-Response Malformed Attribute Received:   0

Keepalive Access-Response Unknown Type Received:          0

Keepalive Access-Response Dropped:                        0

Opdrachten voor probleemoplossing/benaderingen

Nu de trigger voor AAA onbereikbare vallen is verklaard, is de volgende stap om de verschillende opdrachten voor probleemoplossing te begrijpen om effect te bepalen en om basisoorzaak uit te zoeken. Onbereikbaarheid is een zeer brede termijn. Het verklaart niet waar de onbereikbaarheid is - in het netwerk, op de server of op de ASR. Is bijvoorbeeld bekend of de verzoeken überhaupt werden verstuurd? Heeft de server de verzoeken ontvangen? Heeft zij gehoor gegeven aan de verzoeken. Worden de reacties teruggebracht naar de ASR en zo ja, werden zij verwerkt of op het interne pad afgezet (d.w.z. stromen). In deze paragraaf wordt getracht aan te geven hoe deze vragen kunnen worden beantwoord.

Basisconfiguratie van straal

Eerst zijn er enkele basisgegevens waarmee je vertrouwd moet zijn met de RADIUS-configuratie. Het grootste deel van de configuratie voor RADIUS bevindt zich in een specifiek genoemde groep en alle contexten hebben een standaardgroep die als volgt kan worden geconfigureerd. Vele keren hebben de configuraties slechts één groep, de standaardgroep.

[local]CSE2# config

[local]CSE2(config)# context aaa_ctx

[aaa_ctx]ASR5000(config-ctx)# aaa group default

[aaa_ctx]ASR5000(config-aaa-group)#

Als specifieke genoemde groepen worden gebruikt, worden ze naar de volgende verklaring verwezen, die is geconfigureerd in een abonneeprofiel of Application Point Name (APN) (afhankelijk van de Call Control-technologie), bijvoorbeeld:

subscriber name <subscriber name>

aaa group <group name>

Opmerking: Het systeem controleert eerst de specifieke AAA-groep die aan de abonnee is toegewezen, en controleert vervolgens de standaard AAA-groep voor extra configuratie die niet in de specifieke groep is gedefinieerd.

Hier zijn nuttige opdrachten die alle waarden samenvatten die zijn toegewezen aan alle configuratieelementen in de verschillende a-groepsconfiguraties. Dit maakt het mogelijk om alle configureerbare waarden inclusief standaardwaarden snel te bekijken zonder de configuratie handmatig te hoeven bestuderen, en mogelijk te helpen fouten te voorkomen bij het aanvaarden van bepaalde instellingen. Deze opdrachten rapporteren over alle contexten:

show aaa group all

show aaa group name <group name>

De belangrijkste aanpasbaar is natuurlijk de toegang en de boekhoudservers zelf. Hierna volgt een voorbeeld:

radius server 209.165.201.1 key testtesttesttest port 1645 priority 1 max-rate 5

radius server 209.165.201.2 key testtesttesttest port 1645 priority 2 max-rate 5

radius accounting server 209.165.201.1 key testtesttesttest port 1646 priority 1

radius accounting server 209.165.201.2 key testtesttesttest port 1646 priority 2

Merk op dat de max-rate optie het aantal verzoeken beperkt dat per seconde naar de server wordt verstuurd

Daarnaast moet ook het NAS IP-adres worden gedefinieerd, namelijk het IP-adres op een interface in de context waarvan de stralingsverzoeken worden verstuurd en ontvangen reacties. Indien niet gedefinieerd, worden verzoeken niet verzonden en monitoren de sporen van abonnees kunnen geen duidelijke fout posten (geen straal verzonden verzoeken en geen indicatie waarom).

Straal attribuut NAS-ip-adresadres 10.211.41.129

Merk op dat omdat zowel verificatie als accounting vaak door dezelfde server worden verwerkt, een ander poortnummer wordt gebruikt om authenticatie versus boekhoudingsverkeer op de RADIUS server te differentiëren. Aan de ASR5K-zijde wordt het UDP-bronpoortnummer NIET gespecificeerd en wordt op basis van een parameter door het chassis gekozen (meer op dit later tijdstip).

Normaal gesproken worden meerdere toegang- en boekhoudservers gespecificeerd voor redundantiedoeleinden. Ofwel kan een ronde robin of geprioriteerde volgorde worden ingesteld:

straal [accounting] algoritme {eerste server | Runing

De optie voor de eerste server resulteert in ALLE verzoeken die naar de server worden verzonden met de laagste prioriteit. Alleen wanneer fouten opnieuw proberen, of erger, een server wordt gemarkeerd, is de server met de volgende prioriteit uitgeprobeerd. Hieronder meer.

Wanneer een verzoek om een straal (boekhouding of toegang) wordt verzonden, wordt een antwoord verwacht. Wanneer een antwoord niet binnen de termijn (seconden) wordt ontvangen:

straal [accounting] timeout 3

Het verzoek is ingediend tot het aangegeven aantal keren:

straal [accounting] max-herhalingen 5

Dit betekent dat een verzoek in totaal maximaal opnieuw kan worden verzonden + 1 keer tot het op de bepaalde straal server opgeeft die wordt geprobeerd. Op dit punt probeert het in volgorde dezelfde volgorde naar de volgende Straalserver. Als elk van de servers zijn beproefd van max-reprobeert + 1 keer zonder respons, wordt de oproep afgewezen, ervan uitgaande dat er geen andere reden is voor een storing tot op dat punt.

Als opvolger zijn er aanpasbare systemen die gebruikers toegang geven zelfs als verificatie en accounting mislukken als gevolg van vertragingen in alle servers, hoewel een commerciële toepassing dit waarschijnlijk niet zal implementeren:

straal om [accounting] authenticatie mogelijk te maken

Ook zijn er configureerbare servers die het absolute totale aantal transmissie van een bepaald verzoek over alle geconfigureerde servers kunnen beperken. Deze worden standaard uitgeschakeld:

straal [accounting] max-transmissies 256

Bijvoorbeeld als deze is ingesteld = 1, dan zelfs als er een secundaire server is, wordt deze nooit gepoogd omdat slechts één poging voor een specifieke abonnee-instelling is ondernomen.

toont faciliteit voor taakmiddelen

Elk AAMGR-proces is gekoppeld aan en "werkt voor" een gekoppeld sessgr-proces (verantwoordelijk voor de algehele gespreksverwerking) en bevindt zich op een andere Packet Services Card (PSC) of Data Processing Card (DPC), maar met dezelfde instantie-ID. In dit voorbeeld wordt ook verwezen naar speciaal exemplaar 231 dat op de systeembeheerkaart (SMC) wordt gebruikt voor ASR 5000 (of de beheerinvoerkaart voor ASR 5500 (MIO)), wat GEEN abonneeverzoeken verwerkt, maar wel wordt gebruikt voor pijltestopdrachten (zie later gedeelte voor meer informatie daarover) en voor CLI-inlogverwerking door een operator.

In dit hoofdstuk is aaamgr 107 op PSC 13 verantwoordelijk voor de behandeling van alle RADIUS-verwerking voor het gepaarde sessmgr 107 op PSC 1. Reachbaarheidsproblemen voor amgr 107 hebben invloed op oproepen op sessmgr 107.

task   cputime       memory     files     sessions

cpu facility     inst used allc   used alloc used allc used allc S status

----------------------- --------- ------------- --------- ------------- -----

1/0 sessmgr       107 1.6% 100% 119.6M 155.0M   26 500   83 6600 I   good

13/1 aaamgr       107 0.3% 94% 30.8M 77.0M   18 500   --   -- -   good

8/0 aaamgr        231 0.1% 30% 11.6M 25.0M   19 500   --   -- -   good

In het volgende voorbeeld, merk op dat problemen met amgr 92 de gepaarde sessmgr beïnvloeden, zoals gemakkelijk te zien is in vergelijking met andere sessmgras met betrekking tot sessieletelling:

task   cputime        memory     files      sessions

cpu facility      inst used allc   used  alloc used allc  used  allc S status

----------------------- --------- ------------- --------- ------------- ------

12/0 sessmgr         92 1.2% 100% 451.5M  1220M   43  500   643 21120 I   good

16/0 aaamgr          92 0.0%  95% 119.0M 315.0M   20  500    --    -- -   good

12/0 sessmgr         95 6.9% 100% 477.3M  1220M   41  500  2626 21120 I   good

12/0 sessmgr        105 7.7% 100% 600.5M  1220M   45  500  2626 21120 I   good

12/0 sessmgr        126 3.4% 100% 483.0M  1220M   44  500  2625 21120 I   good

12/0 sessmgr        131 8.1% 100% 491.7M  1220M   45  500  2627 21120 I   good

tonen straal tellers {allen | server <server IP>} [voorbeeld <aaamgr #>] | samenvatting

De opdracht nummer één om bekend te zijn met zijn variëteiten van "show Straal tellers"

Deze opdracht meldt veel nuttige tellers voor problemen met de straal. De opdracht "Straal tonen telt alle" is zeer waardevol in het opsporen van succes en mislukkingen op serverbasis, en het is belangrijk om de betekenis van de verschillende tellers te begrijpen die deze opdracht vormen, aangezien het niet voor de hand liggend kan zijn. De opdracht is contextgevoelig en moet dus worden uitgevoerd in dezelfde context als waarin de Aa-groep(en) is/zijn gedefinieerd.

Belangrijke opmerking: Gedurende een niet-gecontroleerde periode is het moeilijk om conclusies te trekken uit de tegenwaarden of de relaties tussen telers. Om accurate conclusies te maken is de beste benadering om de tellers te resetten en ze te controleren over een periode wanneer het problematische probleem zich voordoet.

In de volgende output wordt de nota "Access-request Sent" = 1, terwijl "Access-request Retried" = 3. Dus wordt een bepaald nieuw verzoek op een bepaalde straal server slechts één keer geteld, en worden alle pogingen afzonderlijk geteld. In dit geval is dat een totaal van 3 + 1 = 4 verzoeken om toegang. Merk op dat de teller "Time outs van het toegangsverzoek" = 1. Een enkele time-out alleen optreedt wanneer ALLE herhalingen falen, dus in dit geval worden 3 keer opnieuw geprobeerd zonder een respons resulteerde in 1 timeout (niet 4). Dit gebeurt in alle geconfigureerde servers totdat er succes is, of alle pogingen zijn mislukt. Let dus op de tellers die voor elke server afzonderlijk worden getraceerd. Hier is een voorbeeld van:

radius max-retries 3

radius server 192.168.50.200 encrypted key 01abd002c82b4a2c port 1812 priority 1

radius server 192.168.50.250 encrypted key 01abd002c82b4a2c port 1812 priority 2

[destination]CSE2# show radius counters all

Server-specific Authentication Counters

---------------------------------------

Authentication server address 192.168.50.200, port 1812:

Access-Request Sent:                                      1

Access-Request with DMU Attributes Sent:                  0

Access-Request Pending:                                   0

Access-Request Retried:                                   3

Access-Request with DMU Attributes Retried:               0

Access-Challenge Received:                                0

Access-Accept Received:                                   0

Access-Reject Received:                                   0

Access-Reject Received with DMU Attributes:               0

Access-Request Timeouts:                                  1

Access-Request Current Consecutive Failures in a mgr:     1

Access-Request Response Bad Authenticator Received:       0

Access-Request Response Malformed Received:               0

Access-Request Response Malformed Attribute Received:     0

Access-Request Response Unknown Type Received:            0

Access-Request Response Dropped:                          0

Access-Request Response Last Round Trip Time:             0.0 ms

Access-Request Response Average Round Trip Time:          0.0 ms

Current Access-Request Queued:                            0

...

Authentication server address 192.168.50.250, port 1812:

Access-Request Sent:                                        1

Access-Request with DMU Attributes Sent:                  0

Access-Request Pending:                                   0

Access-Request Retried:                                   3

Access-Request with DMU Attributes Retried:               0

Access-Challenge Received:                                0

Access-Accept Received:                                   0

Access-Reject Received:                                   0

Access-Reject Received with DMU Attributes:               0

Access-Request Timeouts:                                  1

Access-Request Current Consecutive Failures in a mgr:     1

Access-Request Response Bad Authenticator Received:       0

Access-Request Response Malformed Received:               0

Access-Request Response Malformed Attribute Received:     0

Access-Request Response Unknown Type Received:            0

Access-Request Response Dropped:                          0

Access-Request Response Last Round Trip Time:             0.0 ms

Access-Request Response Average Round Trip Time:          0.0 ms

Current Access-Request Queued:                            0

Merk ook op dat tijdelijke instellingen NIET als defecten worden geteld, waardoor het aantal ontvangen toegangsaanvragen en ontvangen toegangsaanvragen niet wordt opgeteld tot verzonden toegangsaanvragen indien er sprake is van een tijdelijke voorziening.

De analyse van deze tellers kan niet volledig eenvoudig zijn.  Bijvoorbeeld voor Mobile IP (MIP) protocol, omdat de authenticaties niet werken, wordt er geen MIP Registration Reply (RRP) verzonden en de mobiele telefoon kan doorgaan met het openen van nieuwe MIP Registration For Application (RRQ) omdat er geen MIP RRP is ontvangen. Elke nieuwe MIP RQ veroorzaakt dat de PDSN een nieuw Verificatieverzoek verzenden dat zelf zijn eigen serie opnieuw kan hebben. Dit kan worden gezien in het veld ID boven in een pakketspoor - het is uniek voor elke verzameling herhalingen. Het resultaat is dat de tellers voor Verstuurd, Vernieuwd, en Time-out veel hoger kunnen zijn dan verwacht voor het aantal ontvangen oproepen. Er is een optie die mogelijk is om deze extra herhalingen te minimaliseren, en deze kan worden ingesteld in de Foreign Agent (FA) (maar niet in de Home Agent (HA)-service: "Verificatie via meerdere apparaten <6 keuzes hier>optimaliseren-recensies"

Een paar andere nuttige tellers:

"Reactie op toegangsaanvraag gestopt" - komt voor als de oproep niet is ingesteld terwijl u wacht op antwoorden op verificatieverzoeken.

"Reactie op verzoek tijdens laatste reistijd" - duidt op vertragingen tussen de eindpunten, hoewel dit duidelijk niet aangeeft waar de vertraging zich zou kunnen voordoen.

"Access-request Current Consecutive Failures in a mgr" heeft betrekking op wat is besproken in de eerste paragraaf over triggers voor AAA Unreach traps. Het vertegenwoordigt de map(en) met het hoogste aantal opeenvolgende tijdouts.

"Huidige toegang/accounting-aanvraag wachtrij" geeft verzoeken aan die niet worden beantwoord en in de wachtrij blijven staan (accounting maakt het voor onbepaalde tijd mogelijk om de wachtrij op te bouwen terwijl authenticatie dat niet doet)

Het meest voorkomende scenario dat wordt gezien wanneer AAA Unbereikbaar wordt gemeld, is dat ook Time-outs en/of responsdruppels worden uitgevoerd, terwijl Access Responsen niet bij verzoeken blijven.

Als toegang tot een bevoorrechte technische ondersteuningsmodus beschikbaar is, kan verder onderzoek op het niveau van de auteurs worden verricht om vast te stellen of een of meer specifieke programma's de oorzaak zijn van de toename van het totale "slechte" aantal. Kijk bijvoorbeeld naar programma's die zich op een specifieke PSC/DPC bevinden met hoge tellingen of mogelijk één enkele camera of willekeurige camera's die problemen hebben - zoek naar patronen. Als alle of de meeste onderdelen problemen hebben, is het waarschijnlijker dat de oorzaak van de problemen zich niet in het chassis bevindt of dat de oorzaak op grote schaal op het chassis verschijnt. In dat geval moeten algemene gezondheidscontroles worden verricht.

Hier is een voorbeeld van output die een probleem laat zien met een specifiek model voor accounting. (Het probleem bleek een bug in een firewall te zijn tussen ASR5K en de RADIUS-server die verkeer vanaf een bepaalde AAM-poort (114) blokkeerde. Gedurende een periode van drie weken zijn er slechts 48 reacties ontvangen, maar er zijn meer dan 100.000 onderbrekingen voorgekomen (en dat omvat geen heroverschrijvingen).

[source]PDSN> show radius counters server 209.165.201.1 instance  114 | grep -E "Accounting-Request Sent|Accounting-Response Received|Accounting-Request Timeouts"

Wednesday October 01 18:12:24 UTC 2014

Accounting-Request Sent:                                  14306189

Accounting-Response Received:                             14299843

Accounting-Request Timeouts:                              6342

[source]PDSN> show radius counters server 209.165.201.1 instance 114 | grep -E "Accounting server address|Accounting-Request Sent|Accounting-Response Received|Accounting-Request Timeouts"

Wednesday October 22 20:26:35 UTC 2014

Accounting server address 209.165.201.1, port 1646:

Accounting-Request Sent:                                  15105872

Accounting-Response Received:                             14299891

Accounting-Request Timeouts:                              158989

[source]PDSN> show radius counters server 209.165.201.1 instance 114 | grep Accounting

Wednesday October 22 20:33:09 UTC 2014

Per-Context RADIUS Accounting Counters

Accounting Response

Server-specific Accounting Counters

Accounting server address 209.165.201.1, port 1646:

Accounting-Request Sent:                                  15106321

Accounting-Start Sent:                                    7950140

Accounting-Stop Sent:                                     7156129

Accounting-Interim Sent:                                  52

Accounting-On Sent:                                       0

Accounting-Off Sent:                                      0

Accounting-Request Pending:                               3

Accounting-Request Retried:                               283713

Accounting-Start Retried:                                 279341

Accounting-Stop Retried:                                  4372

Accounting-Interim Retried:                               0

Accounting-On Retried:                                    0

Accounting-Off Retried:                                   0

Accounting-Response Received:                             14299891

Accounting-Request Timeouts:                              159000

Accounting-Request Current Consecutive Failures in a mgr: 11

Accounting-Response Bad Response Received:                0

Accounting-Response Malformed Received:                   0

Accounting-Response Unknown Type Received:                0

Accounting-Response Dropped:                              21

Accounting-Response Last Round Trip Time:                 52.5 ms

Accounting-Response Average Round Trip Time:              49.0 ms

Accounting Total G1 (Acct-Output-Octets):                 4870358614798

Accounting Total G2 (Acct-Input-Octets):                  714140547011

Current Accounting-Request Queued:                        17821

Afrondend, vaststellen welke tellers verhogen, voor welke servers, en op welke snelheid.

installatie van het subsysteem voor showsessies {amgr | sessmgr} {alle | Bijvoorbeeld <voorbeeld #>

Hoewel het buiten het bereik van dit artikel is om alle overbodige output van deze opdracht te onderzoeken, zijn een paar voorbeelden het overwegen waard.  Net als bij andere problemen bij het oplossen van problemen maakt het vergelijken van de productie tussen wat goed of slecht wordt geacht vaak duidelijke verschillen in de gerapporteerde waarden zichtbaar. Dit zou kunnen worden weerspiegeld in het totale aantal verzoeken, het aantal mislukkingen/succes, annulering van bezuinigingen, enz. Ter herinnering, verzeker u ervan dat u het subsysteem sessie (één geval kan niet worden gewist, ze moeten allemaal worden gewist) verwijdert, zodat elke geschiedenis wordt verwijderd die mogelijk een onduidelijk beeld van de huidige staat geeft.

Als we doorgaan met hetzelfde onderwerp dat eerder werd genoemd met betrekking tot één enkele aaamgr die niet verantwoordelijk is voor accounting, dan wordt hier output van een ander knooppunt met hetzelfde probleem behalve een ander type voorbeeld 36. Let op alle interessante velden voor de falende aapag en hoe deze waarden in de loop der tijd toenemen met de twee opnamen van de opdracht. Intussen wordt de productie van voorbeeld 37 weergegeven als een voorbeeld van een werkende aapagr.

[source]PDSN> show session subsystem  facility aaamgr instance 36

Wednesday September 10 08:51:18 UTC 2014

AAAMgr:  Instance 36

39947440 Total aaa requests              17985 Current aaa requests

24614090 Total aaa auth requests             0 Current aaa auth requests

0 Total aaa auth probes               0 Current aaa auth probes

0 Total aaa aggregation requests

0 Current aaa aggregation requests

0 Total aaa auth keepalive            0 Current aaa auth keepalive

15171628 Total aaa acct requests         17985 Current aaa acct requests

0 Total aaa acct keepalive            0 Current aaa acct keepalive

20689536 Total aaa auth success        1322489 Total aaa auth failure

86719 Total aaa auth purged            1016 Total aaa auth cancelled

0 Total auth keepalive success        0 Total auth keepalive failure

0 Total auth keepalive purged

0 Total aaa aggregation success requests

0 Total aaa aggregation failure requests

0 Total aaa aggregation purged requests

15237 Total aaa auth DMU challenged

17985/70600 aaa request (used/max)

14 Total diameter auth responses dropped

6960270 Total Diameter auth requests        0 Current Diameter auth requests

23995 Total Diameter auth requests retried

52 Total Diameter auth requests dropped

9306676 Total radius auth requests          0 Current radius auth requests

0 Total radius auth requests retried

988 Total radius auth responses dropped

13 Total local auth requests           0 Current local auth requests

8500275 Total pseudo auth requests          0 Current pseudo auth requests

8578 Total null-username auth requests (rejected)

0 Total aggregation responses dropped

15073834 Total aaa acct completed        79763 Total aaa acct purged     <== If issue started recently, this may not have yet started incrementing

0 Total acct keepalive success        0 Total acct keepalive timeout

0 Total acct keepalive purged

4 CLI Test aaa acct purged

0 IP Interface down aaa acct purged

0 No Radius Server found aaa acct purged

0 No Response aaa acct purged

14441090 Total acct sess alloc

14422811 Total acct sess delete

18279 Current acct sessions

0 Auth No Wait Suppressed

0 Aggr No Wait Suppressed

0 Disc No Wait Suppressed

0 Start No Wait Suppressed

0 Interim No Wait Suppressed

0 Stop No Wait Suppressed

0 Acct OnOff Custom14

0 Acct OnOff Custom67

0 Acct OnOff

0 Recovery Str Suppressed

0 Recovery Stop Suppressed

0 Med Chrg Gtpp Suppressed

0 Med Chrg Radius Suppressed

0 Radius Probe Trigger

0 Recovery Stop Acct Session Suppressed

46 Total aaa acct cancelled

0 Total Diameter acct requests        0 Current Diameter acct requests

0 Total Diameter acct requests retried

0 Total diameter acct requests dropped

0 Total diameter acct responses dropped

0 Total diameter acct cancelled

0 Total diameter acct purged

15171628 Total radius acct requests      17985 Current radius acct requests

46 Total radius acct cancelled

79763 Total radius acct purged

11173 Total radius acct requests retried

49 Total radius acct responses dropped

0 Total radius sec acct requests      0 Current radius sec acct requests

0 Total radius sec acct cancelled

0 Total radius sec acct purged

0 Total radius sec acct requests retried

0 Total gtpp acct requests            0 Current gtpp acct requests

0 Total gtpp acct cancelled           0 Total gtpp acct purged

0 Total gtpp sec acct requests        0 Total gtpp sec acct purged

0 Total null acct requests            0 Current null acct requests

16218236 Total aaa acct sessions         21473 Current aaa acct sessions

8439 Total aaa acct archived             2 Current aaa acct archived

21473 Current recovery archives        4724 Current valid recovery records

1 Total aaa sockets opened            1 Current aaa sockets opened

1 Total aaa requests pend socket opened

0 Current aaa requests pend socket open

133227 Total radius requests pend server max-outstanding

17982 Current radius requests pend server max-outstanding

0 Total radius auth req queued server max-rate

0 Max radius auth req queued server max-rate

0 Current radius auth req queued server max-rate

0 Total radius acct req queued server max-rate

0 Max radius acct req queued server max-rate

0 Current radius acct req queued server max-rate

0 Total radius charg auth req queued server max-rate

0 Max radius charg auth req queued server max-rate

0 Current radius charg auth req queued server max-rate

0 Total radius charg acct req queued server max-rate

0 Max radius charg acct req queued server max-rate

0 Current radius charg acct req queued server max-rate

0 Total aaa radius coa requests       0 Total aaa radius dm requests

0 Total aaa radius coa acks           0 Total aaa radius dm acks

0 Total aaa radius coa naks           0 Total aaa radius dm naks

0 Total radius charg auth             0 Current radius charg auth

0 Total radius charg auth success     0 Total radius charg auth failure

0 Total radius charg auth purged      0 Total radius charg auth cancelled

0 Total radius charg acct             0 Current radius charg acct

0 Total radius charg acct success     0 Total radius charg acct purged

0 Total radius charg acct cancelled

0 Total gtpp charg                    0 Current gtpp charg

0 Total gtpp charg success            0 Total gtpp charg failure

0 Total gtpp charg cancelled          0 Total gtpp charg purged

0 Total gtpp sec charg                0 Total gtpp sec charg purged

161722 Total prepaid online requests       0 Current prepaid online requests

141220 Total prepaid online success    20392 Current prepaid online failure

0 Total prepaid online retried      102 Total prepaid online cancelled

8 Current prepaid online purged

...

[source]PDSN> show session subsystem facility aaamgr instance 37

Wednesday September 10 08:51:28 UTC 2014

AAAMgr:  Instance 37

39571859 Total aaa requests                  0 Current aaa requests

24368622 Total aaa auth requests             0 Current aaa auth requests

0 Total aaa auth probes               0 Current aaa auth probes

0 Total aaa aggregation requests

0 Current aaa aggregation requests

0 Total aaa auth keepalive            0 Current aaa auth keepalive

15043217 Total aaa acct requests             0 Current aaa acct requests

0 Total aaa acct keepalive            0 Current aaa acct keepalive

20482618 Total aaa auth success        1309507 Total aaa auth failure

85331 Total aaa auth purged             968 Total aaa auth cancelled

0 Total auth keepalive success        0 Total auth keepalive failure

0 Total auth keepalive purged

0 Total aaa aggregation success requests

0 Total aaa aggregation failure requests

0 Total aaa aggregation purged requests

15167 Total aaa auth DMU challenged

1/70600 aaa request (used/max)

41 Total diameter auth responses dropped

6883765 Total Diameter auth requests        0 Current Diameter auth requests

23761 Total Diameter auth requests retried

37 Total Diameter auth requests dropped

9216203 Total radius auth requests          0 Current radius auth requests

0 Total radius auth requests retried

927 Total radius auth responses dropped

15 Total local auth requests           0 Current local auth requests

8420022 Total pseudo auth requests          0 Current pseudo auth requests

8637 Total null-username auth requests (rejected)

0 Total aggregation responses dropped

15043177 Total aaa acct completed            0 Total aaa acct purged

0 Total acct keepalive success        0 Total acct keepalive timeout

0 Total acct keepalive purged

0 CLI Test aaa acct purged

0 IP Interface down aaa acct purged

0 No Radius Server found aaa acct purged

0 No Response aaa acct purged

14358245 Total acct sess alloc

14356293 Total acct sess delete

1952 Current acct sessions

0 Auth No Wait Suppressed

0 Aggr No Wait Suppressed

0 Disc No Wait Suppressed

0 Start No Wait Suppressed

0 Interim No Wait Suppressed

0 Stop No Wait Suppressed

0 Acct OnOff Custom14

0 Acct OnOff Custom67

0 Acct OnOff

0 Recovery Str Suppressed

0 Recovery Stop Suppressed

0 Med Chrg Gtpp Suppressed

0 Med Chrg Radius Suppressed

0 Radius Probe Trigger

0 Recovery Stop Acct Session Suppressed

40 Total aaa acct cancelled

0 Total Diameter acct requests        0 Current Diameter acct requests

0 Total Diameter acct requests retried

0 Total diameter acct requests dropped

0 Total diameter acct responses dropped

0 Total diameter acct cancelled

0 Total diameter acct purged

15043217 Total radius acct requests          0 Current radius acct requests

40 Total radius acct cancelled

0 Total radius acct purged

476 Total radius acct requests retried

37 Total radius acct responses dropped

0 Total radius sec acct requests      0 Current radius sec acct requests

0 Total radius sec acct cancelled

0 Total radius sec acct purged

0 Total radius sec acct requests retried

0 Total gtpp acct requests            0 Current gtpp acct requests

0 Total gtpp acct cancelled           0 Total gtpp acct purged

0 Total gtpp sec acct requests        0 Total gtpp sec acct purged

0 Total null acct requests            0 Current null acct requests

16057760 Total aaa acct sessions          4253 Current aaa acct sessions

14 Total aaa acct archived             0 Current aaa acct archived

4253 Current recovery archives        4249 Current valid recovery records

1 Total aaa sockets opened            1 Current aaa sockets opened

1 Total aaa requests pend socket opened

0 Current aaa requests pend socket open

29266 Total radius requests pend server max-outstanding

0 Current radius requests pend server max-outstanding

0 Total radius auth req queued server max-rate

0 Max radius auth req queued server max-rate

0 Current radius auth req queued server max-rate

0 Total radius acct req queued server max-rate

0 Max radius acct req queued server max-rate

0 Current radius acct req queued server max-rate

0 Total radius charg auth req queued server max-rate

0 Max radius charg auth req queued server max-rate

0 Current radius charg auth req queued server max-rate

0 Total radius charg acct req queued server max-rate

0 Max radius charg acct req queued server max-rate

0 Current radius charg acct req queued server max-rate

0 Total aaa radius coa requests       0 Total aaa radius dm requests

0 Total aaa radius coa acks           0 Total aaa radius dm acks

0 Total aaa radius coa naks           0 Total aaa radius dm naks

0 Total radius charg auth             0 Current radius charg auth

0 Total radius charg auth success     0 Total radius charg auth failure

0 Total radius charg auth purged      0 Total radius charg auth cancelled

0 Total radius charg acct             0 Current radius charg acct

0 Total radius charg acct success     0 Total radius charg acct purged

0 Total radius charg acct cancelled

0 Total gtpp charg                    0 Current gtpp charg

0 Total gtpp charg success            0 Total gtpp charg failure

0 Total gtpp charg cancelled          0 Total gtpp charg purged

0 Total gtpp sec charg                0 Total gtpp sec charg purged

160020 Total prepaid online requests       0 Current prepaid online requests

139352 Total prepaid online success    20551 Current prepaid online failure

...

[source]PDSN> show session subsystem facility aaamgr instance 36

Wednesday September 10 09:12:13 UTC 2014

AAAMgr:  Instance 36

39949892 Total aaa requests              17980 Current aaa requests

24615615 Total aaa auth requests             0 Current aaa auth requests

0 Total aaa auth probes               0 Current aaa auth probes

0 Total aaa aggregation requests

0 Current aaa aggregation requests

0 Total aaa auth keepalive            0 Current aaa auth keepalive

15172543 Total aaa acct requests         17980 Current aaa acct requests

0 Total aaa acct keepalive            0 Current aaa acct keepalive

20690768 Total aaa auth success        1322655 Total aaa auth failure

86728 Total aaa auth purged            1016 Total aaa auth cancelled

0 Total auth keepalive success        0 Total auth keepalive failure

0 Total auth keepalive purged

0 Total aaa aggregation success requests

0 Total aaa aggregation failure requests

0 Total aaa aggregation purged requests

15242 Total aaa auth DMU challenged

17981/70600 aaa request (used/max)

14 Total diameter auth responses dropped

6960574 Total Diameter auth requests        0 Current Diameter auth requests

23999 Total Diameter auth requests retried

52 Total Diameter auth requests dropped

9307349 Total radius auth requests          0 Current radius auth requests

0 Total radius auth requests retried

988 Total radius auth responses dropped

13 Total local auth requests           0 Current local auth requests

8500835 Total pseudo auth requests          0 Current pseudo auth requests

8578 Total null-username auth requests (rejected)

0 Total aggregation responses dropped

15074358 Total aaa acct completed        80159 Total aaa acct purged

0 Total acct keepalive success        0 Total acct keepalive timeout

0 Total acct keepalive purged

4 CLI Test aaa acct purged

0 IP Interface down aaa acct purged

0 No Radius Server found aaa acct purged

0 No Response aaa acct purged

14441768 Total acct sess alloc

14423455 Total acct sess delete

18313 Current acct sessions

0 Auth No Wait Suppressed

0 Aggr No Wait Suppressed

0 Disc No Wait Suppressed

0 Start No Wait Suppressed

0 Interim No Wait Suppressed

0 Stop No Wait Suppressed

0 Acct OnOff Custom14

0 Acct OnOff Custom67

0 Acct OnOff

0 Recovery Str Suppressed

0 Recovery Stop Suppressed

0 Med Chrg Gtpp Suppressed

0 Med Chrg Radius Suppressed

0 Radius Probe Trigger

0 Recovery Stop Acct Session Suppressed

46 Total aaa acct cancelled

0 Total Diameter acct requests        0 Current Diameter acct requests

0 Total Diameter acct requests retried

0 Total diameter acct requests dropped

0 Total diameter acct responses dropped

0 Total diameter acct cancelled

0 Total diameter acct purged

15172543 Total radius acct requests      17980 Current radius acct requests

46 Total radius acct cancelled

80159 Total radius acct purged

11317 Total radius acct requests retried

49 Total radius acct responses dropped

0 Total radius sec acct requests      0 Current radius sec acct requests

0 Total radius sec acct cancelled

0 Total radius sec acct purged

0 Total radius sec acct requests retried

0 Total gtpp acct requests            0 Current gtpp acct requests

0 Total gtpp acct cancelled           0 Total gtpp acct purged

0 Total gtpp sec acct requests        0 Total gtpp sec acct purged

0 Total null acct requests            0 Current null acct requests

16219251 Total aaa acct sessions         21515 Current aaa acct sessions

8496 Total aaa acct archived             0 Current aaa acct archived

21515 Current recovery archives        4785 Current valid recovery records

1 Total aaa sockets opened            1 Current aaa sockets opened

1 Total aaa requests pend socket opened

0 Current aaa requests pend socket open

133639 Total radius requests pend server max-outstanding

17977 Current radius requests pend server max-outstanding

...

Men zou ook show task resources moeten gebruiken om alle oneven sessies (gebruikte kolom) onder alle sessies te controleren. Als er iets gevonden wordt, controleer dan de gekoppelde programma's voor die sessors met deze opdracht om te zien of er velden zijn die niet in de regel staan. Als het probleem veroorzaakt wordt door RADIUS, is er een goede kans om iets te vinden.

In het voorbeeld van de taakverdeling in een voorgaande sectie was er een aanzienlijk lager aantal sessies op sessmgr 92, gekoppeld aan amgr 92. De output van het subsysteem van de show sessie toont een significante toename van de totale max-uitstaand en a auth purged tellers, en verhoogde Huidige max-uitstaande tellers. Men kan de grep optie rechtstreeks op het chassis en/of Kladpad+ of andere krachtige zoekeditor gebruiken om gegevens snel te analyseren. Start de opdracht meerdere malen om te zien welke waarden verhoogd of verhoogd blijven:

[Ingress]PGW# show session subsystem facility aaamgr all

Tuesday January 10 04:42:29 UTC 2012

4695 Total aaa auth purged

4673 Total radius auth requests         16 Current radius auth requests

4167 Total radius requests pend server max-outstanding

76 Current radius requests pend server max-outstanding

[Ingress]PGW# show session subsystem facility aaamgr all | grep "max-outstanding"

Tuesday January 10 04:51:00 UTC 2012

4773 Total radius requests pend server max-outstanding

67 Current radius requests pend server max-outstanding

[Ingress]PGW# show session subsystem facility aaamgr all | grep "max-outstanding"

Tuesday January 10 04:56:10 UTC 2012

5124 Total radius requests pend server max-outstanding

81 Current radius requests pend server max-outstanding

[Ingress]PGW# show session subsystem facility aaamgr instance 92

Tuesday January 10 04:57:03 UTC 2012

5869 Total aaa auth purged

5843 Total radius auth requests         12 Current radius auth requests

5170 Total radius requests pend server max-outstanding

71 Current radius requests pend server max-outstanding

[Ingress]PGW# show session subsystem facility aaamgr instance 92

Tuesday January 10 05:10:05 UTC 2012

6849 Total aaa auth purged

6819 Total radius auth requests          6 Current radius auth requests

5981 Total radius requests pend server max-outstanding

68 Current radius requests pend server max-outstanding

[Ingress]PGW# show session subsystem facility aaamgr all | grep "max-outstanding"

Tuesday January 10 05:44:22 UTC 2012

71 Total radius requests pend server max-outstanding

0 Current radius requests pend server max-outstanding

61 Total radius requests pend server max-outstanding

0 Current radius requests pend server max-outstanding

7364 Total radius requests pend server max-outstanding   <== instance #92

68 Current radius requests pend server max-outstanding

89 Total radius requests pend server max-outstanding

0 Current radius requests pend server max-outstanding

74 Total radius requests pend server max-outstanding

0 Current radius requests pend server max-outstanding

[Ingress]PGW#radius test instance 92 auth server 65.175.1.10 port 1645 test test

Tuesday January 10 06:13:38 UTC 2012

Authentication from authentication server 65.175.1.10, port 1645

Communication Failure: No response received

pingelen

traceroute

Een ICMP Ping test basisconnectiviteit om te zien of de AAA server al dan niet kan worden bereikt. Mogelijk moet de ping zijn geworteld met het src-trefwoord afhankelijk van het netwerk en moet worden uitgevoerd vanuit de AAA-context om waarde te hebben. Als ping aan de server mislukt, probeer dan intermediaire elementen met inbegrip van het volgende hopadres in de context te pingelen, die bevestigt dat er een ARP ingang aan het volgende-hopadres is als ping mislukt. Traceroute kan ook helpen met routingproblemen.

[source]CSE2# ping 192.168.50.200

PING 192.168.50.200 (192.168.50.200) 56(84) bytes of data.

64 bytes from 192.168.50.200: icmp_seq=1 ttl=64 time=0.411 ms

64 bytes from 192.168.50.200: icmp_seq=2 ttl=64 time=0.350 ms

64 bytes from 192.168.50.200: icmp_seq=3 ttl=64 time=0.353 ms

64 bytes from 192.168.50.200: icmp_seq=4 ttl=64 time=0.321 ms

64 bytes from 192.168.50.200: icmp_seq=5 ttl=64 time=0.354 ms

--- 192.168.50.200 ping statistics ---

5 packets transmitted, 5 received, 0% packet loss, time 4000ms

rtt min/avg/max/mdev = 0.321/0.357/0.411/0.037 ms

Straaltestinstantie x Echte {straal} groep <groep> | alle | server <IP> poort <port> <gebruikersnaam> <wachtwoord>

straal testinstantie x accounting {booggroep <groepsnaam> | alle | server <IP> poort <poort>

Met toegang tot de opdrachten voor de technische ondersteuning van een programma kan verder worden getest of een bepaalde map een RADIUS-server kan bereiken. Voor een basistest van de RADIUS-connectiviteit, onafhankelijk van een specifieke instantie, gebruikt u de generieke versie van deze opdracht die geen specifiek voorbeeld # specificeert maar de beheerinstantie standaard gebruikt. Als dit mislukt, kan dit wijzen op een breder probleem, onafhankelijk van specifieke gevallen.

Deze opdracht stuurt een basisverzoek om verificatie of accounting start en stop verzoeken en wacht op een antwoord. Gebruik voor authenticatie elke gebruikersnaam en wachtwoord, in welk geval een afwijzende reactie verwacht zou worden, waarbij wordt bevestigd dat RADIUS werkt zoals ontworpen, of een bekende werkgebruikersnaam/wachtwoord kan worden gebruikt, in welk geval een acceptatie-reactie moet worden ontvangen

Hier is een voorbeelduitvoer van controleprotocol en het uitvoeren van de authenticatie versie van het bevel op een lab chassis:

[source]CSE2# radius test authentication server 192.168.50.200 port 1812 test test

Authentication from authentication server 192.168.50.200, port 1812

Authentication Success: Access-Accept received

Round-trip time for response was 12.3 ms

<<<<OUTBOUND 14:53:49:202 Eventid:23901(6)

RADIUS AUTHENTICATION Tx PDU, from 192.168.50.151:32783 to 192.168.50.200:1812 (58) PDU-dict=starent-vsa1

Code: 1 (Access-Request)

Id: 5

Length: 58

Authenticator: 56 97 57 9C 51 EF A4 08 20 E1 14 89 40 DE 0B 62

User-Name = test

User-Password = 49 B0 92 4D DC 64 49 BA B0 0E 18 36 3F B6 1B 37

NAS-IP-Address = 192.168.50.151

NAS-Identifier = source

INBOUND>>>>> 14:53:49:214 Eventid:23900(6)

RADIUS AUTHENTICATION Rx PDU, from 192.168.50.200:1812 to 192.168.50.151:32783 (34) PDU-dict=starent-vsa1

Code: 2 (Access-Accept)

Id: 5

Length: 34

Authenticator: D7 94 1F 18 CA FE B4 27 17 75 5C 99 9F A8 61 78

User-Password = testpassword

Hier een voorbeeld van een live chassis:

<<<<OUTBOUND 12:45:49:869 Eventid:23901(6)

RADIUS AUTHENTICATION Tx PDU, from 10.209.28.200:33156 to 209.165.201.1:1645 (72) PDU-dict=custom150

Code: 1 (Access-Request)

Id: 6

Length: 72

Authenticator: 67 C2 2B 3E 29 5E A5 28 2D FB 85 CA 0E 9F A4 17

User-Name = test

User-Password = 8D 95 3B 31 99 E2 6A 24 1F 81 13 00 3C 73 BC 53

NAS-IP-Address = 10.209.28.200

NAS-Identifier = source

3GPP2-Session-Term-Capability = Both_Dynamic_Auth_And_Reg_Revocation_in_MIP

INBOUND>>>>> 12:45:49:968 Eventid:23900(6)

RADIUS AUTHENTICATION Rx PDU, from 209.165.201.1:1645 to 10.209.28.200:33156 (50) PDU-dict=custom150

Code: 3 (Access-Reject)

Id: 6

Length: 50

Authenticator: 99 2E EC DA ED AD 18 A9 86 D4 93 52 57 4C 2F 84

Reply-Message = Invalid username or password

Hier is een voorbeelduitvoer van het uitvoeren van de boekhoudversie van de opdracht. Er is geen wachtwoord nodig.

[source]CSE2# radius test accounting server 192.168.50.200 port 1813 test

RADIUS Start to accounting server 192.168.50.200, port 1813

Accounting Success: response received

Round-trip time for response was 7.9 ms

RADIUS Stop to accounting server 192.168.50.200, port 1813

Accounting Success: response received

Round-trip time for response was 15.4 ms

<<<<OUTBOUND 15:23:14:974 Eventid:24901(6)

RADIUS ACCOUNTING Tx PDU, from 192.168.50.151:32783 to 192.168.50.200:1813 (62) PDU-dict=starent-vsa1

Code: 4 (Accounting-Request)

Id: 8

Length: 62

Authenticator: DA 0F A8 11 7B FE 4B 1A 56 EB 0D 49 8C 17 BD F6

User-Name = test

NAS-IP-Address = 192.168.50.151

Acct-Status-Type = Start

Acct-Session-Id = 00000000

NAS-Identifier = source

Acct-Session-Time = 0

INBOUND>>>>> 15:23:14:981 Eventid:24900(6)

RADIUS ACCOUNTING Rx PDU, from 192.168.50.200:1813 to 192.168.50.151:32783 (20) PDU-dict=starent-vsa1

Code: 5 (Accounting-Response)

Id: 8

Length: 20

Authenticator: 05 E2 82 29 45 FC BC D6 6C 48 63 AA 14 9D 47 5B

<<<<OUTBOUND 15:23:14:983 Eventid:24901(6)

RADIUS ACCOUNTING Tx PDU, from 192.168.50.151:32783 to 192.168.50.200:1813 (62) PDU-dict=starent-vsa1

Code: 4 (Accounting-Request)

Id: 9

Length: 62

Authenticator: 29 DB F1 0B EC CE 68 DB C7 4D 60 E4 7F A2 D0 3A

User-Name = test

NAS-IP-Address = 192.168.50.151

Acct-Status-Type = Stop

Acct-Session-Id = 00000000

NAS-Identifier = source

Acct-Session-Time = 0

INBOUND>>>>> 15:23:14:998 Eventid:24900(6)

RADIUS ACCOUNTING Rx PDU, from 192.168.50.200:1813 to 192.168.50.151:32783 (20) PDU-dict=starent-vsa1

Code: 5 (Accounting-Response)

Id: 9

Length: 20

Authenticator: D8 3D EF 67 EA 75 E0 31 A5 31 7F E8 7E 69 73 DC

De volgende uitvoer is voor hetzelfde analoge voorbeeld 36 dat zojuist is vermeld waar de connectiviteit op een specifieke RADIUS-boekhoudserver is verbroken:

[source]PDSN> radius test instance 36 accounting all test

Wednesday September 10 10:06:29 UTC 2014

RADIUS Start to accounting server 209.165.201.1, port 1646

Accounting Success: response received

Round-trip time for response was 51.2 ms

RADIUS Stop to accounting server 209.165.201.1, port 1646

Accounting Success: response received

Round-trip time for response was 46.2 ms

RADIUS Start to accounting server 209.165.201.2, port 1646

Accounting Success: response received

Round-trip time for response was 89.3 ms

RADIUS Stop to accounting server 209.165.201.2, port 1646

Accounting Success: response received

Round-trip time for response was 87.8 ms

RADIUS Start to accounting server 209.165.201.3, port 1646

Communication Failure: no response received

RADIUS Stop to accounting server 209.165.201.3, port 1646

Communication Failure: no response received

RADIUS Start to accounting server 209.165.201.4, port 1646

Accounting Success: response received

Round-trip time for response was 81.6 ms

RADIUS Stop to accounting server 209.165.201.4, port 1646

Accounting Success: response received

Round-trip time for response was 77.1 ms

RADIUS Start to accounting server 209.165.201.5, port 1646

Accounting Success: response received

Round-trip time for response was 46.7 ms

RADIUS Stop to accounting server 209.165.201.5, port 1646

Accounting Success: response received

Round-trip time for response was 46.7 ms

RADIUS Start to accounting server 209.165.201.6, port 1646

Accounting Success: response received

Round-trip time for response was 79.6 ms

RADIUS Stop to accounting server 209.165.201.6, port 1646

Accounting Success: response received

Round-trip time for response was 10113.0 ms

Straalinfo [Straalgroep <groepsnaam>]-instantie tonen | alle

Deze opdracht meldt de stroom-ID (Network Processor Unit) en de UDP-poort die door het geconfigureerde NAS IP-adres worden gebruikt voor de aansluiting op RADIUS-servers. Dit wordt gerapporteerd in het standaard gedeelte van de gegevensgroep van de uitvoer. Het poortnummer kan zeker nuttig zijn als je RADIUS-pakketten in een pakketvastlegging moet vergelijken met een specifiek voorbeeld # (Merk op dat NPU-stromen gecompliceerd zijn en niet iets dat in dit artikel wordt besproken, maar een entiteit die een ondersteuningsingenieur verder kan onderzoeken). Het volgt ook openstaande verzoeken aan de server. In hetzelfde voorbeeldprobleem dat door dit artikel wordt gebruikt, is alleen een specifiek RADIUS-server <=> NAS IP/UDP-poortpaar mislukt zoals gemarkeerd.

[source]PDSN> show radius info radius group all instance 114

Wednesday October 01 11:39:15 UTC 2014

Context source:

---------------------------------------------

AAAMGR instance 114:  cb-list-en: 1 AAA Group: aaa-roamingprovider.com

---------------------------------------------

Authentication servers:

---------------------------------------------

Primary  authentication server address 209.165.201.1, port 1645

state Active

priority 1

requests outstanding 0

max requests outstanding 3

consecutive failures 0

Secondary  authentication server address 209.165.201.2, port 1645

state Active

priority 2

requests outstanding 0

max requests outstanding 3

consecutive failures 0

Accounting servers:

---------------------------------------------

Primary  accounting server address 209.165.201.1, port 1646

state Active

priority 1

requests outstanding 0

max requests outstanding 3

consecutive failures 0

Secondary  accounting server address 209.165.201.2, port 1646

state Active

priority 2

requests outstanding 0

max requests outstanding 3

consecutive failures 0

AAAMGR instance 114:  cb-list-en: 1 AAA Group: aaa-maingroup.com

---------------------------------------------

Authentication servers:

---------------------------------------------

Primary  authentication server address 209.165.201.3, port 1645

state Active

priority 1

requests outstanding 0

max requests outstanding 3

consecutive failures 0

Secondary  authentication server address 209.165.201.4, port 1645

state Active

priority 2

requests outstanding 0

max requests outstanding 3

consecutive failures 0

Accounting servers:

---------------------------------------------

Primary  accounting server address 209.165.201.3, port 1646

state Down

priority 1

requests outstanding 3

max requests outstanding 3

consecutive failures 7

dead time expires in 146 seconds

Secondary  accounting server address 209.165.201.4, port 1646

state Active

priority 2

requests outstanding 0

max requests outstanding 3

consecutive failures 0

AAAMGR instance 114:  cb-list-en: 1 AAA Group: default

---------------------------------------------

socket number: 388550648

socket state: ready

local ip address: 10.210.21.234

local udp port: 25808

flow id: 20425379

use med interface: yes

VRF context ID: 2

Authentication servers:

---------------------------------------------

Primary  authentication server address 209.165.201.5, port 1645

state Active

priority 1

requests outstanding 0

max requests outstanding 3

consecutive failures 0

Secondary  authentication server address 209.165.201.6, port 1645

state Not Responding

priority 2

requests outstanding 0

max requests outstanding 3

consecutive failures 0

Accounting servers:

---------------------------------------------

Primary  accounting server address 209.165.201.5, port 1646

state Active

priority 1

requests outstanding 0

max requests outstanding 3

consecutive failures 0

Secondary  accounting server address 209.165.201.6, port 1646

state Active

priority 2

requests outstanding 0

max requests outstanding 3

consecutive failures 0

[source]PDSN>

monitor-abonnee

Monitorabonnee kan worden gebruikt om te bepalen of er ten minste een poging is gedaan tot verificatie en of een antwoord wordt verwerkt voor de oproepen die worden gevolgd. Schakel optie 'S' in die staat voor Sessmgr Sender Sender Sender Sender Sender Sender Sender of Aamgr Instance #, die de berichten in kwestie verwerkt. Hier is een voorbeeld van een MIP-oproep op een HA vastmaken aan sessmgr / aaamgr instanties 132.

Incoming Call:

----------------------------------------------------------------------

MSID/IMSI   :                             Callid      : 2719afb2

IMEI        : n/a                         MSISDN      : n/a

Username    : 6667067222@cisco.com        SessionType : ha-mobile-ip

Status      : Active                      Service Name: HAService

Src Context : source

----------------------------------------------------------------------

*** Sender Info (ON ) ***

Thursday June 11 2015

INBOUND>>>>>  From sessmgr:132 sessmgr_ha.c:861 (Callid 2719afb2) 15:42:35:742 Eventid:26000(3)

MIP Rx PDU, from 203.0.113.11:434 to 203.0.113.1:434 (190)

Message Type: 0x01 (Registration Request)

Flags: 0x02

Lifetime: 0x1C20

Home Address: 0.0.0.0

Home Agent Address: 255.255.255.255

Thursday June 11 2015

<<<<OUTBOUND  From aaamgr:132 aaamgr_radius.c:367 (Callid 2719afb2) 15:42:35:743 Eventid:23901(6)

RADIUS AUTHENTICATION Tx PDU, from 203.0.113.1:59933 to 209.165.201.3:1645 (301) PDU-dict=custom9

Code: 1 (Access-Request)

Id: 12

Length: 301

Thursday June 11 2015

INBOUND>>>>>  From aaamgr:132 aaamgr_radius.c:1999 (Callid 2719afb2) 15:42:35:915 Eventid:23900(6)

RADIUS AUTHENTICATION Rx PDU, from 209.165.201.3:1645 to 203.0.113.1:59933 (156) PDU-dict=custom9

Code: 2 (Access-Accept)

Id: 12

Thursday June 11 2015

<<<<OUTBOUND  From sessmgr:132 mipha_fsm.c:6617 (Callid 2719afb2) 15:42:36:265 Eventid:26001(3)

MIP Tx PDU, from 203.0.113.1:434 to 203.0.113.11:434 (112)

Message Type: 0x03 (Registration Reply)

Code: 0x00 (Accepted)

Lifetime: 0x1C20

Home Address: 10.229.6.167

Aan het einde van dit artikel is er ook een voorbeeld van een mislukking.

Packet Capture

Soms is er niet genoeg informatie over de ASR om te bepalen waarom bereikbaarheidsproblemen zich voordoen, in welk geval een pakketvastlegging nodig is. Wanneer u problemen oplost bij individuele abonnees, moet het identificeren van de respectieve pakketten in een spoor eenvoudig zijn. Anders kan het behulpzaam zijn als u weet dat de UDP-poort die wordt gebruikt aan elk uiteinde van een bepaalde aapag-instantie # <=> RADIUS-serverpaar wordt gebruikt als het probleem is verbonden met specifieke poorten/amgr-instanties.  Het kan nodig zijn om op meerdere plaatsen in het netwerk vast te stellen waar pakketten worden verzonden. In het probleem dat door dit artikel wordt geanalyseerd, was het een pakketvastlegging op precies de juiste plaats in het transportpad tussen de ASR en de RADIUS-server die de doorbraak was bij het oplossen van het probleem.

Remedities

Deze laatste sectie biedt een aantal ideeën om problemen met RADIUS-connectiviteit te verhelpen. Deze worden niet in een bepaalde volgorde weergegeven, maar hebben slechts een lijst die in het proces voor het oplossen van problemen moet worden opgenomen.

Als de RADIUS-server overbelast is, kan de lading verlaagd worden via de waarde (standaard 256) die is ingesteld voor "Straal (accounting) max-uitstaande", waarbij een limiet wordt ingesteld op het aantal uitstaande (onbeantwoorde) verzoeken om een bepaald AAMGR-proces. Indien de grenswaarde wordt bereikt, kan in het logboek het volgende worden vermeld: "Kan bericht id niet toewijzen voor de authenticatieserver x.x.x.x:1812".

RADIUS-berichten met een snelheidsbeperking voor specifieke servers kunnen ook de lading verminderen via het trefwoord voor de betreffende serverconfiguratie.

Soms is het geen probleem van connectiviteit maar van toegenomen boekhoudingsverkeer, wat geen probleem is met RADIUS-peray, maar wijst het op een ander gebied, zoals de toegenomen opp-heronderhandelingen, die leiden tot meer boekhoudkundige start- en stopzetting. Mogelijk moet je problemen oplossen buiten de RADIUS om een oorzaak of oorzaak te vinden voor de symptomen die worden waargenomen.

Als tijdens het proces van het oplossen van problemen het is besloten om een Straalauthenticatie of boekhoudserver van de lijst van levende servers te verwijderen om wat voor reden dan ook, is er een (niet-configuratie) bevel dat een server uit dienst zal nemen tot het is gewenst om het terug in dienst te stellen. Dit is een schonere benadering dan het handmatig uit de configuratie moet verwijderen:

{blokkeer | toelaten} straal [accounting] server x.x.x.x

[source]CSE2# show radius authentication servers detail

+-----Type:       (A) - Authentication   (a) - Accounting

|                 (C) - Charging         (c) - Charging Accounting

|                (M) - Mediation       (m) - Mediation Accounting

|

|+----Preference: (P) - Primary         (S) - Secondary

||

||+---State:     (A) - Active           (N) - Not Responding

|||               (D) - Down             (W) - Waiting Accounting-On

|||              (I) - Initializing     (w) - Waiting Accounting-Off

|||               (a) - Active Pending   (U) - Unknown

|||

|||+--Admin       (E) - Enabled         (D) - Disabled

|||| Status:

||||

||||+-Admin

||||| status     (O) - Overridden       (.) - Not Overridden

||||| Overridden:

|||||

vvvvv IP             PORT GROUP

----- --------------- ----- -----------------------

APNDO 192.168.50.200 1812 default

Een PSC- of DPC-migratie of een overschakeling op lijnkaarten kan vaak problemen opleveren doordat de migratie resulteert in het opnieuw opstarten van de processen op de kaart, inclusief de npumgr die van tijd tot tijd problemen heeft veroorzaakt met betrekking tot de NPU-stromen.

Maar in een interessante wending met het bovenvermelde voorbeeld van amgr 92 begonnen de AAA onbereikbare mislukkingen pas echt toen er een PSC-migratie plaatsvond. Dit werd veroorzaakt door een NPU-stroom die ontbrak toen een PSC-migratie plaatsvond, waardoor PSC 11 stand-by werd gezet. Toen deze een uur later actief werd, werd de werkelijke impact van de ontbrekende stroom gestart voor amgr 92. Problemen als deze zijn zeer moeilijk op te lossen zonder hulp van Technische ondersteuning.

[Ingressc]PGW# show rct stat

RCT stats Details (Last 6 Actions)

Action            Type      From To   Start Time                Duration

----------------- --------- ---- ---- ------------------------  ----------

Migration         Planned    11   16  2012-Jan-09+16:27:38.135  36.048 sec

Migration         Planned     3   11  2012-Jan-09+17:28:57.413  48.739 sec

Mon Jan 09 17:31:11 2012 Internal trap notification 39 (AAAAuthSvrUnreachable) server 2 ip address 209.165.201.3

Mon Jan 09 17:31:16 2012 Internal trap notification 40 (AAAAuthSvrReachable) server 2 ip address 209.165.201.3

Het probleem werd tijdelijk opgelost door een poortomschakeling waardoor de PSC-kaart, die een ontbrekende NPU-stroom voor amgr 92 had, niet langer werd aangesloten op een actieve lijnkaart.

Tue Jan 10 06:52:17 2012 Internal trap notification 93 (CardStandby) card 27

Tue Jan 10 06:52:17 2012 Internal trap notification 1024 (PortDown) card 27 port 1 ifindex 453050375port type 10G Ethernet

Tue Jan 10 06:52:17 2012 Internal trap notification 55 (CardActive) card 28

Tue Jan 10 06:52:17 2012 Internal trap notification 1025 (PortUp) card 28 port 1 ifindex 469827588port type 10G Ethernet

De laatste mislukkingsval:

Tue Jan 10 06:53:11 2012 Internal trap notification 43 (AAAAccSvrReachable) server 5 ip address 209.165.201.3

[Ingress]PGW# radius test instance 93 authen server 209.165.201.3 port 1645 test test

Tuesday January 10 07:18:22 UTC 2012

Authentication from authentication server 209.165.201.3, port 1645

Authentication Failure: Access-Reject received

Round-trip time for response was 38.0 ms

[Ingress]PGW# show session subsystem facility aaamgr instance 92

Tuesday January 10 07:39:47 UTC 2012

12294 Total aaa auth purged

14209 Total radius auth requests          0 Current radius auth requests

9494 Total radius requests pend server max-outstanding

0 Current radius requests pend server max-outstanding

Op dezelfde manier kan het opnieuw opstarten van specifieke programma's die "vastzitten" ook problemen oplossen, hoewel dit een activiteit is die Technische ondersteuning moet doen aangezien er beperkte opdrachten voor technische ondersteuning bij betrokken zijn. In het voorbeeld van amgr 92 dat eerder in het vak 'Show task resources' werd geïntroduceerd, werd geprobeerd maar niet geholpen, omdat de oorzaak hiervan niet gezocht werd in 92, maar eerder de ontbrekende NPU-stroom die er bij amgr 92 behoefte aan had (het was een NPU-kwestie, geen amgr-kwestie). Hier vindt u de resultaten van de poging. "Show task table" wordt uitgevoerd om de associatie van procesid en taakinstantie nr. 92 weer te geven.

5  2012-Jan-10+06:20:53 aaamgr   16/0/04722 12.0(40466) PLB27085474/PLB38098237

[Ingress]PGW# show crash number 5

********************* CRASH #05 ***********************

Build: 12.0(40466)

Fatal Signal 6: Aborted

PC: [b7eb6b90/X] __poll()

Note: User-initiated state dump w/core.

******** show task table *******

task                           parent

cpu facility      inst    pid pri  facility      inst    pid

---- -----------------------------  -------------------------

16/0 aaamgr          92   4722   0  sessctrl         0   2887

Eindvoorbeeld

Hier is een laatste voorbeeld van een echte opening in een levend netwerk dat veel van de opdrachten en benaderingen voor het oplossen van problemen die in dit artikel worden besproken, bij elkaar brengt. Merk op dat dit knooppunt 3G MIP, en 4G Long Term Evolution (LTE) verwerkt en de geëvolueerde High Rate Packet Data (eHRPD) gesprekstypen hanteert.

geschiedenis van snuisterij

Alleen al door de vallen kan worden bevestigd dat het beginpunt overeenkomt met wat de klant heeft gerapporteerd als 19:25 UTC. Let er even op dat AAAuthSvr onbereikbare vallen voor primaire server 209.165.201.3 niet tot uren later zijn begonnen (niet duidelijk waarom, maar goed om op te merken; maar accounting onbereikbaar voor die server begon onmiddellijk)

Sun Dec 29 19:28:13 2013 Internal trap notification 42 (AAAAccSvrUnreachable) server 5 ip address 209.165.201.3

Sun Dec 29 19:32:13 2013 Internal trap notification 39 (AAAAuthSvrUnreachable) server 2 ip address 209.165.201.3

Sun Dec 29 19:33:05 2013 Internal trap notification 40 (AAAAuthSvrReachable) server 2 ip address 209.165.201.3

Sun Dec 29 19:34:13 2013 Internal trap notification 43 (AAAAccSvrReachable) server 5 ip address 209.165.201.3

Sun Dec 29 19:34:13 2013 Internal trap notification 39 (AAAAuthSvrUnreachable) server 2 ip address 209.165.201.3

Sun Dec 29 19:35:05 2013 Internal trap notification 40 (AAAAuthSvrReachable) server 2 ip address 209.165.201.3

Sun Dec 29 19:38:13 2013 Internal trap notification 42 (AAAAccSvrUnreachable) server 6 ip address 209.165.201.8

...

Sun Dec 29 23:12:13 2013 Internal trap notification 39 (AAAAuthSvrUnreachable) server 4 ip address 209.165.201.3

Sun Dec 29 23:13:03 2013 Internal trap notification 40 (AAAAuthSvrReachable) server 4 ip address 209.165.201.3

Sun Dec 29 23:54:13 2013 Internal trap notification 39 (AAAAuthSvrUnreachable) server 4 ip address 209.165.201.3

Sun Dec 29 23:54:14 2013 Internal trap notification 40 (AAAAuthSvrReachable) server 4 ip address 209.165.201.3

Sun Dec 29 23:58:13 2013 Internal trap notification 39 (AAAAuthSvrUnreachable) server 4 ip address 209.165.201.3

Sun Dec 29 23:58:14 2013 Internal trap notification 40 (AAAAuthSvrReachable) server 4 ip address 209.165.201.3

taakresources tonen

De productie laat een veel lager aantal oproepen op DPC 8/1 zien. Op basis hiervan alleen, en zonder verdere analyse, zou je kunnen opperen dat er een probleem is op DPC 8 en de optie voorstellen om te migreren naar de standby DPC. Maar het is belangrijk om te erkennen wat de eigenlijke impact van de abonnee is - in deze scenario's zullen de abonnees zich doorgaans succesvol aansluiten bij een volgende poging en is de impact niet te significant voor de abonnee en zullen ze waarschijnlijk niets aan de provider melden, ervan uitgaande dat er ook geen startvertraging is (wat mogelijk is afhankelijk van het defecte vliegtuig).

7/1 sessmgr        230  27% 100% 586.2M  2.49G   43  500  4123 35200 I   good

7/1 aaamgr         237 0.9%  95% 143.9M 640.0M   22  500    --    -- -   good

7/1 sessmgr        243  22% 100% 588.1M  2.49G   42  500  4118 35200 I   good

7/1 sessmgr        258  19% 100% 592.8M  2.49G   43  500  4122 35200 I   good

7/1 aaamgr         268 0.9%  95% 143.5M 640.0M   22  500    --    -- -   good

7/1 sessmgr        269  23% 100% 586.7M  2.49G   43  500  4115 35200 I   good

7/1 aaamgr         274 0.4%  95% 144.9M 640.0M   22  500    --    -- -   good

7/1 sessmgr        276  30% 100% 587.9M  2.49G   43  500  4123 35200 I   good

7/1 aaamgr         285 1.0%  95% 142.7M 640.0M   22  500    --    -- -   good

7/1 aaamgr         286 0.8%  95% 143.8M 640.0M   22  500    --    -- -   good

7/1 sessmgr        290  28% 100% 588.2M  2.49G   41  500  4115 35200 I   good

8/0 sessmgr        177  23% 100% 588.7M  2.49G   48  500  4179 35200 I   good

8/0 sessmgr        193  24% 100% 591.3M  2.49G   44  500  4173 35200 I   good

8/0 aaamgr         208 0.9%  95% 143.8M 640.0M   22  500    --    -- -   good

8/0 sessmgr        211  23% 100% 592.1M  2.49G   45  500  4173 35200 I   good

8/0 sessmgr        221  27% 100% 589.2M  2.49G   44  500  4178 35200 I   good

8/0 aaamgr         222 0.9%  95% 142.0M 640.0M   22  500    --    -- -   good

8/0 sessmgr        225  25% 100% 592.0M  2.49G   43  500  4177 35200 I   good

8/0 aaamgr         238 0.9%  95% 140.0M 640.0M   22  500    --    -- -   good

8/0 aaamgr         243 1.0%  95% 144.9M 640.0M   22  500    --    -- -   good

8/0 sessmgr        244  31% 100% 593.3M  2.49G   43  500  4177 35200 I   good

8/0 aaamgr         246 0.9%  95% 138.5M 640.0M   22  500    --    -- -   good

8/0 aaamgr         248 0.9%  95% 141.4M 640.0M   22  500    --    -- -   good

8/0 aaamgr         258 0.9%  95% 138.3M 640.0M   22  500    --    -- -   good

8/0 aaamgr         259 0.8%  95% 139.2M 640.0M   22  500    --    -- -   good

8/0 aaamgr         260 0.8%  95% 142.9M 640.0M   22  500    --    -- -   good

8/0 aaamgr         262 0.9%  95% 145.0M 640.0M   22  500    --    -- -   good

8/0 aaamgr         264 0.9%  95% 143.4M 640.0M   22  500    --    -- -   good

8/0 sessmgr        270  24% 100% 592.2M  2.49G   44  500  4171 35200 I   good

8/0 sessmgr        277  20% 100% 593.7M  2.49G   43  500  4176 35200 I   good

8/0 sessmgr        288  23% 100% 591.9M  2.49G   43  500  4177 35200 I   good

8/0 sessmgr        296  24% 100% 593.0M  2.49G   42  500  4170 35200 I   good

8/1 sessmgr        186 2.0% 100% 568.3M  2.49G   48  500  1701 35200 I   good

8/1 sessmgr        192 2.0% 100% 571.1M  2.49G   46  500  1700 35200 I   good

8/1 aaamgr         200 1.0%  95% 147.3M 640.0M   22  500    --    -- -   good

8/1 sessmgr        210 2.1% 100% 567.1M  2.49G   46  500  1707 35200 I   good

8/1 aaamgr         216 0.9%  95% 144.6M 640.0M   22  500    --    -- -   good

8/1 sessmgr        217 2.0% 100% 567.7M  2.49G   45  500  1697 35200 I   good

8/1 sessmgr        231 2.2% 100% 565.7M  2.49G   45  500  1705 35200 I   good

8/1 sessmgr        240 2.0% 100% 569.8M  2.49G   45  500  1702 35200 I   good

8/1 aaamgr         242 0.9%  95% 148.5M 640.0M   22  500    --    -- -   good

8/1 sessmgr        252 1.8% 100% 566.5M  2.49G   44  500  1704 35200 I   good

8/1 aaamgr         261 0.9%  95% 142.0M 640.0M   22  500    --    -- -   good

8/1 aaamgr         263 1.0%  95% 144.1M 640.0M   22  500    --    -- -   good

8/1 aaamgr         265 1.0%  95% 146.4M 640.0M   22  500    --    -- -   good

8/1 aaamgr         267 1.0%  95% 144.4M 640.0M   22  500    --    -- -   good

8/1 aaamgr         269 1.0%  95% 143.8M 640.0M   22  500    --    -- -   good

8/1 sessmgr        274 1.9% 100% 570.5M  2.49G   44  500  1704 35200 I   good

8/1 sessmgr        283 2.0% 100% 570.0M  2.49G   44  500  1708 35200 I   good

8/1 sessmgr        292 2.1% 100% 567.6M  2.49G   44  500  1703 35200 I   good

9/0 sessmgr          1  30% 100% 587.2M  2.49G   48  500  4161 35200 I   good

9/0 diamproxy        1 5.2%  90% 37.74M 250.0M  420 1000    --    -- -   good

9/0 sessmgr         14  25% 100% 587.4M  2.49G   48  500  4156 35200 I   good

9/0 sessmgr         21  20% 100% 591.5M  2.49G   47  500  4156 35200 I   good

9/0 sessmgr         34  23% 100% 586.5M  2.49G   48  500  4155 35200 I   good

9/0 aaamgr          44 0.9%  95% 145.1M 640.0M   21  500    --    -- -   good

9/0 sessmgr         46  29% 100% 592.1M  2.49G   48  500  4157 35200 I   good

monitor-abonnee

Er werd een oproep geplaatst waarin geen antwoord werd gevonden op het verzoek om verificatie op primaire 209.165.201.3 voor sessmgr 242 op DPC 9/1, die toevallig zijn aangekoppelde Aamgr op DPC 8/1 heeft gevestigd, hetgeen een bevestiging is van 3G-storingen door AAA onbereikbaar op 8/1. Ook bevestigt dit dat er geen sprake was AAAuthSrvOnbereikbare vallen voor 209.165.2013 tot op dat moment in de tijd, betekent dit niet dat er geen probleem is voor het verwerken van reacties voor die server (zoals hierboven wordt getoond, beginnen vallen wel, maar uren later).

8/1 aaamgr         242 0.9%  95% 148.5M 640.0M   22  500    --    -- -   good

9/1 sessmgr        242  20% 100% 589.7M  2.49G   43  500  4167 35200 I   good

----------------------------------------------------------------------

Incoming Call:

----------------------------------------------------------------------

MSID/IMSI   :                             Callid      : 4537287a

IMEI        : n/a                         MSISDN      : n/a

Username    : 6664600074@cisco.com        SessionType : ha-mobile-ip

Status      : Active                      Service Name: HAService

Src Context : Ingress

----------------------------------------------------------------------

INBOUND>>>>>  From sessmgr:242 sessmgr_ha.c:880 (Callid 4537287a) 23:18:19:099 Eventid:26000(3)

MIP Rx PDU, from 203.0.113.1:434 to 203.0.113.3:434 (190)

Message Type: 0x01 (Registration Request)

<<<<OUTBOUND  From aaamgr:242 aaamgr_radius.c:370 (Callid 4537287a) 23:18:19:100 Eventid:23901(6)

RADIUS AUTHENTICATION Tx PDU, from 203.0.113.3:27856 to 209.165.201.3:1645 (301) PDU-dict=custom9

Code: 1 (Access-Request)

Id: 195

Length: 301

Authenticator: CD 59 0C 6D 37 2C 5D 19 FB 60 F3 35 23 BB 61 6B

User-Name = 6664600074@cisco.com

INBOUND>>>>>  From sessmgr:242 mipha_fsm.c:8438 (Callid 4537287a) 23:18:21:049 Eventid:26000(3)

MIP Rx PDU, from 203.0.113.1:434 to 203.0.113.3:434 (140)

Message Type: 0x01 (Registration Request)

Flags: 0x02

Lifetime: 0x1C20

<<<<OUTBOUND  From sessmgr:242 mipha_fsm.c:6594 (Callid 4537287a) 23:18:22:117 Eventid:26001(3)

MIP Tx PDU, from 203.0.113.3:434 to 203.0.113.1:434 (104)

Message Type: 0x03 (Registration Reply)

Code: 0x83 (Mobile Node Failed Authentication)

***CONTROL*** From sessmgr:242 sessmgr_func.c:6746 (Callid 4537287a) 23:18:22:144 Eventid:10285

CALL STATS: <6664600074@cisco.com>, msid <>, Call-Duration(sec): 0

Disconnect Reason: MIP-auth-failure

Last Progress State: Authenticating

subinstantie [samenvatting]-model X tonen

Interessant is dat het aantal sessies voor sessmgr 242 gelijk is aan andere werksessmgras. Uit verder onderzoek bleek dat 4G-oproepen, die ook op dit chassis werden ontvangen, konden worden aangesloten en dat ze op die manier het gebrek aan 3G mobiele IP-telefoons hadden opgelost.  Er kan worden bepaald dat als je teruggaat tot 8 uur nadat de stroomuitval is begonnen, er geen MIP-oproepen naar deze sessor 242 zijn, terwijl je 9 uur terug gaat naar 9 uur voor het begin van de uitval, er sprake is van verbonden oproepen:

[local]PGW# show sub sum smgr-instance 242 connected-time less-than 28800  (8 hours)

Monday December 30 03:38:23 UTC 2013

Total Subscribers:             1504

Active:                        1504          Dormant:                       0

hsgw-ipv4-ipv6:                0             pgw-pmip-ipv6:                 98

pgw-pmip-ipv4:                 0             pgw-pmip-ipv4-ipv6:            75

pgw-gtp-ipv6:                  700           pgw-gtp-ipv4:                  3

pgw-gtp-ipv4-ipv6:             628           sgw-gtp-ipv6:                  0

..

ha-mobile-ip:                  0             ggsn-pdp-type-ppp:             0

[local]PGW# show sub sum smgr-instance 242 connected-time less-than 32400 (9 hours)

Monday December 30 03:38:54 UTC 2013      ...

ha-mobile-ip:                  63            ggsn-pdp-type-ppp:             0

LTE- en eHRPD-oproepen tonen een hogere verhouding tot MIP-oproepen bij het vergelijken van beelden die zijn aangesloten op werkende en defecte programma's:

[local]PGW# show sub sum smgr-instance 272

Monday December 30 03:57:51 UTC 2013

hsgw-ipv4-ipv6:                0             pgw-pmip-ipv6:                 125      pgw-pmip-ipv4:                 0             pgw-pmip-ipv4-ipv6:            85       pgw-gtp-ipv6:                  1530

pgw-gtp-ipv4-ipv6:             1126

ha-mobile-ip:                  1103

[local]PGW# show sub sum smgr-instance 242

Monday December 30 03:52:35 UTC 2013

hsgw-ipv4-ipv6:                0             pgw-pmip-ipv6:                 172         pgw-pmip-ipv4:                 0             pgw-pmip-ipv4-ipv6:            115

pgw-gtp-ipv6:                  1899

pgw-gtp-ipv4-ipv6:             1348

ha-mobile-ip:                  447

Straaltestinstantie X-verificatieserver

Alle programma's op 8/1 zijn dood - er zijn geen opdrachten voor een testinstantie in een straal die voor een van deze programma's werken, maar wel werken voor Aamgrs op 8/0 en andere kaarten:

9/1 sessmgr        242  22% 100% 600.6M  2.49G   41  500  3989 35200 I   good

4/1 sessmgr         20  27% 100% 605.1M  2.49G   47  500  3965 35200 I   good

4/0 sessmgr         27  25% 100% 592.8M  2.49G   46  500  3901 35200 I   good

8/1 aaamgr         242 0.9%  95% 150.6M 640.0M   22  500    --    -- -   good

8/1 aaamgr          20 1.0%  95% 151.9M 640.0M   21  500    --    -- -   good

8/0 aaamgr          27 1.0%  95% 146.4M 640.0M   21  500    --    -- -   good

[Ingress]PGW# radius test instance 242 auth server 209.165.201.3 port 1645 test test

Monday December 30 01:03:08 UTC 2013

Authentication from authentication server 209.165.201.3, port 1645

Communication Failure: No response received

[Ingress]PGW# radius test instance 20 auth server 209.165.201.3 port 1645 test test

Monday December 30 01:08:45 UTC 2013

Authentication from authentication server 209.165.201.3, port 1645

Communication Failure: No response received

[Ingress]PGW# radius test instance 27 auth server 209.165.201.3 port 1645 test test

Monday December 30 01:11:40 UTC 2013

Authentication from authentication server 209.165.201.3, port 1645

Authentication Failure: Access-Reject received

Round-trip time for response was 16.8 ms

Straaltellers tonen allen

De vlaggenschipopdracht voor het oplossen van RADIUS toont veel timeouts die snel toenemen:

[Ingress]PGW> show radius counters all | grep -E "Authentication server address|Access-Request Timeouts"

Monday December 30 00:42:24 UTC 2013

Authentication server address 209.165.201.3, port 1645, group default

Access-Request Timeouts:                                  400058

Authentication server address 209.165.201.5, port 1645, group default

Access-Request Timeouts:                                  26479

[Ingress]PGW> show radius counters all | grep -E "Authentication server address|Access-Request Timeouts"

Monday December 30 00:45:23 UTC 2013

Authentication server address 209.165.201.3, port 1645, group default

Access-Request Timeouts:                                  400614

Authentication server address 209.165.201.5, port 1645, group default

Access-Request Timeouts:                                  26679

[Ingress]PGW> show radius counters all

Monday December 30 00:39:15 UTC 2013

...

Authentication server address 209.165.201.3, port 1645, group default

Access-Request Sent:                                      233262801

Access-Request with DMU Attributes Sent:                  0

Access-Request Pending:                                   22

Access-Request Retried:                                   0

Access-Request with DMU Attributes Retried:               0

Access-Challenge Received:                                0

Access-Accept Received:                                   213448486

Access-Reject Received:                                   19414836

Access-Reject Received with DMU Attributes:               0

Access-Request Timeouts:                                  399438

Access-Request Current Consecutive Failures in a mgr:     3

Access-Request Response Bad Authenticator Received:       16187

Access-Request Response Malformed Received:               1

Access-Request Response Malformed Attribute Received:     0

Access-Request Response Unknown Type Received:            0

Access-Request Response Dropped:                          9039

Access-Request Response Last Round Trip Time:             267.6 ms

Access-Request Response Average Round Trip Time:          201.9 ms

Current Access-Request Queued:                            2

Authentication server address 209.165.201.5, port 1645, group default

Access-Request Sent:                                      27731

Access-Request with DMU Attributes Sent:                  0

Access-Request Pending:                                   0

Access-Request Retried:                                   0

Access-Request with DMU Attributes Retried:               0

Access-Challenge Received:                                0

Access-Accept Received:                                   1390

Access-Reject Received:                                   101

Access-Reject Received with DMU Attributes:               0

Access-Request Timeouts:                                  26240

Access-Request Current Consecutive Failures in a mgr:     13

Access-Request Response Bad Authenticator Received:       0

Access-Request Response Malformed Received:               0

Access-Request Response Malformed Attribute Received:     0

Access-Request Response Unknown Type Received:            0

Access-Request Response Dropped:                          0

Access-Request Response Last Round Trip Time:             227.5 ms

Access-Request Response Average Round Trip Time:          32.3 ms

Current Access-Request Queued:                            0

verbetering

Tijdens de onderhoudsvensters werd de kwestie opgelost door een DPC-migratie van 8 naar 10, door de AAAAuthSrvOnbereikbare vallen te stoppen en door DPC 8 was RMA's gedaan en de oorzaak was vastgesteld dat de hardware-storing op DPC 8 was (details van die storing zijn niet belangrijk te weten in de zin van dit artikel).

Mon Dec 30 05:58:14 2013 Internal trap notification 39 (AAAAuthSvrUnreachable) server 4 ip address 209.165.201.3

Mon Dec 30 05:58:14 2013 Internal trap notification 39 (AAAAuthSvrUnreachable) server 2 ip address 209.165.201.5

Mon Dec 30 05:58:27 2013 Internal trap notification 40 (AAAAuthSvrReachable) server 2 ip address 209.165.201.5

Mon Dec 30 05:58:27 2013 Internal trap notification 40 (AAAAuthSvrReachable) server 4 ip address 209.165.201.3

Mon Dec 30 05:59:14 2013 Internal trap notification 43 (AAAAccSvrReachable) server 5 ip address 209.165.201.5

Mon Dec 30 06:01:14 2013 Internal trap notification 39 (AAAAuthSvrUnreachable) server 4 ip address 209.165.201.3

Mon Dec 30 06:01:27 2013 Internal trap notification 40 (AAAAuthSvrReachable) server 4 ip address 209.165.201.3

Mon Dec 30 06:01:28 2013 Internal trap notification 16 (PACMigrateStart) from card 8 to card 10

Mon Dec 30 06:01:49 2013 Internal trap notification 60 (CardDown) card 8 type Data Processing Card

Mon Dec 30 06:01:50 2013 Internal trap notification 1504 (CiscoFruCardStatusChanged) FRU entity Card : 10 operational status changed to Active

Mon Dec 30 06:01:50 2013 Internal trap notification 55 (CardActive) card 10 type Data Processing Card

Mon Dec 30 06:01:50 2013 Internal trap notification 17 (PACMigrateComplete) from card 8 to card 10

Mon Dec 30 06:02:08 2013 Internal trap notification 5 (CardUp) card 8 type Data Processing Card

Mon Dec 30 06:02:08 2013 Internal trap notification 1502 (EntStateOperEnabled) Card(8) Severity: Warning

Mon Dec 30 06:02:08 2013 Internal trap notification 93 (CardStandby) card 8 type Data Processing Card

Mon Dec 30 06:08:41 2013 Internal trap notification 1504 (CiscoFruCardStatusChanged) FRU entity Card : 08 operational status changed to Offline

Mon Dec 30 06:08:41 2013 Internal trap notification 60 (CardDown) card 8 type Data Processing Card

Mon Dec 30 06:08:41 2013 Internal trap notification 1503 (EntStateOperDisabled) Card(8) Severity: Critical

Mon Dec 30 06:09:24 2013 Internal trap notification 1505 (CiscoFruPowerStatusChanged) FRU entity Card : 08 Power OFF

Mon Dec 30 06:09:24 2013 Internal trap notification 1504 (CiscoFruCardStatusChanged) FRU entity Card : 08 operational status changed to Empty

Mon Dec 30 06:09:24 2013 Internal trap notification 7 (CardRemoved) card 8 type Data Processing Card

Mon Dec 30 06:09:24 2013 Internal trap notification 1507 (CiscoFruRemoved) FRU entity Card : 08 removed

Mon Dec 30 06:09:24 2013 Internal trap notification 1505 (CiscoFruPowerStatusChanged) FRU entity Card : 08 Power OFF

Mon Dec 30 06:09:50 2013 Internal trap notification 1505 (CiscoFruPowerStatusChanged) FRU entity Card : 08 Power ON

Mon Dec 30 06:09:53 2013 Internal trap notification 1504 (CiscoFruCardStatusChanged) FRU entity Card : 08 operational status changed to Offline

Mon Dec 30 06:09:53 2013 Internal trap notification 8 (CardInserted) card 8 type Data Processing Card

Mon Dec 30 06:09:53 2013 Internal trap notification 1506 (CiscoFruInserted) FRU entity Card : 08 inserted

Mon Dec 30 06:10:00 2013 Internal trap notification 1504 (CiscoFruCardStatusChanged) FRU entity Card : 08 operational status changed to Booting

Mon Dec 30 06:11:59 2013 Internal trap notification 1504 (CiscoFruCardStatusChanged) FRU entity Card : 08 operational status changed to Standby

Mon Dec 30 06:11:59 2013 Internal trap notification 5 (CardUp) card 8 type Data Processing Card

Mon Dec 30 06:11:59 2013 Internal trap notification 93 (CardStandby) card 8 type Data Processing Card

[local]PGW# show rct stat

Wednesday January 01 16:47:21 UTC 2014

RCT stats Details (Last 2 Actions)

Action            Type      From To   Start Time                Duration

----------------- --------- ---- ---- ------------------------  ----------

Migration         Planned     8   10  2013-Dec-30+06:01:28.323  21.092 sec

Shutdown          N/A         8    0  2013-Dec-30+06:08:41.483   0.048 sec