목차

소개

트랩 트리거

aaamgr 프로세스 접근 방식의 연속 실패

Keepalive 접근 방식

문제 해결 명령/접근 방식

Radius 컨피그레이션 기본 사항

작업 리소스 기능 aamgr 모두 표시

radius 카운터 표시 { {all | 서버 } [인스턴스 ] | 요약}

세션 하위 시스템 기능 {aaamgr 표시 | sessmgr} {모두 | 인스턴스 }

ping

추적

radius 테스트 인스턴스 x 인증 {radius 그룹 | 모두 | 서버 포트 }

radius 테스트 인스턴스 x 계정 {radius 그룹 | 모두 | 서버 포트 }

radius 정보 표시[radius 그룹 ] 인스턴스 { X | 모두}

가입자 모니터링

패킷 캡처

교정

최종 예

관련 Cisco 지원 커뮤니티 토론

소개

이 문서에서는 구독자(또는 노드에 로그인하는 운영자를 인증하는 데 사용되는 RADIUS(Remote Authentication Dial-In User Service) 서버의 연결 문제로 인해 트리거되는 SNMP 트랩 AAAAccSrvUnreachable 및 AAAAuthSrvUnreachable의 문제를 해결하는 방법에 대해 설명합니다. 이러한 트랩 중 하나가 트리거될 시기를 결정하는 데 두 가지 방법을 사용할 수 있습니다.이 문서에서는 이러한 트랩을 트리거하는 조건과 근본 원인을 파악하고 이를 해결하기 위해 어떤 문제 해결 접근 방식과 데이터 수집을 수행할 수 있는지 설명합니다.또한 고려할 수 있는 몇 가지 잠재적인 개선 단계에 대해서도 설명합니다.

연결 불가능 결과의 결과는 통화 실패 또는 계정 실패(radius 응답이 수락 대신 거부)인 경우와 동일)합니다.성공/실패(인증) 속도는 시간 초과/도달 가능성과 독립적으로 측정되며(이에 대한 트랩 및 경보가 있음) 자체 권한으로 분석할 수 있지만, 이 문서의 핵심은 거부 문제가 아니라 연결 가능성 문제에 대한 것입니다.

LAB의 출력 예와 실제 티켓은 전체 단계에서 논의를 유도하는 데 사용됩니다.이 문서에서 공용 IP 주소는 위조 주소입니다.

트랩 트리거

두 가지 모델/알고리즘/접근 방식을 선택하여 RADIUS 서버의 상태를 확인하고 오류가 발생할 경우 다른 서버를 시도할 수 있습니다.

aaamgr 프로세스 접근 방식의 연속 실패

원래 접근 방식과 연산자가 더 자주 사용하는 방식은 특정 aaamgr 프로세스에 대해 행에서 발생한 실패 횟수를 추적하는 것과 관련이 있습니다.aaamgr 프로세스는 모든 RADIUS 메시지 처리 및 RADIUS 서버와의 교환을 담당하며, 많은 aamgr 프로세스가 하나의 섀시에 존재하며, 각 프로세스는 sessmgr 프로세스(통화 제어를 담당하는 주 프로세스)와 페어링됩니다.("show task resources" 명령으로 모든 aaamgr 프로세스 보기) 따라서 특정 aaamgr 프로세스는 단일 통화뿐만 아니라 여러 통화에 대한 radius 메시지를 처리하고, 이 알고리즘에는 특정 aaamgr 프로세스가 재전송해야 했던 동일한 요청에 대한 응답을 수신하지 못한 행(즉, "show radius counters"에 보고된 "Access-Request Timeout")을 추적하는 작업이 포함됩니다.

이 경우 "show radius counters"의 각 카운터 "Access-Request Current Consecutive Failures in a mgr"도 증가합니다. "show radius accounting (or authentication) servers detail" 명령은 radius 상태 변경의 타임스탬프를 Active에서 Not Responding으로 나타냅니다. 단 하나의 실패에 대해서는 SNMP 트랩 또는 로그가 생성되지 않습니다. 다음은 radius 어카운팅의 예입니다.

[source]PDSN> show radius accounting servers detail

Friday November 28 23:23:34 UTC 2008

+-----Type:       (A) - Authentication   (a) - Accounting

|                 (C) - Charging         (c) - Charging Accounting

|                 (M) - Mediation       (m) - Mediation Accounting

|

|+----Preference: (P) - Primary         (S) - Secondary

||

||+---State:     (A) - Active          (N) - Not Responding

|||               (D) - Down             (W) - Waiting Accounting-On

|||               (I) - Initializing     (w) - Waiting Accounting-Off

|||               (a) - Active Pending   (U) - Unknown

|||

|||+--Admin       (E) - Enabled         (D) - Disabled

|||| Status:

||||

||||+-Admin

||||| status     (O) - Overridden       (.) - Not Overridden

||||| Overridden:

|||||

vvvvv IP             PORT GROUP

------ ------------- ----- -----------------------

PNE. 198.51.100.1    1813 default

Event History:

2008-Nov-28+23:18:36       Active

2008-Nov-28+23:18:57       Not Responding

2008-Nov-28+23:19:12       Active

2008-Nov-28+23:19:30       Not Responding

2008-Nov-28+23:19:36       Active

2008-Nov-28+23:20:57       Not Responding

2008-Nov-28+23:21:12       Active

2008-Nov-28+23:22:31       Not Responding

2008-Nov-28+23:22:36       Active

2008-Nov-28+23:23:30       Not Responding

이 카운터가 재설정하지 않고 구성된 값(기본값 = 4)에 도달하면 구성할 수 있습니다.(대괄호 [ ] 는 선택적 한정자를 나타내는 데 사용되며 이러한 경우 문제 해결 어카운팅을 캡처합니다(어카운팅이 지정되지 않은 경우 인증은 기본값입니다).

radius [accounting] dead 서버 연속 실패 탐지 4

그러면 이 서버는 구성된 기간(분)에 대해 "Down"으로 표시됩니다.

radius [accounting] deadtime 10

SNMP 트랩 및 로그도 다음과 같이 각각 인증 및/또는 어카운팅에 대해 트리거됩니다.

Fri Jan 30 06:17:19 2009 Internal trap notification 39 (AAAAuthSvrUnreachable) server 2 ip address 172.28.221.178

Fri Jan 30 06:22:19 2009 Internal trap notification 40 (AAAAuthSvrReachable) server 2 ip address 172.28.221.178

Fri Nov 28 21:59:12 2008 Internal trap notification 42 (AAAAccSvrUnreachable) server 6 ip address 172.28.221.178

Fri Nov 28 22:28:29 2008 Internal trap notification 43 (AAAAccSvrReachable) server 6 ip address 172.28.221.178

2008-Nov-28+21:59:12.899 [radius-acct 24006 warning] [8/0/518 <aaamgr:231> aaamgr_config.c:1060] [context: source, contextID: 2] [software internal security config user critical-info] Server 172.28.221.178:1813 unreachable

2008-Nov-28+22:28:29.280 [radius-acct 24007 info] [8/0/518 <aaamgr:231> aaamgr_config.c:1068] [context: source, contextID: 2] [software internal security config user critical-info] Server 172.28.221.178:1813 reachable

트랩은 연결할 수 없는 서버를 나타냅니다.패턴을 기록해 두십시오.예를 들어, 한 서버나 다른 서버 또는 모든 서버에서 이러한 현상이 발생하고 있으며, 바운스 빈도는 얼마입니까? 지속적으로 또는 때때로 발생합니까?

또한 이 트랩을 트리거하는 데 필요한 모든 작업은 하나의 aaamgr에 실패하기 위한 것이며, 따라서 이 트랩에 대한 까다로운 부분은 문제의 범위를 나타내지 않는다는 것입니다.매우 광범위하거나 매우 사소한 것이 될 수 있습니다. 이는 운영자가 결정하고 이를 파악하는 접근 방식이 이 문서에서 논의됩니다.

show snmp trap statistics는 이전 트랩이 삭제된 지 오래되었더라도 부팅 이후 트리거된 횟수를 보고합니다.다음 예에서는 어카운팅에 연결할 수 없는 문제를 보여 줍니다.

[source]PDSN> show snmp trap statistics | grep -i aaa

Wednesday September 10 08:38:19 UTC 2014

Trap Name                            #Gen #Disc  Disable Last Generated

----------------------------------- ----- -----  ------- --------------------

AAAAccSvrUnreachable                  833     0       0  2014:09:10:08:36:54

AAAAccSvrReachable                    839     0       0  2014:09:10:08:37:00

위 예에서 보고된 aaamgr는 #231입니다. SMC(시스템 관리 카드)에 있는 ASR 5000의 management aamgr입니다. 이 출력에서 잘못된 점은 개별 aaamgr 또는 aaamgrs에서 연결 가능성 문제가 발생할 경우 로그에 보고된 인스턴스 번호가 관리 aamgr 인스턴스이며 문제가 발생한 특정 인스턴스가 아니라는 것입니다.이는 많은 인스턴스가 연결성 문제를 경험하고 있는 경우 로깅이 모두 보고될 경우 신속하게 가득 찰 수 있기 때문에 설계에서 일반적으로 관리 인스턴스에 대해 보고해야 하기 때문에, 이를 모르는 경우 확실히 속이는 것입니다.문제 해결 섹션에서 어떤 aaamgr이 실패했는지 확인하는 방법에 대한 자세한 정보가 제공됩니다.  일부 버전의 StarOS 17 및 v18+부터 이 동작이 변경되어 연결 문제가 있는 해당 aaamgr 인스턴스 번호(SNMP 트랩에서 보고됨)가 특정 ID를 가진 로그(Cisco CDETS CSCum84773)에 보고되지만 이 문제의 첫 번째 발생(여러 회선에서)만 보고됩니다.

management aamgr은 최대 sessmgr 인스턴스 번호 + 1이므로 ASR 5500에서는 385(DPC) 또는 1153(DPC 2용)입니다.

sidenote로서 management aaamgr는 운영자/관리자 로그인을 처리하고 RADIUS 서버 자체에서 시작된 권한 부여 요청 변경을 처리합니다.

계속 진행하면 "show radius accounting (or authentication) servers detail" 명령은 트랩/로그에 해당하는 상태 변경 타임스탬프를 Down으로 나타냅니다(미리 알림:이전에 정의된 Not Responding은 시간 초과를 가져오는 단일 aaamgr일 뿐이지만 Down은 Down을 트리거할 구성당 충분한 연속 시간 초과를 가져오는 단일 aamgr입니다.

vvvvv IP             PORT GROUP

----- --------------- ----- -----------------------

aSDE. 172.28.221.178 1813 default

Event History:

2008-Nov-28+21:59:12       Down

2008-Nov-28+22:28:29       Active

2008-Nov-28+22:28:57       Not Responding

2008-Nov-28+22:32:12       Down

2008-Nov-28+23:01:57       Active

2008-Nov-28+23:02:12       Not Responding

2008-Nov-28+23:05:12       Down

2008-Nov-28+23:19:29       Active

2008-Nov-28+23:19:57       Not Responding

2008-Nov-28+23:22:12       Down

구성된 서버가 하나뿐이면 통화가 성공적으로 설정되기 때문에 다운된 것으로 표시되지 않습니다.

"response-timeout"이라는 detect-dead-server 컨피그레이션 라인에서 구성할 수 있는 다른 매개변수가 있다는 점을 언급해 보겠습니다.지정하면 연속 실패 및 응답 시간 초과 조건이 모두 충족될 때만 서버가 다운된 것으로 표시됩니다.response-timeout은 특정 서버로 전송된 모든 요청에 대해 응답이 수신되지 않는 기간을 지정합니다.(응답이 수신되면 이 타이머가 계속 재설정됩니다.) 이 상태는 서버 또는 네트워크 연결이 완전히 다운된 경우와 부분적으로 손상/성능이 저하된 경우에 발생할 수 있습니다.

이 활용 사례는 트래픽의 버스트로 인해 연속적인 실패가 트리거되지만, 그 결과로 서버를 즉시 다운시키는 시나리오를 예로 들 수 있습니다.대신, 응답이 수신되지 않는 특정 기간이 지나면 서버가 다운된 것으로 표시되므로 실제 서버의 연결이 끊어진 것으로 나타납니다.

방금 설명한 radius 상태 시스템 변경 제어 방법은 모든 aaamgr 프로세스를 살펴보고 실패한 재시도 조건을 트리거하는 프로세스를 찾는 방법에 따라 달라집니다.이 방법은 어느 정도의 임의 실패 여부에 따라 다르므로 실패를 탐지하는 데 이상적인 알고리즘이 아닐 수 있습니다.하지만 다른 모든 사람들이 잘 일하는 동안 깨지는 aamgr을 찾는 것은 특히 좋습니다.

Keepalive 접근 방식

radius 서버 연결성을 탐지하는 또 다른 방법은 더미 keepalive 테스트 메시지를 사용하는 것입니다.여기에는 라이브 트래픽을 모니터링하지 않고 지속적으로 위조 RADIUS 메시지를 전송하는 작업이 포함됩니다.이 방법의 또 다른 장점은 항상 활성 상태이며, aaamgr 접근 방식에서는 연속적인 실패가 발생할 수 있으며, 이 경우 RADIUS 트래픽이 전송되지 않는 기간이 있을 수 있으므로 해당 시간 동안 문제가 존재하는지 알 수 없으므로, 시도가 시작될 때 탐지가 지연된다는 점입니다.또한 서버가 다운된 것으로 표시될 경우 서버가 가능한 한 빨리 가동 상태로 표시될 수 있도록 이러한 keepalive가 계속 전송됩니다.이 접근 방식의 단점은 테스트 메시지에 management aaamgr 인스턴스를 사용하므로 문제가 발생할 수 있는 특정 aaamgr 인스턴스와 관련된 문제가 누락된다는 점입니다.

다음은 이 접근 방식과 관련된 다양한 구성 요소입니다.

radius (accounting) detect-dead-server keepalive

radius (accounting) keepalive interval 30

radius (accounting) keepalive retries 3

radius (accounting) keepalive timeout 3

radius (accounting) keepalive consecutive-response 1

radius (accounting) keepalive username Test-Username

radius keepalive encrypted password 2ec59b3188f07d9b49f5ea4cc44d9586

radius (accounting) keepalive calling-station-id 000000000000000

radius keepalive valid-response access-accept

"radius(accounting) dead-server keepalive" 명령은 aaamgr 접근 방식에서 연속된 오류가 아닌 keep-alive 접근 방식을 활성화합니다.위의 예에서 시스템은 사용자 이름 Test-Username 및 비밀번호 Test-Username을 30초마다 전송하고, 응답이 수신되지 않으면 3초마다 재시도하며, 그 후 최대 3회 재시도하여 서버가 다운되었음을 표시합니다.첫 번째 응답을 받으면 다시 위로 표시합니다.

다음은 위 설정에 대한 인증 요청/응답의 예입니다.

<<<<OUTBOUND 17:50:12:657 Eventid:23901(6)

RADIUS AUTHENTICATION Tx PDU, from 192.168.50.151:32783 to 192.168.50.200:1812 (142) PDU-dict=starent-vsa1

Code: 1 (Access-Request)

Id: 16

Length: 142

Authenticator: 51 6D B2 7D 6A C6 9A 96 0C AB 44 19 66 2C 12 0A

User-Name = Test-Username

User-Password = B7 23 1F D1 86 46 4D 7F 8F E0 2A EF 17 A1 F3 BF

Calling-Station-Id = 000000000000000

Service-Type = Framed

Framed-Protocol = PPP

NAS-IP-Address = 192.168.50.151

Acct-Session-Id = 00000000

NAS-Port-Type = HRPD

3GPP2-MIP-HA-Address = 255.255.255.255

3GPP2-Correlation-Id = 00000000

NAS-Port = 4294967295

Called-Station-ID = 00

INBOUND>>>>> 17:50:12:676 Eventid:23900(6)

RADIUS AUTHENTICATION Rx PDU, from 192.168.50.200:1812 to 192.168.50.151:32783 (34) PDU-dict=starent-vsa1

Code: 2 (Access-Accept)

Id: 16

Length: 34

Authenticator: 21 99 F4 4C F8 5D F8 28 99 C6 B8 D9 F9 9F 42 70

User-Password = testpassword

동일한 SNMP 트랩은 aamgr 접근 방식의 연속 실패와 마찬가지로 도달 불가/작동 반경 상태를 나타내는 데 사용됩니다.

Fri Feb 27 17:54:55 2009 Internal trap notification 39 (AAAAuthSvrUnreachable) server 1 ip address 192.168.50.200

Fri Feb 27 17:57:04 2009 Internal trap notification 40 (AAAAuthSvrReachable) server 1 ip address 192.168.50.200

"show radius counters all"에는 인증 및 어카운팅에 대한 keepalive 요청을 추적하기 위한 섹션도 있습니다. 다음은 인증 카운터입니다.

Server-specific Keepalive Auth Counters

---------------------------------------

Keepalive Access-Request Sent:                            33

Keepalive Access-Request Retried:                         3

Keepalive Access-Request Timeouts:                        4

Keepalive Access-Accept Received:                         29

Keepalive Access-Reject Received:                         0

Keepalive Access-Response Bad Authenticator Received:     0

Keepalive Access-Response Malformed Received:             0

Keepalive Access-Response Malformed Attribute Received:   0

Keepalive Access-Response Unknown Type Received:          0

Keepalive Access-Response Dropped:                        0

문제 해결 명령/접근 방식

이제 AAA Unreachable 트랩에 대한 트리거가 설명되었으므로, 다음 단계는 영향을 확인하고 근본 원인을 파악하는 데 사용할 다양한 트러블슈팅 명령을 이해하는 것입니다.무연결성은 매우 광범위한 용어이다.네트워크, 서버 또는 ASR에서 연결이 불가능한 위치는 설명하지 않습니다.예를 들어, 요청이 처음부터 전송되었는지 여부를 알고 있습니까?서버가 요청을 받았습니까?요청에 응답했습니까?응답이 ASR로 돌아갔습니까? 응답이라면 내부 경로(예: 플로우)에서 처리되거나 삭제된 것입니다. 이 섹션에서는 이러한 질문에 답변하는 방법을 살펴봅니다.

Radius 컨피그레이션 기본 사항

먼저 RADIUS 컨피그레이션과 관련하여 숙지해야 하는 몇 가지 기본 사항이 있습니다.RADIUS에 대한 대부분의 컨피그레이션은 특별히 이름이 지정된 그룹에 있으며 모든 컨텍스트에는 다음과 같이 구성할 수 있는 기본 그룹이 있습니다.대부분의 컨피그레이션에는 기본 그룹인 하나의 그룹만 포함됩니다.

[local]CSE2# config

[local]CSE2(config)# context aaa_ctx

[aaa_ctx]ASR5000(config-ctx)# aaa group default

[aaa_ctx]ASR5000(config-aaa-group)#

특정 명명된 aaa 그룹을 사용하는 경우 가입자 프로필 또는 APN(Application Point Name)에 구성된 다음 명령문(예: 통화 제어 기술에 따라 다름)으로 지정됩니다.

subscriber name <subscriber name>

aaa group <group name>

참고:시스템은 먼저 가입자에 할당된 특정 aaa 그룹을 확인한 다음 aaa 그룹 기본값을 검사하여 특정 그룹에 정의되지 않은 추가 컨피그레이션을 확인합니다.

다음은 다양한 aaa 그룹 컨피그레이션의 모든 컨피그레이션에 할당된 모든 값을 요약하는 유용한 명령입니다.이렇게 하면 구성을 수동으로 검사하지 않고도 기본값을 포함한 모든 구성 요소를 빠르게 볼 수 있으며, 특정 설정을 가정할 때 오류를 방지하는 데 도움이 될 수 있습니다.이 명령은 모든 컨텍스트에 대해 보고합니다.

show aaa group all

show aaa group name <group name>

가장 중요한 구성 요소는 radius 액세스 및 어카운팅 서버 자체입니다.예를 들면 다음과 같습니다.

radius server 209.165.201.1 key testtesttesttest port 1645 priority 1 max-rate 5

radius server 209.165.201.2 key testtesttesttest port 1645 priority 2 max-rate 5

radius accounting server 209.165.201.1 key testtesttesttest port 1646 priority 1

radius accounting server 209.165.201.2 key testtesttesttest port 1646 priority 2

초당 aaamgr당 서버로 전송되는 요청 수를 제한하는 최대 속도 기능에 유의하십시오.

또한 NAS IP 주소를 정의해야 합니다. 이는 RADIUS 요청이 전송되고 응답이 수신되는 컨텍스트에서 인터페이스의 IP 주소입니다.정의되지 않은 경우 요청이 전송되지 않고 가입자 추적을 모니터링하면 명백한 오류가 게시되지 않을 수 있습니다(전송된 RADIUS 요청이 없고 이유를 알 수 없음).

radius 특성 nas-ip 주소 10.211.41.129

인증 및 어카운팅 모두 동일한 서버에서 처리되는 경우가 많으므로 다른 포트 번호를 사용하여 RADIUS 서버의 인증 및 어카운팅 트래픽을 구별합니다.ASR5K 측의 경우 UDP 소스 포트 번호가 지정되지 않으며, 섀시에서 aaamgr을 기준으로 선택합니다(나중에 자세히 설명).

일반적으로 이중화를 위해 여러 액세스 및 어카운팅 서버가 지정됩니다.라운드 로빈 또는 우선 순위 순서를 구성할 수 있습니다.

radius [accounting] 알고리즘 {first server | 라운드 로빈}

첫 번째 서버 옵션을 선택하면 모든 요청이 가장 낮은 번호의 우선 순위를 가진 서버로 전송됩니다.재시도 실패가 발생했거나 더 심각한 경우 서버가 다운된 것으로 표시된 경우에만 다음 우선 순위를 시도한 서버가 해당됩니다.아래에서 자세히 알아보십시오.

RADIUS(어카운팅 또는 액세스) 요청이 전송되면 회신이 필요합니다.시간 제한 기간(초) 내에 회신이 수신되지 않은 경우:

radius [accounting] 시간 초과 3

요청이 지정된 횟수만큼 재전송됩니다.

radius [accounting] max-retries 5

즉, 요청을 최대 재시도 횟수 + 시도 중인 특정 RADIUS 서버를 중단할 때까지 1회 전송할 수 있습니다.이 시점에서는 다음 radius 서버에 동일한 시퀀스를 순서대로 시도합니다.각 서버가 응답 없이 최대 재시도 횟수 + 1회 시도된 경우 해당 시점까지 실패한 다른 이유가 없다고 가정할 때 통화가 거부됩니다.

참고 사항으로, 커머셜 구축에서는 다음 사항을 구현하지는 않지만, 모든 서버에 대한 시간 제한으로 인해 인증 및 어카운팅이 실패할 경우에도 사용자가 액세스할 수 있도록 하는 구성 요소가 있습니다.

radius allow [accounting] authentication down

또한 구성된 모든 서버에서 특정 요청의 절대 총 전송 수를 제한할 수 있는 구성 요소가 있으며 기본적으로 비활성화되어 있습니다.

radius [accounting] 최대 전송 256

예를 들어, 이 설정이 = 1인 경우, 보조 서버가 있더라도 특정 가입자 설정에 대한 시도는 한 번만 시도되므로 시도하지 않습니다.

작업 리소스 기능 aamgr 모두 표시

각 aamgr 프로세스는 연결된 sessmgr 프로세스(전체 통화 처리를 담당함)와 페어링되며 다른 PSC(Packet Services Card) 또는 DPC(Data Processing Card)에 있지만 동일한 인스턴스 ID를 사용합니다.또한 이 예제 출력에서는 ASR 5000용 SMC(System Management Card)에서 실행되는 특수 aamgr 인스턴스 231(또는 ASR 5500(MIO)용 Management Input Output 카드)을 참고하며, 이 경우 가입자 요청을 처리하지 않지만 radius 테스트 명령에 사용됩니다(자세한 내용은 뒷부분 섹션 참조). 운영자 CLI 로그인 프로세싱에 대한 자세한 내용은 뒷부분 섹션을 참조하십시오.

이 코드 조각에서 PSC 13에 있는 aaaamgr 107은 PSC 1에 있는 페어링된 sessmgr 107에 대한 모든 RADIUS 처리를 담당합니다. aamgr 107의 연결 가능성 문제는 sessmgr 107의 통화에 영향을 줍니다.

task   cputime       memory     files     sessions

cpu facility     inst used allc   used alloc used allc used allc S status

----------------------- --------- ------------- --------- ------------- -----

1/0 sessmgr       107 1.6% 100% 119.6M 155.0M   26 500   83 6600 I   good

13/1 aaamgr       107 0.3% 94% 30.8M 77.0M   18 500   --   -- -   good

8/0 aaamgr        231 0.1% 30% 11.6M 25.0M   19 500   --   -- -   good

다음 예에서는 세션 수와 관련하여 다른 sessmgrs와 비교할 때 쉽게 볼 수 있는 것처럼 aamgr 92의 문제가 쌍으로 연결된 sessmgr에 영향을 주고 있습니다.

task   cputime        memory     files      sessions

cpu facility      inst used allc   used  alloc used allc  used  allc S status

----------------------- --------- ------------- --------- ------------- ------

12/0 sessmgr         92 1.2% 100% 451.5M  1220M   43  500   643 21120 I   good

16/0 aaamgr          92 0.0%  95% 119.0M 315.0M   20  500    --    -- -   good

12/0 sessmgr         95 6.9% 100% 477.3M  1220M   41  500  2626 21120 I   good

12/0 sessmgr        105 7.7% 100% 600.5M  1220M   45  500  2626 21120 I   good

12/0 sessmgr        126 3.4% 100% 483.0M  1220M   44  500  2625 21120 I   good

12/0 sessmgr        131 8.1% 100% 491.7M  1220M   45  500  2627 21120 I   good

radius 카운터 표시 { {all | server <server IP>} [instance <aamgr #>] | 요약}

가장 잘 알고 있는 명령은 "show radius counters" 입니다.

이 명령은 RADIUS 문제 해결을 위한 여러 유용한 카운터를 보고합니다."show radius counters all" 명령은 서버별로 성공 및 실패를 추적하는 데 매우 유용하며, 이 명령을 구성하는 다양한 카운터의 의미를 이해하는 것이 중요합니다. 이는 명확하지 않을 수도 있습니다.이 명령은 상황에 따라 달라지므로 aaa 그룹이 정의된 동일한 컨텍스트에서 실행해야 합니다.

중요 참고 사항:모니터링되지 않는 기간 동안 카운터 값 또는 카운터 간의 관계에서 어떤 결론도 도출하기가 어렵습니다.정확한 결론을 내리기 위해 가장 좋은 방법은 트러블슈팅 중인 문제가 발생할 때 카운터를 재설정하고 해당 카운터를 일정 기간 모니터링하는 것입니다.

다음 출력에서 "Access-Request Sent(액세스 요청 전송)" = 1, "Access-Request Retried(액세스 요청 재시도)" = 3. 따라서 특정 RADIUS 서버에 대한 지정된 새 요청은 한 번만 계산되며 모든 재시도는 별도로 계산됩니다.이 경우 총 3 + 1 = 4개의 액세스 요청이 전송되었습니다."Access-Request Timeouts" = 1. 단일 시간 제한은 모든 재시도가 실패할 때만 발생합니다. 따라서 이 경우 응답 없이 3번 재시도하면 1시간 제한(4이 아님)이 됩니다. 이 문제는 구성된 모든 서버에서 성공하거나 모든 시도가 실패할 때까지 발생합니다.따라서 각 서버에 대해 개별적으로 추적되는 카운터에 유의하십시오.이 예제는 다음과 같습니다.

radius max-retries 3

radius server 192.168.50.200 encrypted key 01abd002c82b4a2c port 1812 priority 1

radius server 192.168.50.250 encrypted key 01abd002c82b4a2c port 1812 priority 2

[destination]CSE2# show radius counters all

Server-specific Authentication Counters

---------------------------------------

Authentication server address 192.168.50.200, port 1812:

Access-Request Sent:                                      1

Access-Request with DMU Attributes Sent:                  0

Access-Request Pending:                                   0

Access-Request Retried:                                   3

Access-Request with DMU Attributes Retried:               0

Access-Challenge Received:                                0

Access-Accept Received:                                   0

Access-Reject Received:                                   0

Access-Reject Received with DMU Attributes:               0

Access-Request Timeouts:                                  1

Access-Request Current Consecutive Failures in a mgr:     1

Access-Request Response Bad Authenticator Received:       0

Access-Request Response Malformed Received:               0

Access-Request Response Malformed Attribute Received:     0

Access-Request Response Unknown Type Received:            0

Access-Request Response Dropped:                          0

Access-Request Response Last Round Trip Time:             0.0 ms

Access-Request Response Average Round Trip Time:          0.0 ms

Current Access-Request Queued:                            0

...

Authentication server address 192.168.50.250, port 1812:

Access-Request Sent:                                        1

Access-Request with DMU Attributes Sent:                  0

Access-Request Pending:                                   0

Access-Request Retried:                                   3

Access-Request with DMU Attributes Retried:               0

Access-Challenge Received:                                0

Access-Accept Received:                                   0

Access-Reject Received:                                   0

Access-Reject Received with DMU Attributes:               0

Access-Request Timeouts:                                  1

Access-Request Current Consecutive Failures in a mgr:     1

Access-Request Response Bad Authenticator Received:       0

Access-Request Response Malformed Received:               0

Access-Request Response Malformed Attribute Received:     0

Access-Request Response Unknown Type Received:            0

Access-Request Response Dropped:                          0

Access-Request Response Last Round Trip Time:             0.0 ms

Access-Request Response Average Round Trip Time:          0.0 ms

Current Access-Request Queued:                            0

또한 시간 초과는 실패로 계산되지 않으며, 시간이 초과되면 수신된 액세스 수락 및 액세스 거부 수신의 수가 Access-Request Sent에 추가되지 않습니다.

이러한 카운터에 대한 분석이 완전히 간단하지 않을 수 있습니다.  예를 들어, MIP(Mobile IP) 프로토콜의 경우 인증이 실패함에 따라 MIP RRP(Registration Reply)가 전송되지 않으며, MIP RRP를 수신하지 않았기 때문에 모바일에서 계속해서 새 MIP 등록 요청(RRQ)을 시작할 수 있습니다.각각의 새로운 MIP RQ는 PDSN이 자체 일련의 재시도를 가질 수 있는 새 인증 요청을 보냅니다.패킷 추적 맨 위의 Id 필드에서 볼 수 있습니다. 각 재시도 세트에 대해 고유합니다.그 결과 Sent, Retried 및 Timeout에 대한 카운터가 수신된 통화 수에 대해 예상보다 훨씬 높을 수 있습니다.이러한 추가 재시도를 최소화하기 위해 활성화할 수 있는 옵션이 있으며, 이 옵션은 FA(Foreign Agent) 서비스에서 설정할 수 있습니다(HA(Home Agent)) 서비스에서는 설정할 수 없습니다."authentication mn-aaa <6 choices here> optimize-retries"

기타 유용한 카운터:

"Access-Request Response Dropped(액세스 요청 응답 삭제됨)" - 인증 요청에 대한 응답을 기다리는 동안 통화를 설정하지 못할 경우 발생합니다.

"Access-Request Response Last Round Trip Time(액세스 요청 응답 마지막 왕복 시간)" - 엔드포인트 간의 지연을 나타내지만 지연이 발생할 수 있는 위치를 나타내지 않습니다.

"Access-Request Current Failure in a mgr"는 AAA Unreachable 트랩의 트리거에서 첫 번째 섹션에서 논의한 내용과 관련이 있습니다.연속된 시간 초과 수가 가장 많은 aaamgr을 나타냅니다.

"Current Access/Accounting-Request Queued"는 응답하지 않고 대기열에 남아 있는 요청을 나타냅니다. 어카운팅은 인증이 없는 동안 큐의 구성을 무한정 허용합니다.

AAA Unreachable(AAA 연결 불가)이 보고될 때 나타나는 가장 일반적인 시나리오는 액세스 시간 초과 및/또는 응답 삭제도 발생하지만 액세스 응답은 요청을 따라가지 않는다는 것입니다.

개인 기술 지원 모드에 액세스할 수 있는 경우 aaamgr 인스턴스 레벨에서 추가 조사를 수행하여 하나 이상의 특정 상담원이 전체 "불량" 수 증가의 원인인지 확인할 수 있습니다.예를 들어, 특정 PSC/DPC에 카운트가 높거나 문제가 있는 단일 aamgr 또는 임의 aamgrs에 있는 aamgrs를 찾습니다. 패턴을 찾아보십시오.모든 또는 대부분의 aaamgrs에 문제가 있는 경우 근본 원인이 섀시 외부에 있거나 섀시에 큰 스케일을 나타낼 가능성이 높습니다.그런 경우에는 일반 상태 검사를 수행해야 합니다.

다음은 어카운팅을 위해 특정 aaamgr의 문제를 보여 주는 출력의 예입니다.(ASR5K와 특정 aaamgr 인스턴스(114) 포트의 트래픽을 차단하는 RADIUS 서버 간 방화벽의 버그로 판명되었습니다.) 3주 동안 48개의 응답만 수신되었지만 100,000개가 넘는 시간 초과가 발생했고 재전송은 포함되지 않았습니다.

[source]PDSN> show radius counters server 209.165.201.1 instance  114 | grep -E "Accounting-Request Sent|Accounting-Response Received|Accounting-Request Timeouts"

Wednesday October 01 18:12:24 UTC 2014

Accounting-Request Sent:                                  14306189

Accounting-Response Received:                             14299843

Accounting-Request Timeouts:                              6342

[source]PDSN> show radius counters server 209.165.201.1 instance 114 | grep -E "Accounting server address|Accounting-Request Sent|Accounting-Response Received|Accounting-Request Timeouts"

Wednesday October 22 20:26:35 UTC 2014

Accounting server address 209.165.201.1, port 1646:

Accounting-Request Sent:                                  15105872

Accounting-Response Received:                             14299891

Accounting-Request Timeouts:                              158989

[source]PDSN> show radius counters server 209.165.201.1 instance 114 | grep Accounting

Wednesday October 22 20:33:09 UTC 2014

Per-Context RADIUS Accounting Counters

Accounting Response

Server-specific Accounting Counters

Accounting server address 209.165.201.1, port 1646:

Accounting-Request Sent:                                  15106321

Accounting-Start Sent:                                    7950140

Accounting-Stop Sent:                                     7156129

Accounting-Interim Sent:                                  52

Accounting-On Sent:                                       0

Accounting-Off Sent:                                      0

Accounting-Request Pending:                               3

Accounting-Request Retried:                               283713

Accounting-Start Retried:                                 279341

Accounting-Stop Retried:                                  4372

Accounting-Interim Retried:                               0

Accounting-On Retried:                                    0

Accounting-Off Retried:                                   0

Accounting-Response Received:                             14299891

Accounting-Request Timeouts:                              159000

Accounting-Request Current Consecutive Failures in a mgr: 11

Accounting-Response Bad Response Received:                0

Accounting-Response Malformed Received:                   0

Accounting-Response Unknown Type Received:                0

Accounting-Response Dropped:                              21

Accounting-Response Last Round Trip Time:                 52.5 ms

Accounting-Response Average Round Trip Time:              49.0 ms

Accounting Total G1 (Acct-Output-Octets):                 4870358614798

Accounting Total G2 (Acct-Input-Octets):                  714140547011

Current Accounting-Request Queued:                        17821

결론적으로 어떤 카운터가 증가하고 있는지, 어떤 서버가 어떤 속도로 증가하고 있는지 파악합니다.

세션 하위 시스템 기능 {aaamgr 표시 | sessmgr} {모두 | 인스턴스 <인스턴스 #>}

이 명령에서 나오는 모든 불필요한 출력을 검사하기 위해 이 문서의 범위를 벗어났지만, 몇 가지 예를 살펴볼 필요가 있습니다.  다른 트러블슈팅과 마찬가지로, 양호한 것으로 생각되는 인스턴스와 잘못된 aaamgr 인스턴스 간의 결과를 비교하는 것은 보고된 값의 명백한 차이를 드러냅니다.이는 총 요청 수, 실패/성공률, 인증 취소 등에 반영될 수 있습니다.다시 한 번 말씀드리지만, 현재 상태의 어두운 상태를 나타낼 수 있는 기록을 제거할 수 있도록 세션 하위 시스템(한 인스턴스는 지울 수 없으며 모두 지워져야 함)을 지워야 합니다.

어카운팅에 실패한 단일 aaamgr에 대해 앞서 언급한 동일한 문제를 계속 진행하면 다른 scmr 인스턴스 36을 제외하고 동일한 문제를 가진 다른 노드의 출력이 표시됩니다. 실패한 aamgr에 대한 모든 흥미로운 필드와 명령의 두 캡처를 사용하여 시간이 지남에 따라 해당 값이 어떻게 증가하는지 확인하십시오.한편 인스턴스 37의 출력은 작업 aaamgr의 예로 표시됩니다.

[source]PDSN> show session subsystem  facility aaamgr instance 36

Wednesday September 10 08:51:18 UTC 2014

AAAMgr:  Instance 36

39947440 Total aaa requests              17985 Current aaa requests

24614090 Total aaa auth requests             0 Current aaa auth requests

0 Total aaa auth probes               0 Current aaa auth probes

0 Total aaa aggregation requests

0 Current aaa aggregation requests

0 Total aaa auth keepalive            0 Current aaa auth keepalive

15171628 Total aaa acct requests         17985 Current aaa acct requests

0 Total aaa acct keepalive            0 Current aaa acct keepalive

20689536 Total aaa auth success        1322489 Total aaa auth failure

86719 Total aaa auth purged            1016 Total aaa auth cancelled

0 Total auth keepalive success        0 Total auth keepalive failure

0 Total auth keepalive purged

0 Total aaa aggregation success requests

0 Total aaa aggregation failure requests

0 Total aaa aggregation purged requests

15237 Total aaa auth DMU challenged

17985/70600 aaa request (used/max)

14 Total diameter auth responses dropped

6960270 Total Diameter auth requests        0 Current Diameter auth requests

23995 Total Diameter auth requests retried

52 Total Diameter auth requests dropped

9306676 Total radius auth requests          0 Current radius auth requests

0 Total radius auth requests retried

988 Total radius auth responses dropped

13 Total local auth requests           0 Current local auth requests

8500275 Total pseudo auth requests          0 Current pseudo auth requests

8578 Total null-username auth requests (rejected)

0 Total aggregation responses dropped

15073834 Total aaa acct completed        79763 Total aaa acct purged     <== If issue started recently, this may not have yet started incrementing

0 Total acct keepalive success        0 Total acct keepalive timeout

0 Total acct keepalive purged

4 CLI Test aaa acct purged

0 IP Interface down aaa acct purged

0 No Radius Server found aaa acct purged

0 No Response aaa acct purged

14441090 Total acct sess alloc

14422811 Total acct sess delete

18279 Current acct sessions

0 Auth No Wait Suppressed

0 Aggr No Wait Suppressed

0 Disc No Wait Suppressed

0 Start No Wait Suppressed

0 Interim No Wait Suppressed

0 Stop No Wait Suppressed

0 Acct OnOff Custom14

0 Acct OnOff Custom67

0 Acct OnOff

0 Recovery Str Suppressed

0 Recovery Stop Suppressed

0 Med Chrg Gtpp Suppressed

0 Med Chrg Radius Suppressed

0 Radius Probe Trigger

0 Recovery Stop Acct Session Suppressed

46 Total aaa acct cancelled

0 Total Diameter acct requests        0 Current Diameter acct requests

0 Total Diameter acct requests retried

0 Total diameter acct requests dropped

0 Total diameter acct responses dropped

0 Total diameter acct cancelled

0 Total diameter acct purged

15171628 Total radius acct requests      17985 Current radius acct requests

46 Total radius acct cancelled

79763 Total radius acct purged

11173 Total radius acct requests retried

49 Total radius acct responses dropped

0 Total radius sec acct requests      0 Current radius sec acct requests

0 Total radius sec acct cancelled

0 Total radius sec acct purged

0 Total radius sec acct requests retried

0 Total gtpp acct requests            0 Current gtpp acct requests

0 Total gtpp acct cancelled           0 Total gtpp acct purged

0 Total gtpp sec acct requests        0 Total gtpp sec acct purged

0 Total null acct requests            0 Current null acct requests

16218236 Total aaa acct sessions         21473 Current aaa acct sessions

8439 Total aaa acct archived             2 Current aaa acct archived

21473 Current recovery archives        4724 Current valid recovery records

1 Total aaa sockets opened            1 Current aaa sockets opened

1 Total aaa requests pend socket opened

0 Current aaa requests pend socket open

133227 Total radius requests pend server max-outstanding

17982 Current radius requests pend server max-outstanding

0 Total radius auth req queued server max-rate

0 Max radius auth req queued server max-rate

0 Current radius auth req queued server max-rate

0 Total radius acct req queued server max-rate

0 Max radius acct req queued server max-rate

0 Current radius acct req queued server max-rate

0 Total radius charg auth req queued server max-rate

0 Max radius charg auth req queued server max-rate

0 Current radius charg auth req queued server max-rate

0 Total radius charg acct req queued server max-rate

0 Max radius charg acct req queued server max-rate

0 Current radius charg acct req queued server max-rate

0 Total aaa radius coa requests       0 Total aaa radius dm requests

0 Total aaa radius coa acks           0 Total aaa radius dm acks

0 Total aaa radius coa naks           0 Total aaa radius dm naks

0 Total radius charg auth             0 Current radius charg auth

0 Total radius charg auth success     0 Total radius charg auth failure

0 Total radius charg auth purged      0 Total radius charg auth cancelled

0 Total radius charg acct             0 Current radius charg acct

0 Total radius charg acct success     0 Total radius charg acct purged

0 Total radius charg acct cancelled

0 Total gtpp charg                    0 Current gtpp charg

0 Total gtpp charg success            0 Total gtpp charg failure

0 Total gtpp charg cancelled          0 Total gtpp charg purged

0 Total gtpp sec charg                0 Total gtpp sec charg purged

161722 Total prepaid online requests       0 Current prepaid online requests

141220 Total prepaid online success    20392 Current prepaid online failure

0 Total prepaid online retried      102 Total prepaid online cancelled

8 Current prepaid online purged

...

[source]PDSN> show session subsystem facility aaamgr instance 37

Wednesday September 10 08:51:28 UTC 2014

AAAMgr:  Instance 37

39571859 Total aaa requests                  0 Current aaa requests

24368622 Total aaa auth requests             0 Current aaa auth requests

0 Total aaa auth probes               0 Current aaa auth probes

0 Total aaa aggregation requests

0 Current aaa aggregation requests

0 Total aaa auth keepalive            0 Current aaa auth keepalive

15043217 Total aaa acct requests             0 Current aaa acct requests

0 Total aaa acct keepalive            0 Current aaa acct keepalive

20482618 Total aaa auth success        1309507 Total aaa auth failure

85331 Total aaa auth purged             968 Total aaa auth cancelled

0 Total auth keepalive success        0 Total auth keepalive failure

0 Total auth keepalive purged

0 Total aaa aggregation success requests

0 Total aaa aggregation failure requests

0 Total aaa aggregation purged requests

15167 Total aaa auth DMU challenged

1/70600 aaa request (used/max)

41 Total diameter auth responses dropped

6883765 Total Diameter auth requests        0 Current Diameter auth requests

23761 Total Diameter auth requests retried

37 Total Diameter auth requests dropped

9216203 Total radius auth requests          0 Current radius auth requests

0 Total radius auth requests retried

927 Total radius auth responses dropped

15 Total local auth requests           0 Current local auth requests

8420022 Total pseudo auth requests          0 Current pseudo auth requests

8637 Total null-username auth requests (rejected)

0 Total aggregation responses dropped

15043177 Total aaa acct completed            0 Total aaa acct purged

0 Total acct keepalive success        0 Total acct keepalive timeout

0 Total acct keepalive purged

0 CLI Test aaa acct purged

0 IP Interface down aaa acct purged

0 No Radius Server found aaa acct purged

0 No Response aaa acct purged

14358245 Total acct sess alloc

14356293 Total acct sess delete

1952 Current acct sessions

0 Auth No Wait Suppressed

0 Aggr No Wait Suppressed

0 Disc No Wait Suppressed

0 Start No Wait Suppressed

0 Interim No Wait Suppressed

0 Stop No Wait Suppressed

0 Acct OnOff Custom14

0 Acct OnOff Custom67

0 Acct OnOff

0 Recovery Str Suppressed

0 Recovery Stop Suppressed

0 Med Chrg Gtpp Suppressed

0 Med Chrg Radius Suppressed

0 Radius Probe Trigger

0 Recovery Stop Acct Session Suppressed

40 Total aaa acct cancelled

0 Total Diameter acct requests        0 Current Diameter acct requests

0 Total Diameter acct requests retried

0 Total diameter acct requests dropped

0 Total diameter acct responses dropped

0 Total diameter acct cancelled

0 Total diameter acct purged

15043217 Total radius acct requests          0 Current radius acct requests

40 Total radius acct cancelled

0 Total radius acct purged

476 Total radius acct requests retried

37 Total radius acct responses dropped

0 Total radius sec acct requests      0 Current radius sec acct requests

0 Total radius sec acct cancelled

0 Total radius sec acct purged

0 Total radius sec acct requests retried

0 Total gtpp acct requests            0 Current gtpp acct requests

0 Total gtpp acct cancelled           0 Total gtpp acct purged

0 Total gtpp sec acct requests        0 Total gtpp sec acct purged

0 Total null acct requests            0 Current null acct requests

16057760 Total aaa acct sessions          4253 Current aaa acct sessions

14 Total aaa acct archived             0 Current aaa acct archived

4253 Current recovery archives        4249 Current valid recovery records

1 Total aaa sockets opened            1 Current aaa sockets opened

1 Total aaa requests pend socket opened

0 Current aaa requests pend socket open

29266 Total radius requests pend server max-outstanding

0 Current radius requests pend server max-outstanding

0 Total radius auth req queued server max-rate

0 Max radius auth req queued server max-rate

0 Current radius auth req queued server max-rate

0 Total radius acct req queued server max-rate

0 Max radius acct req queued server max-rate

0 Current radius acct req queued server max-rate

0 Total radius charg auth req queued server max-rate

0 Max radius charg auth req queued server max-rate

0 Current radius charg auth req queued server max-rate

0 Total radius charg acct req queued server max-rate

0 Max radius charg acct req queued server max-rate

0 Current radius charg acct req queued server max-rate

0 Total aaa radius coa requests       0 Total aaa radius dm requests

0 Total aaa radius coa acks           0 Total aaa radius dm acks

0 Total aaa radius coa naks           0 Total aaa radius dm naks

0 Total radius charg auth             0 Current radius charg auth

0 Total radius charg auth success     0 Total radius charg auth failure

0 Total radius charg auth purged      0 Total radius charg auth cancelled

0 Total radius charg acct             0 Current radius charg acct

0 Total radius charg acct success     0 Total radius charg acct purged

0 Total radius charg acct cancelled

0 Total gtpp charg                    0 Current gtpp charg

0 Total gtpp charg success            0 Total gtpp charg failure

0 Total gtpp charg cancelled          0 Total gtpp charg purged

0 Total gtpp sec charg                0 Total gtpp sec charg purged

160020 Total prepaid online requests       0 Current prepaid online requests

139352 Total prepaid online success    20551 Current prepaid online failure

...

[source]PDSN> show session subsystem facility aaamgr instance 36

Wednesday September 10 09:12:13 UTC 2014

AAAMgr:  Instance 36

39949892 Total aaa requests              17980 Current aaa requests

24615615 Total aaa auth requests             0 Current aaa auth requests

0 Total aaa auth probes               0 Current aaa auth probes

0 Total aaa aggregation requests

0 Current aaa aggregation requests

0 Total aaa auth keepalive            0 Current aaa auth keepalive

15172543 Total aaa acct requests         17980 Current aaa acct requests

0 Total aaa acct keepalive            0 Current aaa acct keepalive

20690768 Total aaa auth success        1322655 Total aaa auth failure

86728 Total aaa auth purged            1016 Total aaa auth cancelled

0 Total auth keepalive success        0 Total auth keepalive failure

0 Total auth keepalive purged

0 Total aaa aggregation success requests

0 Total aaa aggregation failure requests

0 Total aaa aggregation purged requests

15242 Total aaa auth DMU challenged

17981/70600 aaa request (used/max)

14 Total diameter auth responses dropped

6960574 Total Diameter auth requests        0 Current Diameter auth requests

23999 Total Diameter auth requests retried

52 Total Diameter auth requests dropped

9307349 Total radius auth requests          0 Current radius auth requests

0 Total radius auth requests retried

988 Total radius auth responses dropped

13 Total local auth requests           0 Current local auth requests

8500835 Total pseudo auth requests          0 Current pseudo auth requests

8578 Total null-username auth requests (rejected)

0 Total aggregation responses dropped

15074358 Total aaa acct completed        80159 Total aaa acct purged

0 Total acct keepalive success        0 Total acct keepalive timeout

0 Total acct keepalive purged

4 CLI Test aaa acct purged

0 IP Interface down aaa acct purged

0 No Radius Server found aaa acct purged

0 No Response aaa acct purged

14441768 Total acct sess alloc

14423455 Total acct sess delete

18313 Current acct sessions

0 Auth No Wait Suppressed

0 Aggr No Wait Suppressed

0 Disc No Wait Suppressed

0 Start No Wait Suppressed

0 Interim No Wait Suppressed

0 Stop No Wait Suppressed

0 Acct OnOff Custom14

0 Acct OnOff Custom67

0 Acct OnOff

0 Recovery Str Suppressed

0 Recovery Stop Suppressed

0 Med Chrg Gtpp Suppressed

0 Med Chrg Radius Suppressed

0 Radius Probe Trigger

0 Recovery Stop Acct Session Suppressed

46 Total aaa acct cancelled

0 Total Diameter acct requests        0 Current Diameter acct requests

0 Total Diameter acct requests retried

0 Total diameter acct requests dropped

0 Total diameter acct responses dropped

0 Total diameter acct cancelled

0 Total diameter acct purged

15172543 Total radius acct requests      17980 Current radius acct requests

46 Total radius acct cancelled

80159 Total radius acct purged

11317 Total radius acct requests retried

49 Total radius acct responses dropped

0 Total radius sec acct requests      0 Current radius sec acct requests

0 Total radius sec acct cancelled

0 Total radius sec acct purged

0 Total radius sec acct requests retried

0 Total gtpp acct requests            0 Current gtpp acct requests

0 Total gtpp acct cancelled           0 Total gtpp acct purged

0 Total gtpp sec acct requests        0 Total gtpp sec acct purged

0 Total null acct requests            0 Current null acct requests

16219251 Total aaa acct sessions         21515 Current aaa acct sessions

8496 Total aaa acct archived             0 Current aaa acct archived

21515 Current recovery archives        4785 Current valid recovery records

1 Total aaa sockets opened            1 Current aaa sockets opened

1 Total aaa requests pend socket opened

0 Current aaa requests pend socket open

133639 Total radius requests pend server max-outstanding

17977 Current radius requests pend server max-outstanding

...

또한 show task resources를 실행하여 모든 sessmgrs에서 불균형 세션 수(사용된 열)를 확인해야 합니다.발견된 경우 이 명령을 사용하여 연결된 aaamgrs에서 해당 세션에 대해 잘못된 필드가 있는지 확인합니다. 문제가 RADIUS로 인해 발생한 경우 찾을 수 있는 좋은 기회가 있습니다.

이전 섹션의 show task resources 예에서 sessmgr 92에 대한 세션 수가 크게 감소했습니다. sessmgr 92는 aaamgr 92와 페어링되었습니다. show session 하위 시스템의 출력에서는 총 최대 미처리 및 aaa 인증 비우기 카운터와 향상된 Current max-outstanding 카운터가 크게 증가했습니다.섀시 및/또는 Notepad++ 또는 기타 강력한 검색 편집기를 사용하여 데이터를 신속하게 분석할 수 있습니다.명령을 여러 번 실행하여 증가하거나 남아 있는 높은 값을 확인합니다.

[Ingress]PGW# show session subsystem facility aaamgr all

Tuesday January 10 04:42:29 UTC 2012

4695 Total aaa auth purged

4673 Total radius auth requests         16 Current radius auth requests

4167 Total radius requests pend server max-outstanding

76 Current radius requests pend server max-outstanding

[Ingress]PGW# show session subsystem facility aaamgr all | grep "max-outstanding"

Tuesday January 10 04:51:00 UTC 2012

4773 Total radius requests pend server max-outstanding

67 Current radius requests pend server max-outstanding

[Ingress]PGW# show session subsystem facility aaamgr all | grep "max-outstanding"

Tuesday January 10 04:56:10 UTC 2012

5124 Total radius requests pend server max-outstanding

81 Current radius requests pend server max-outstanding

[Ingress]PGW# show session subsystem facility aaamgr instance 92

Tuesday January 10 04:57:03 UTC 2012

5869 Total aaa auth purged

5843 Total radius auth requests         12 Current radius auth requests

5170 Total radius requests pend server max-outstanding

71 Current radius requests pend server max-outstanding

[Ingress]PGW# show session subsystem facility aaamgr instance 92

Tuesday January 10 05:10:05 UTC 2012

6849 Total aaa auth purged

6819 Total radius auth requests          6 Current radius auth requests

5981 Total radius requests pend server max-outstanding

68 Current radius requests pend server max-outstanding

[Ingress]PGW# show session subsystem facility aaamgr all | grep "max-outstanding"

Tuesday January 10 05:44:22 UTC 2012

71 Total radius requests pend server max-outstanding

0 Current radius requests pend server max-outstanding

61 Total radius requests pend server max-outstanding

0 Current radius requests pend server max-outstanding

7364 Total radius requests pend server max-outstanding   <== instance #92

68 Current radius requests pend server max-outstanding

89 Total radius requests pend server max-outstanding

0 Current radius requests pend server max-outstanding

74 Total radius requests pend server max-outstanding

0 Current radius requests pend server max-outstanding

[Ingress]PGW#radius test instance 92 auth server 65.175.1.10 port 1645 test test

Tuesday January 10 06:13:38 UTC 2012

Authentication from authentication server 65.175.1.10, port 1645

Communication Failure: No response received

ping

추적

ICMP Ping은 기본 연결을 테스트하여 AAA 서버에 연결할 수 있는지 여부를 확인합니다.네트워크에 따라 Ping을 src 키워드로 제공해야 할 수 있으며 값을 얻으려면 AAA 컨텍스트에서 Ping을 수행해야 합니다.서버에 대한 ping이 실패하면 컨텍스트의 다음 hop 주소를 포함한 중간 요소를 ping하여 ping에 실패할 경우 next-hop 주소에 ARP 항목이 있는지 확인합니다.Traceroute는 라우팅 문제에도 도움이 될 수 있습니다.

[source]CSE2# ping 192.168.50.200

PING 192.168.50.200 (192.168.50.200) 56(84) bytes of data.

64 bytes from 192.168.50.200: icmp_seq=1 ttl=64 time=0.411 ms

64 bytes from 192.168.50.200: icmp_seq=2 ttl=64 time=0.350 ms

64 bytes from 192.168.50.200: icmp_seq=3 ttl=64 time=0.353 ms

64 bytes from 192.168.50.200: icmp_seq=4 ttl=64 time=0.321 ms

64 bytes from 192.168.50.200: icmp_seq=5 ttl=64 time=0.354 ms

--- 192.168.50.200 ping statistics ---

5 packets transmitted, 5 received, 0% packet loss, time 4000ms

rtt min/avg/max/mdev = 0.321/0.357/0.411/0.037 ms

radius 테스트 인스턴스 x 인증 {radius group <group> | 모두 | 서버 <IP> 포트 <포트>} <사용자 이름> <암호>

radius 테스트 인스턴스 x 계정 관리 {radius group <group name> | 모두 | 서버 <IP> 포트 <포트>}

Tech Support Test 명령에 대한 액세스를 통해 특정 aaamgr이 어떤 RADIUS 서버에 도달할 수 있는지 추가로 테스트할 수 있습니다.특정 aaamgr 인스턴스에 관계없이 기본 RADIUS 연결 테스트의 경우 특정 인스턴스 번호를 지정하지 않고 기본적으로 관리 인스턴스를 사용하는 이 명령의 일반 버전을 사용합니다.이 오류가 발생할 경우 특정 인스턴스와 상관없이 더 광범위한 문제를 나타낼 수 있습니다.

이 명령은 기본 인증 요청 또는 어카운팅 시작 및 중지 요청을 전송하고 응답을 기다립니다.인증의 경우, 사용자 이름과 비밀번호를 사용합니다. 이 경우 거부 응답이 예상되며, RADIUS가 설계된 대로 작동하는지 확인하거나 알려진 작업 사용자 이름/비밀번호를 사용할 수 있습니다. 이 경우 수락 응답을 받아야 합니다

다음은 모니터링 프로토콜의 출력 예와 랩 섀시에서 명령의 인증 버전을 실행하는 예입니다.

[source]CSE2# radius test authentication server 192.168.50.200 port 1812 test test

Authentication from authentication server 192.168.50.200, port 1812

Authentication Success: Access-Accept received

Round-trip time for response was 12.3 ms

<<<<OUTBOUND 14:53:49:202 Eventid:23901(6)

RADIUS AUTHENTICATION Tx PDU, from 192.168.50.151:32783 to 192.168.50.200:1812 (58) PDU-dict=starent-vsa1

Code: 1 (Access-Request)

Id: 5

Length: 58

Authenticator: 56 97 57 9C 51 EF A4 08 20 E1 14 89 40 DE 0B 62

User-Name = test

User-Password = 49 B0 92 4D DC 64 49 BA B0 0E 18 36 3F B6 1B 37

NAS-IP-Address = 192.168.50.151

NAS-Identifier = source

INBOUND>>>>> 14:53:49:214 Eventid:23900(6)

RADIUS AUTHENTICATION Rx PDU, from 192.168.50.200:1812 to 192.168.50.151:32783 (34) PDU-dict=starent-vsa1

Code: 2 (Access-Accept)

Id: 5

Length: 34

Authenticator: D7 94 1F 18 CA FE B4 27 17 75 5C 99 9F A8 61 78

User-Password = testpassword

다음은 라이브 섀시의 예입니다.

<<<<OUTBOUND 12:45:49:869 Eventid:23901(6)

RADIUS AUTHENTICATION Tx PDU, from 10.209.28.200:33156 to 209.165.201.1:1645 (72) PDU-dict=custom150

Code: 1 (Access-Request)

Id: 6

Length: 72

Authenticator: 67 C2 2B 3E 29 5E A5 28 2D FB 85 CA 0E 9F A4 17

User-Name = test

User-Password = 8D 95 3B 31 99 E2 6A 24 1F 81 13 00 3C 73 BC 53

NAS-IP-Address = 10.209.28.200

NAS-Identifier = source

3GPP2-Session-Term-Capability = Both_Dynamic_Auth_And_Reg_Revocation_in_MIP

INBOUND>>>>> 12:45:49:968 Eventid:23900(6)

RADIUS AUTHENTICATION Rx PDU, from 209.165.201.1:1645 to 10.209.28.200:33156 (50) PDU-dict=custom150

Code: 3 (Access-Reject)

Id: 6

Length: 50

Authenticator: 99 2E EC DA ED AD 18 A9 86 D4 93 52 57 4C 2F 84

Reply-Message = Invalid username or password

다음은 명령의 어카운팅 버전 실행의 출력 예입니다.비밀번호는 필요하지 않습니다.

[source]CSE2# radius test accounting server 192.168.50.200 port 1813 test

RADIUS Start to accounting server 192.168.50.200, port 1813

Accounting Success: response received

Round-trip time for response was 7.9 ms

RADIUS Stop to accounting server 192.168.50.200, port 1813

Accounting Success: response received

Round-trip time for response was 15.4 ms

<<<<OUTBOUND 15:23:14:974 Eventid:24901(6)

RADIUS ACCOUNTING Tx PDU, from 192.168.50.151:32783 to 192.168.50.200:1813 (62) PDU-dict=starent-vsa1

Code: 4 (Accounting-Request)

Id: 8

Length: 62

Authenticator: DA 0F A8 11 7B FE 4B 1A 56 EB 0D 49 8C 17 BD F6

User-Name = test

NAS-IP-Address = 192.168.50.151

Acct-Status-Type = Start

Acct-Session-Id = 00000000

NAS-Identifier = source

Acct-Session-Time = 0

INBOUND>>>>> 15:23:14:981 Eventid:24900(6)

RADIUS ACCOUNTING Rx PDU, from 192.168.50.200:1813 to 192.168.50.151:32783 (20) PDU-dict=starent-vsa1

Code: 5 (Accounting-Response)

Id: 8

Length: 20

Authenticator: 05 E2 82 29 45 FC BC D6 6C 48 63 AA 14 9D 47 5B

<<<<OUTBOUND 15:23:14:983 Eventid:24901(6)

RADIUS ACCOUNTING Tx PDU, from 192.168.50.151:32783 to 192.168.50.200:1813 (62) PDU-dict=starent-vsa1

Code: 4 (Accounting-Request)

Id: 9

Length: 62

Authenticator: 29 DB F1 0B EC CE 68 DB C7 4D 60 E4 7F A2 D0 3A

User-Name = test

NAS-IP-Address = 192.168.50.151

Acct-Status-Type = Stop

Acct-Session-Id = 00000000

NAS-Identifier = source

Acct-Session-Time = 0

INBOUND>>>>> 15:23:14:998 Eventid:24900(6)

RADIUS ACCOUNTING Rx PDU, from 192.168.50.200:1813 to 192.168.50.151:32783 (20) PDU-dict=starent-vsa1

Code: 5 (Accounting-Response)

Id: 9

Length: 20

Authenticator: D8 3D EF 67 EA 75 E0 31 A5 31 7F E8 7E 69 73 DC

다음 출력은 특정 RADIUS 어카운팅 서버에 대한 연결이 끊어진 동일한 aaamgr 인스턴스 36에 대한 것입니다.

[source]PDSN> radius test instance 36 accounting all test

Wednesday September 10 10:06:29 UTC 2014

RADIUS Start to accounting server 209.165.201.1, port 1646

Accounting Success: response received

Round-trip time for response was 51.2 ms

RADIUS Stop to accounting server 209.165.201.1, port 1646

Accounting Success: response received

Round-trip time for response was 46.2 ms

RADIUS Start to accounting server 209.165.201.2, port 1646

Accounting Success: response received

Round-trip time for response was 89.3 ms

RADIUS Stop to accounting server 209.165.201.2, port 1646

Accounting Success: response received

Round-trip time for response was 87.8 ms

RADIUS Start to accounting server 209.165.201.3, port 1646

Communication Failure: no response received

RADIUS Stop to accounting server 209.165.201.3, port 1646

Communication Failure: no response received

RADIUS Start to accounting server 209.165.201.4, port 1646

Accounting Success: response received

Round-trip time for response was 81.6 ms

RADIUS Stop to accounting server 209.165.201.4, port 1646

Accounting Success: response received

Round-trip time for response was 77.1 ms

RADIUS Start to accounting server 209.165.201.5, port 1646

Accounting Success: response received

Round-trip time for response was 46.7 ms

RADIUS Stop to accounting server 209.165.201.5, port 1646

Accounting Success: response received

Round-trip time for response was 46.7 ms

RADIUS Start to accounting server 209.165.201.6, port 1646

Accounting Success: response received

Round-trip time for response was 79.6 ms

RADIUS Stop to accounting server 209.165.201.6, port 1646

Accounting Success: response received

Round-trip time for response was 10113.0 ms

show radius info [radius group <group name>] instance { X | 모두}

이 명령은 구성된 NAS IP 주소가 RADIUS 서버에 연결하기 위해 사용하는 NPU(Network Processor Unit) 플로우 ID 및 UDP 포트를 보고합니다.이는 출력의 aaa group default 섹션에서 보고됩니다.포트 번호는 특정 aaamgr 인스턴스 번호와 함께 패킷 캡처의 RADIUS 패킷과 일치해야 하는 경우에 유용할 수 있습니다. (NPU 플로우는 복잡하며 이 문서에서 논의된 내용은 아니지만 지원 엔지니어가 더 조사할 수 있는 엔티티입니다.) 서버에 대한 미해결 요청도 추적합니다.이 문서에서 사용된 동일한 예제 문제에서는 강조 표시된 대로 특정 RADIUS 서버 <=> NAS IP/UDP 포트 쌍만 장애가 발생했습니다.

[source]PDSN> show radius info radius group all instance 114

Wednesday October 01 11:39:15 UTC 2014

Context source:

---------------------------------------------

AAAMGR instance 114:  cb-list-en: 1 AAA Group: aaa-roamingprovider.com

---------------------------------------------

Authentication servers:

---------------------------------------------

Primary  authentication server address 209.165.201.1, port 1645

state Active

priority 1

requests outstanding 0

max requests outstanding 3

consecutive failures 0

Secondary  authentication server address 209.165.201.2, port 1645

state Active

priority 2

requests outstanding 0

max requests outstanding 3

consecutive failures 0

Accounting servers:

---------------------------------------------

Primary  accounting server address 209.165.201.1, port 1646

state Active

priority 1

requests outstanding 0

max requests outstanding 3

consecutive failures 0

Secondary  accounting server address 209.165.201.2, port 1646

state Active

priority 2

requests outstanding 0

max requests outstanding 3

consecutive failures 0

AAAMGR instance 114:  cb-list-en: 1 AAA Group: aaa-maingroup.com

---------------------------------------------

Authentication servers:

---------------------------------------------

Primary  authentication server address 209.165.201.3, port 1645

state Active

priority 1

requests outstanding 0

max requests outstanding 3

consecutive failures 0

Secondary  authentication server address 209.165.201.4, port 1645

state Active

priority 2

requests outstanding 0

max requests outstanding 3

consecutive failures 0

Accounting servers:

---------------------------------------------

Primary  accounting server address 209.165.201.3, port 1646

state Down

priority 1

requests outstanding 3

max requests outstanding 3

consecutive failures 7

dead time expires in 146 seconds

Secondary  accounting server address 209.165.201.4, port 1646

state Active

priority 2

requests outstanding 0

max requests outstanding 3

consecutive failures 0

AAAMGR instance 114:  cb-list-en: 1 AAA Group: default

---------------------------------------------

socket number: 388550648

socket state: ready

local ip address: 10.210.21.234

local udp port: 25808

flow id: 20425379

use med interface: yes

VRF context ID: 2

Authentication servers:

---------------------------------------------

Primary  authentication server address 209.165.201.5, port 1645

state Active

priority 1

requests outstanding 0

max requests outstanding 3

consecutive failures 0

Secondary  authentication server address 209.165.201.6, port 1645

state Not Responding

priority 2

requests outstanding 0

max requests outstanding 3

consecutive failures 0

Accounting servers:

---------------------------------------------

Primary  accounting server address 209.165.201.5, port 1646

state Active

priority 1

requests outstanding 0

max requests outstanding 3

consecutive failures 0

Secondary  accounting server address 209.165.201.6, port 1646

state Active

priority 2

requests outstanding 0

max requests outstanding 3

consecutive failures 0

[source]PDSN>

가입자 모니터링

모니터 가입자를 사용하여 인증을 시도했는지 여부와 모니터링되는 통화에 대해 회신이 처리되는지 여부를 확인할 수 있습니다.Sessmgr Sender Info를 나타내는 옵션 'S'를 켜십시오. 이 옵션은 문제의 메시지를 처리하는 sessmgr 또는 aaamgr 인스턴스 번호를 효과적으로 보고합니다.다음은 HA에서 MIP 전화를 거는 예입니다. sessmgr / aaamgr 인스턴스에 연결 132

Incoming Call:

----------------------------------------------------------------------

MSID/IMSI   :                             Callid      : 2719afb2

IMEI        : n/a                         MSISDN      : n/a

Username    : 6667067222@cisco.com        SessionType : ha-mobile-ip

Status      : Active                      Service Name: HAService

Src Context : source

----------------------------------------------------------------------

*** Sender Info (ON ) ***

Thursday June 11 2015

INBOUND>>>>>  From sessmgr:132 sessmgr_ha.c:861 (Callid 2719afb2) 15:42:35:742 Eventid:26000(3)

MIP Rx PDU, from 203.0.113.11:434 to 203.0.113.1:434 (190)

Message Type: 0x01 (Registration Request)

Flags: 0x02

Lifetime: 0x1C20

Home Address: 0.0.0.0

Home Agent Address: 255.255.255.255

Thursday June 11 2015

<<<<OUTBOUND  From aaamgr:132 aaamgr_radius.c:367 (Callid 2719afb2) 15:42:35:743 Eventid:23901(6)

RADIUS AUTHENTICATION Tx PDU, from 203.0.113.1:59933 to 209.165.201.3:1645 (301) PDU-dict=custom9

Code: 1 (Access-Request)

Id: 12

Length: 301

Thursday June 11 2015

INBOUND>>>>>  From aaamgr:132 aaamgr_radius.c:1999 (Callid 2719afb2) 15:42:35:915 Eventid:23900(6)

RADIUS AUTHENTICATION Rx PDU, from 209.165.201.3:1645 to 203.0.113.1:59933 (156) PDU-dict=custom9

Code: 2 (Access-Accept)

Id: 12

Thursday June 11 2015

<<<<OUTBOUND  From sessmgr:132 mipha_fsm.c:6617 (Callid 2719afb2) 15:42:36:265 Eventid:26001(3)

MIP Tx PDU, from 203.0.113.1:434 to 203.0.113.11:434 (112)

Message Type: 0x03 (Registration Reply)

Code: 0x00 (Accepted)

Lifetime: 0x1C20

Home Address: 10.229.6.167

이 기사의 마지막 부분에도 실패 사례가 있습니다.

패킷 캡처

ASR에 대한 정보가 부족하여 연결 가능성 문제가 발생하는 이유를 확인할 수 없는 경우가 있는데, 이 경우 패킷 캡처가 필요합니다.개별 가입자 문제를 해결할 때 추적에서 각 패킷을 식별하려면 쉬워야 합니다.그렇지 않으면 특정 aaamgr 인스턴스 # <==> RADIUS 서버 쌍의 양 끝에 UDP 포트가 사용된다는 사실을 알면 문제가 특정 포트/aaamgr 인스턴스에 연결된 경우 도움이 될 수 있습니다.  패킷이 삭제되는 위치를 확인하기 위해 네트워크의 여러 위치에서 캡처를 시도해야 할 수 있습니다.이 문서에서 분석하는 문제에서는 ASR과 RADIUS 서버 간의 전송 경로에서 적절한 위치에 있는 패킷 캡처로서 문제를 해결하는 데 방해가 되었습니다.

교정

이 마지막 섹션에서는 RADIUS 연결 문제를 해결하기 위한 몇 가지 아이디어를 제공합니다.이는 특정 순서로 표시되지 않고 단순히 문제 해결 프로세스에서 고려해야 할 목록입니다.

RADIUS 서버가 오버로드되는 경우 "radius(accounting) max-outstanding"에 대해 구성된 값(기본값 256)을 통해 로드를 줄일 수 있습니다. 그러면 지정된 aamgr 프로세스에 대해 미처리(응답 없음) 요청 수에 대한 제한이 설정됩니다.제한에 도달하면 로그에 다음과 같은 메시지가 표시될 수 있습니다."radius 인증 서버 x.x.x.x:1812에 대한 메시지 ID를 할당하지 못했습니다."

특정 서버에 대한 RADIUS 메시지의 속도 제한 역시 각 서버 구성 행에 대한 rate-limit 키워드를 통해 로드를 줄이는 데 도움이 될 수 있습니다.

연결이 문제가 아니라 계정 트래픽 증가 문제가 되는 경우가 있습니다. 이는 RADIUS persay에 문제가 아니라 더 많은 계정 관리를 시작하고 중지하는 추가 ppp 재처리와 같은 다른 영역을 가리키는 것입니다.따라서 관찰되는 증상에 대한 원인 또는 트리거를 찾기 위해 RADIUS 외부의 문제를 해결해야 할 수 있습니다.

트러블슈팅 프로세스 중에 어떤 이유로든 라이브 서버 목록에서 radius 인증 또는 어카운팅 서버를 제거하기로 결정한 경우, 서버를 다시 서비스 상태로 전환하기 위해 필요할 때까지 서버를 무기한 서비스 중단시키는 (non-config) 명령이 있습니다.이는 컨피그레이션에서 수동으로 제거하지 않아도 되는 보다 간단한 방법입니다.

{사용 안 함 | enable} radius [accounting] server x.x.x.x

[source]CSE2# show radius authentication servers detail

+-----Type:       (A) - Authentication   (a) - Accounting

|                 (C) - Charging         (c) - Charging Accounting

|                (M) - Mediation       (m) - Mediation Accounting

|

|+----Preference: (P) - Primary         (S) - Secondary

||

||+---State:     (A) - Active           (N) - Not Responding

|||               (D) - Down             (W) - Waiting Accounting-On

|||              (I) - Initializing     (w) - Waiting Accounting-Off

|||               (a) - Active Pending   (U) - Unknown

|||

|||+--Admin       (E) - Enabled         (D) - Disabled

|||| Status:

||||

||||+-Admin

||||| status     (O) - Overridden       (.) - Not Overridden

||||| Overridden:

|||||

vvvvv IP             PORT GROUP

----- --------------- ----- -----------------------

APNDO 192.168.50.200 1812 default

PSC 또는 DPC 마이그레이션 또는 라인 카드 전환은 NPU 플로우와 관련하여 때때로 문제의 원인이었던 Npumgr을 포함하여 카드의 프로세스가 다시 시작된다는 사실 때문에 종종 문제를 해결할 수 있습니다.

앞서 언급한 aaamgr 92의 예에서 볼 수 있듯이, AAA Unreachable 장애가 실제로 PSC 마이그레이션이 완료되었을 때 시작되었습니다.PSC 11 을 대기 상태로 만드는 PSC 마이그레이션을 완료했을 때 NPU 플로우가 누락되어 트리거되었습니다.1시간 후에 활성 상태로 설정되면 aaamgr 92에 대해 누락된 플로우의 실제 영향이 시작되었습니다. 이와 같은 문제는 기술 지원의 도움 없이 문제를 해결하기가 매우 어렵습니다.

[Ingressc]PGW# show rct stat

RCT stats Details (Last 6 Actions)

Action            Type      From To   Start Time                Duration

----------------- --------- ---- ---- ------------------------  ----------

Migration         Planned    11   16  2012-Jan-09+16:27:38.135  36.048 sec

Migration         Planned     3   11  2012-Jan-09+17:28:57.413  48.739 sec

Mon Jan 09 17:31:11 2012 Internal trap notification 39 (AAAAuthSvrUnreachable) server 2 ip address 209.165.201.3

Mon Jan 09 17:31:16 2012 Internal trap notification 40 (AAAAuthSvrReachable) server 2 ip address 209.165.201.3

이 문제는 포트 전환 때문에 일시적으로 해결되었습니다. 이로 인해 aamgr 92에 대한 NPU 흐름이 누락된 PSC 카드가 더 이상 활성 라인 카드에 연결되지 않았습니다.

Tue Jan 10 06:52:17 2012 Internal trap notification 93 (CardStandby) card 27

Tue Jan 10 06:52:17 2012 Internal trap notification 1024 (PortDown) card 27 port 1 ifindex 453050375port type 10G Ethernet

Tue Jan 10 06:52:17 2012 Internal trap notification 55 (CardActive) card 28

Tue Jan 10 06:52:17 2012 Internal trap notification 1025 (PortUp) card 28 port 1 ifindex 469827588port type 10G Ethernet

마지막 오류 트랩:

Tue Jan 10 06:53:11 2012 Internal trap notification 43 (AAAAccSvrReachable) server 5 ip address 209.165.201.3

[Ingress]PGW# radius test instance 93 authen server 209.165.201.3 port 1645 test test

Tuesday January 10 07:18:22 UTC 2012

Authentication from authentication server 209.165.201.3, port 1645

Authentication Failure: Access-Reject received

Round-trip time for response was 38.0 ms

[Ingress]PGW# show session subsystem facility aaamgr instance 92

Tuesday January 10 07:39:47 UTC 2012

12294 Total aaa auth purged

14209 Total radius auth requests          0 Current radius auth requests

9494 Total radius requests pend server max-outstanding

0 Current radius requests pend server max-outstanding

마찬가지로, "stuck"된 특정 aamgrs를 다시 시작하면 문제가 해결될 수도 있습니다. 그러나 이는 기술 지원 부서에서 제한된 기술 지원 명령을 사용하기 때문에 수행해야 하는 활동입니다.앞서 show task resources 섹션에 소개된 aaamgr 92 예에서는 이 작업을 시도했지만 근본 원인이 aaamgr 92가 아니라 aaamgr 92가 필요한 누락 NPU 플로우(aaamgr 문제가 아닌 NPU 문제)로 인해 도움이 되지 않았습니다. 다음은 시도의 관련 출력입니다."show task table"은 프로세스 id 및 작업 인스턴스 # 92의 연결을 표시하기 위해 실행됩니다.

5  2012-Jan-10+06:20:53 aaamgr   16/0/04722 12.0(40466) PLB27085474/PLB38098237

[Ingress]PGW# show crash number 5

********************* CRASH #05 ***********************

Build: 12.0(40466)

Fatal Signal 6: Aborted

PC: [b7eb6b90/X] __poll()

Note: User-initiated state dump w/core.

******** show task table *******

task                           parent

cpu facility      inst    pid pri  facility      inst    pid

---- -----------------------------  -------------------------

16/0 aaamgr          92   4722   0  sessctrl         0   2887

최종 예

이 문서에서 논의된 많은 문제 해결 명령 및 접근 방식을 통합하는 라이브 네트워크의 실제 가동 중단의 마지막 예입니다.이 노드는 3G MIP 및 4G LTE(Long Term Evolution) 및 eHRPD(Evolved High Rate Packet Data) 통화 유형을 처리합니다.

snmp 트랩 기록 표시

트랩만으로 시작점이 고객이 19:25 UTC로 보고한 것과 일치하는지 확인할 수 있습니다.별도로, 주 서버의 AAAAuthSvrUnreachable 트랩은 몇 시간 후에 시작됩니다(이유는 명확하지 않지만 참고해 주십시오.그러나 해당 서버에 대한 계정 연결이 즉시 시작됨)

Sun Dec 29 19:28:13 2013 Internal trap notification 42 (AAAAccSvrUnreachable) server 5 ip address 209.165.201.3

Sun Dec 29 19:32:13 2013 Internal trap notification 39 (AAAAuthSvrUnreachable) server 2 ip address 209.165.201.3

Sun Dec 29 19:33:05 2013 Internal trap notification 40 (AAAAuthSvrReachable) server 2 ip address 209.165.201.3

Sun Dec 29 19:34:13 2013 Internal trap notification 43 (AAAAccSvrReachable) server 5 ip address 209.165.201.3

Sun Dec 29 19:34:13 2013 Internal trap notification 39 (AAAAuthSvrUnreachable) server 2 ip address 209.165.201.3

Sun Dec 29 19:35:05 2013 Internal trap notification 40 (AAAAuthSvrReachable) server 2 ip address 209.165.201.3

Sun Dec 29 19:38:13 2013 Internal trap notification 42 (AAAAccSvrUnreachable) server 6 ip address 209.165.201.8

...

Sun Dec 29 23:12:13 2013 Internal trap notification 39 (AAAAuthSvrUnreachable) server 4 ip address 209.165.201.3

Sun Dec 29 23:13:03 2013 Internal trap notification 40 (AAAAuthSvrReachable) server 4 ip address 209.165.201.3

Sun Dec 29 23:54:13 2013 Internal trap notification 39 (AAAAuthSvrUnreachable) server 4 ip address 209.165.201.3

Sun Dec 29 23:54:14 2013 Internal trap notification 40 (AAAAuthSvrReachable) server 4 ip address 209.165.201.3

Sun Dec 29 23:58:13 2013 Internal trap notification 39 (AAAAuthSvrUnreachable) server 4 ip address 209.165.201.3

Sun Dec 29 23:58:14 2013 Internal trap notification 40 (AAAAuthSvrReachable) server 4 ip address 209.165.201.3

작업 리소스 표시

이 출력은 DPC 8/1의 통화 수가 훨씬 더 적음을 보여줍니다. 추가 분석 없이 DPC 8에 문제가 있음을 제시하고 대기 DPC로 마이그레이션하는 옵션을 제안할 수 있습니다.그러나 실제 가입자에 미치는 영향이 무엇인지 확인하는 것이 중요합니다. 이러한 시나리오에서는 일반적으로 가입자가 후속 시도에 성공적으로 연결되므로 가입자에게 미치는 영향은 별로 크지 않으며, 사용자 평면 중단도 발생하지 않는다고 가정할 경우(중단된 항목에 따라 가능한 경우) 제공자에게 아무런 영향도 보고하지 않을 것입니다.

7/1 sessmgr        230  27% 100% 586.2M  2.49G   43  500  4123 35200 I   good

7/1 aaamgr         237 0.9%  95% 143.9M 640.0M   22  500    --    -- -   good

7/1 sessmgr        243  22% 100% 588.1M  2.49G   42  500  4118 35200 I   good

7/1 sessmgr        258  19% 100% 592.8M  2.49G   43  500  4122 35200 I   good

7/1 aaamgr         268 0.9%  95% 143.5M 640.0M   22  500    --    -- -   good

7/1 sessmgr        269  23% 100% 586.7M  2.49G   43  500  4115 35200 I   good

7/1 aaamgr         274 0.4%  95% 144.9M 640.0M   22  500    --    -- -   good

7/1 sessmgr        276  30% 100% 587.9M  2.49G   43  500  4123 35200 I   good

7/1 aaamgr         285 1.0%  95% 142.7M 640.0M   22  500    --    -- -   good

7/1 aaamgr         286 0.8%  95% 143.8M 640.0M   22  500    --    -- -   good

7/1 sessmgr        290  28% 100% 588.2M  2.49G   41  500  4115 35200 I   good

8/0 sessmgr        177  23% 100% 588.7M  2.49G   48  500  4179 35200 I   good

8/0 sessmgr        193  24% 100% 591.3M  2.49G   44  500  4173 35200 I   good

8/0 aaamgr         208 0.9%  95% 143.8M 640.0M   22  500    --    -- -   good

8/0 sessmgr        211  23% 100% 592.1M  2.49G   45  500  4173 35200 I   good

8/0 sessmgr        221  27% 100% 589.2M  2.49G   44  500  4178 35200 I   good

8/0 aaamgr         222 0.9%  95% 142.0M 640.0M   22  500    --    -- -   good

8/0 sessmgr        225  25% 100% 592.0M  2.49G   43  500  4177 35200 I   good

8/0 aaamgr         238 0.9%  95% 140.0M 640.0M   22  500    --    -- -   good

8/0 aaamgr         243 1.0%  95% 144.9M 640.0M   22  500    --    -- -   good

8/0 sessmgr        244  31% 100% 593.3M  2.49G   43  500  4177 35200 I   good

8/0 aaamgr         246 0.9%  95% 138.5M 640.0M   22  500    --    -- -   good

8/0 aaamgr         248 0.9%  95% 141.4M 640.0M   22  500    --    -- -   good

8/0 aaamgr         258 0.9%  95% 138.3M 640.0M   22  500    --    -- -   good

8/0 aaamgr         259 0.8%  95% 139.2M 640.0M   22  500    --    -- -   good

8/0 aaamgr         260 0.8%  95% 142.9M 640.0M   22  500    --    -- -   good

8/0 aaamgr         262 0.9%  95% 145.0M 640.0M   22  500    --    -- -   good

8/0 aaamgr         264 0.9%  95% 143.4M 640.0M   22  500    --    -- -   good

8/0 sessmgr        270  24% 100% 592.2M  2.49G   44  500  4171 35200 I   good

8/0 sessmgr        277  20% 100% 593.7M  2.49G   43  500  4176 35200 I   good

8/0 sessmgr        288  23% 100% 591.9M  2.49G   43  500  4177 35200 I   good

8/0 sessmgr        296  24% 100% 593.0M  2.49G   42  500  4170 35200 I   good

8/1 sessmgr        186 2.0% 100% 568.3M  2.49G   48  500  1701 35200 I   good

8/1 sessmgr        192 2.0% 100% 571.1M  2.49G   46  500  1700 35200 I   good

8/1 aaamgr         200 1.0%  95% 147.3M 640.0M   22  500    --    -- -   good

8/1 sessmgr        210 2.1% 100% 567.1M  2.49G   46  500  1707 35200 I   good

8/1 aaamgr         216 0.9%  95% 144.6M 640.0M   22  500    --    -- -   good

8/1 sessmgr        217 2.0% 100% 567.7M  2.49G   45  500  1697 35200 I   good

8/1 sessmgr        231 2.2% 100% 565.7M  2.49G   45  500  1705 35200 I   good

8/1 sessmgr        240 2.0% 100% 569.8M  2.49G   45  500  1702 35200 I   good

8/1 aaamgr         242 0.9%  95% 148.5M 640.0M   22  500    --    -- -   good

8/1 sessmgr        252 1.8% 100% 566.5M  2.49G   44  500  1704 35200 I   good

8/1 aaamgr         261 0.9%  95% 142.0M 640.0M   22  500    --    -- -   good

8/1 aaamgr         263 1.0%  95% 144.1M 640.0M   22  500    --    -- -   good

8/1 aaamgr         265 1.0%  95% 146.4M 640.0M   22  500    --    -- -   good

8/1 aaamgr         267 1.0%  95% 144.4M 640.0M   22  500    --    -- -   good

8/1 aaamgr         269 1.0%  95% 143.8M 640.0M   22  500    --    -- -   good

8/1 sessmgr        274 1.9% 100% 570.5M  2.49G   44  500  1704 35200 I   good

8/1 sessmgr        283 2.0% 100% 570.0M  2.49G   44  500  1708 35200 I   good

8/1 sessmgr        292 2.1% 100% 567.6M  2.49G   44  500  1703 35200 I   good

9/0 sessmgr          1  30% 100% 587.2M  2.49G   48  500  4161 35200 I   good

9/0 diamproxy        1 5.2%  90% 37.74M 250.0M  420 1000    --    -- -   good

9/0 sessmgr         14  25% 100% 587.4M  2.49G   48  500  4156 35200 I   good

9/0 sessmgr         21  20% 100% 591.5M  2.49G   47  500  4156 35200 I   good

9/0 sessmgr         34  23% 100% 586.5M  2.49G   48  500  4155 35200 I   good

9/0 aaamgr          44 0.9%  95% 145.1M 640.0M   21  500    --    -- -   good

9/0 sessmgr         46  29% 100% 592.1M  2.49G   48  500  4157 35200 I   good

가입자 모니터링

DPC 9/1의 sessmgr 242에 대한 기본 209.165.201.3에 대한 인증 요청에 대한 응답이 없는 경우, DPC 8/1의 쌍 aamgr이 8/1에서 AAA에 연결할 수 없어 3G 오류를 확인합니다. 또한 해당 시점까지 209.165.201.3에 대한 AAAAuthSrvUnreachable 트랩이 없었더라도 서버(응답 처리 문제)가 발생하지 않는다는 것을 의미합니다. 위의 경우 트랩이 시작되지만 몇 시간 후에 시작됩니다.)

8/1 aaamgr         242 0.9%  95% 148.5M 640.0M   22  500    --    -- -   good

9/1 sessmgr        242  20% 100% 589.7M  2.49G   43  500  4167 35200 I   good

----------------------------------------------------------------------

Incoming Call:

----------------------------------------------------------------------

MSID/IMSI   :                             Callid      : 4537287a

IMEI        : n/a                         MSISDN      : n/a

Username    : 6664600074@cisco.com        SessionType : ha-mobile-ip

Status      : Active                      Service Name: HAService

Src Context : Ingress

----------------------------------------------------------------------

INBOUND>>>>>  From sessmgr:242 sessmgr_ha.c:880 (Callid 4537287a) 23:18:19:099 Eventid:26000(3)

MIP Rx PDU, from 203.0.113.1:434 to 203.0.113.3:434 (190)

Message Type: 0x01 (Registration Request)

<<<<OUTBOUND  From aaamgr:242 aaamgr_radius.c:370 (Callid 4537287a) 23:18:19:100 Eventid:23901(6)

RADIUS AUTHENTICATION Tx PDU, from 203.0.113.3:27856 to 209.165.201.3:1645 (301) PDU-dict=custom9

Code: 1 (Access-Request)

Id: 195

Length: 301

Authenticator: CD 59 0C 6D 37 2C 5D 19 FB 60 F3 35 23 BB 61 6B

User-Name = 6664600074@cisco.com

INBOUND>>>>>  From sessmgr:242 mipha_fsm.c:8438 (Callid 4537287a) 23:18:21:049 Eventid:26000(3)

MIP Rx PDU, from 203.0.113.1:434 to 203.0.113.3:434 (140)

Message Type: 0x01 (Registration Request)

Flags: 0x02

Lifetime: 0x1C20

<<<<OUTBOUND  From sessmgr:242 mipha_fsm.c:6594 (Callid 4537287a) 23:18:22:117 Eventid:26001(3)

MIP Tx PDU, from 203.0.113.3:434 to 203.0.113.1:434 (104)

Message Type: 0x03 (Registration Reply)

Code: 0x83 (Mobile Node Failed Authentication)

***CONTROL*** From sessmgr:242 sessmgr_func.c:6746 (Callid 4537287a) 23:18:22:144 Eventid:10285

CALL STATS: <6664600074@cisco.com>, msid <>, Call-Duration(sec): 0

Disconnect Reason: MIP-auth-failure

Last Progress State: Authenticating

show sub [summary] smgr-instance X

흥미로운 점은 sessmgr 242의 세션 수가 다른 작업 세션 수와 비슷하다는 것입니다.추가 조사에 따르면 이 섀시에서도 호스팅된 4G 통화는 연결할 수 있었으며, 따라서 연결할 수 있는 3G 모바일 IP 통화의 부족을 보완했습니다.  정전이 시작된 후 8시간으로 거슬러 올라가면서 은(는) 이 sessmgr 242에 대한 MIP 통화가 없으며, 중단 시작 전 9시간으로 되돌아가 연결된 통화가 있는지 확인할 수 있습니다.

[local]PGW# show sub sum smgr-instance 242 connected-time less-than 28800  (8 hours)

Monday December 30 03:38:23 UTC 2013

Total Subscribers:             1504

Active:                        1504          Dormant:                       0

hsgw-ipv4-ipv6:                0             pgw-pmip-ipv6:                 98

pgw-pmip-ipv4:                 0             pgw-pmip-ipv4-ipv6:            75

pgw-gtp-ipv6:                  700           pgw-gtp-ipv4:                  3

pgw-gtp-ipv4-ipv6:             628           sgw-gtp-ipv6:                  0

..

ha-mobile-ip:                  0             ggsn-pdp-type-ppp:             0

[local]PGW# show sub sum smgr-instance 242 connected-time less-than 32400 (9 hours)

Monday December 30 03:38:54 UTC 2013      ...

ha-mobile-ip:                  63            ggsn-pdp-type-ppp:             0

LTE 및 eHRPD 통화는 작업 중 및 중단된 aargrs에 연결된 sessmgrs를 비교할 때 MIP 통화에 대한 비율이 더 높습니다.

[local]PGW# show sub sum smgr-instance 272

Monday December 30 03:57:51 UTC 2013

hsgw-ipv4-ipv6:                0             pgw-pmip-ipv6:                 125      pgw-pmip-ipv4:                 0             pgw-pmip-ipv4-ipv6:            85       pgw-gtp-ipv6:                  1530

pgw-gtp-ipv4-ipv6:             1126

ha-mobile-ip:                  1103

[local]PGW# show sub sum smgr-instance 242

Monday December 30 03:52:35 UTC 2013

hsgw-ipv4-ipv6:                0             pgw-pmip-ipv6:                 172         pgw-pmip-ipv4:                 0             pgw-pmip-ipv4-ipv6:            115

pgw-gtp-ipv6:                  1899

pgw-gtp-ipv4-ipv6:             1348

ha-mobile-ip:                  447

radius 테스트 인스턴스 X 인증 서버

8/1의 모든 aaamgrs가 작동하지 않음 - 해당 aamgrs에 대해 radius test instance 명령이 작동하지 않지만 8/0 및 기타 카드의 aamgrs에 대해 작동합니다.

9/1 sessmgr        242  22% 100% 600.6M  2.49G   41  500  3989 35200 I   good

4/1 sessmgr         20  27% 100% 605.1M  2.49G   47  500  3965 35200 I   good

4/0 sessmgr         27  25% 100% 592.8M  2.49G   46  500  3901 35200 I   good

8/1 aaamgr         242 0.9%  95% 150.6M 640.0M   22  500    --    -- -   good

8/1 aaamgr          20 1.0%  95% 151.9M 640.0M   21  500    --    -- -   good

8/0 aaamgr          27 1.0%  95% 146.4M 640.0M   21  500    --    -- -   good

[Ingress]PGW# radius test instance 242 auth server 209.165.201.3 port 1645 test test

Monday December 30 01:03:08 UTC 2013

Authentication from authentication server 209.165.201.3, port 1645

Communication Failure: No response received

[Ingress]PGW# radius test instance 20 auth server 209.165.201.3 port 1645 test test

Monday December 30 01:08:45 UTC 2013

Authentication from authentication server 209.165.201.3, port 1645

Communication Failure: No response received

[Ingress]PGW# radius test instance 27 auth server 209.165.201.3 port 1645 test test

Monday December 30 01:11:40 UTC 2013

Authentication from authentication server 209.165.201.3, port 1645

Authentication Failure: Access-Reject received

Round-trip time for response was 16.8 ms

radius 카운터 모두 표시

RADIUS의 트러블슈팅을 위한 플래그십 명령에는 빠르게 증가하는 많은 시간 초과가 표시됩니다.

[Ingress]PGW> show radius counters all | grep -E "Authentication server address|Access-Request Timeouts"

Monday December 30 00:42:24 UTC 2013

Authentication server address 209.165.201.3, port 1645, group default

Access-Request Timeouts:                                  400058

Authentication server address 209.165.201.5, port 1645, group default

Access-Request Timeouts:                                  26479

[Ingress]PGW> show radius counters all | grep -E "Authentication server address|Access-Request Timeouts"

Monday December 30 00:45:23 UTC 2013

Authentication server address 209.165.201.3, port 1645, group default

Access-Request Timeouts:                                  400614

Authentication server address 209.165.201.5, port 1645, group default

Access-Request Timeouts:                                  26679

[Ingress]PGW> show radius counters all

Monday December 30 00:39:15 UTC 2013

...

Authentication server address 209.165.201.3, port 1645, group default

Access-Request Sent:                                      233262801

Access-Request with DMU Attributes Sent:                  0

Access-Request Pending:                                   22

Access-Request Retried:                                   0

Access-Request with DMU Attributes Retried:               0

Access-Challenge Received:                                0

Access-Accept Received:                                   213448486

Access-Reject Received:                                   19414836

Access-Reject Received with DMU Attributes:               0

Access-Request Timeouts:                                  399438

Access-Request Current Consecutive Failures in a mgr:     3

Access-Request Response Bad Authenticator Received:       16187

Access-Request Response Malformed Received:               1

Access-Request Response Malformed Attribute Received:     0

Access-Request Response Unknown Type Received:            0

Access-Request Response Dropped:                          9039

Access-Request Response Last Round Trip Time:             267.6 ms

Access-Request Response Average Round Trip Time:          201.9 ms

Current Access-Request Queued:                            2

Authentication server address 209.165.201.5, port 1645, group default

Access-Request Sent:                                      27731

Access-Request with DMU Attributes Sent:                  0

Access-Request Pending:                                   0

Access-Request Retried:                                   0

Access-Request with DMU Attributes Retried:               0

Access-Challenge Received:                                0

Access-Accept Received:                                   1390

Access-Reject Received:                                   101

Access-Reject Received with DMU Attributes:               0

Access-Request Timeouts:                                  26240

Access-Request Current Consecutive Failures in a mgr:     13

Access-Request Response Bad Authenticator Received:       0

Access-Request Response Malformed Received:               0

Access-Request Response Malformed Attribute Received:     0

Access-Request Response Unknown Type Received:            0

Access-Request Response Dropped:                          0

Access-Request Response Last Round Trip Time:             227.5 ms

Access-Request Response Average Round Trip Time:          32.3 ms

Current Access-Request Queued:                            0

교정

유지 보수 기간 동안 DPC 마이그레이션 8에서 10으로 문제 해결, AAAAuthSrvUnreachable 트랩 중지, DPC 8은 RMA이고 근본 원인은 DPC 8의 하드웨어 장애로 확인되었습니다(이 문서의 목적을 위해 해당 오류에 대한 세부 정보는 중요하지 않음).

Mon Dec 30 05:58:14 2013 Internal trap notification 39 (AAAAuthSvrUnreachable) server 4 ip address 209.165.201.3

Mon Dec 30 05:58:14 2013 Internal trap notification 39 (AAAAuthSvrUnreachable) server 2 ip address 209.165.201.5

Mon Dec 30 05:58:27 2013 Internal trap notification 40 (AAAAuthSvrReachable) server 2 ip address 209.165.201.5

Mon Dec 30 05:58:27 2013 Internal trap notification 40 (AAAAuthSvrReachable) server 4 ip address 209.165.201.3

Mon Dec 30 05:59:14 2013 Internal trap notification 43 (AAAAccSvrReachable) server 5 ip address 209.165.201.5

Mon Dec 30 06:01:14 2013 Internal trap notification 39 (AAAAuthSvrUnreachable) server 4 ip address 209.165.201.3

Mon Dec 30 06:01:27 2013 Internal trap notification 40 (AAAAuthSvrReachable) server 4 ip address 209.165.201.3

Mon Dec 30 06:01:28 2013 Internal trap notification 16 (PACMigrateStart) from card 8 to card 10

Mon Dec 30 06:01:49 2013 Internal trap notification 60 (CardDown) card 8 type Data Processing Card

Mon Dec 30 06:01:50 2013 Internal trap notification 1504 (CiscoFruCardStatusChanged) FRU entity Card : 10 operational status changed to Active

Mon Dec 30 06:01:50 2013 Internal trap notification 55 (CardActive) card 10 type Data Processing Card

Mon Dec 30 06:01:50 2013 Internal trap notification 17 (PACMigrateComplete) from card 8 to card 10

Mon Dec 30 06:02:08 2013 Internal trap notification 5 (CardUp) card 8 type Data Processing Card

Mon Dec 30 06:02:08 2013 Internal trap notification 1502 (EntStateOperEnabled) Card(8) Severity: Warning

Mon Dec 30 06:02:08 2013 Internal trap notification 93 (CardStandby) card 8 type Data Processing Card

Mon Dec 30 06:08:41 2013 Internal trap notification 1504 (CiscoFruCardStatusChanged) FRU entity Card : 08 operational status changed to Offline

Mon Dec 30 06:08:41 2013 Internal trap notification 60 (CardDown) card 8 type Data Processing Card

Mon Dec 30 06:08:41 2013 Internal trap notification 1503 (EntStateOperDisabled) Card(8) Severity: Critical

Mon Dec 30 06:09:24 2013 Internal trap notification 1505 (CiscoFruPowerStatusChanged) FRU entity Card : 08 Power OFF

Mon Dec 30 06:09:24 2013 Internal trap notification 1504 (CiscoFruCardStatusChanged) FRU entity Card : 08 operational status changed to Empty

Mon Dec 30 06:09:24 2013 Internal trap notification 7 (CardRemoved) card 8 type Data Processing Card

Mon Dec 30 06:09:24 2013 Internal trap notification 1507 (CiscoFruRemoved) FRU entity Card : 08 removed

Mon Dec 30 06:09:24 2013 Internal trap notification 1505 (CiscoFruPowerStatusChanged) FRU entity Card : 08 Power OFF

Mon Dec 30 06:09:50 2013 Internal trap notification 1505 (CiscoFruPowerStatusChanged) FRU entity Card : 08 Power ON

Mon Dec 30 06:09:53 2013 Internal trap notification 1504 (CiscoFruCardStatusChanged) FRU entity Card : 08 operational status changed to Offline

Mon Dec 30 06:09:53 2013 Internal trap notification 8 (CardInserted) card 8 type Data Processing Card

Mon Dec 30 06:09:53 2013 Internal trap notification 1506 (CiscoFruInserted) FRU entity Card : 08 inserted

Mon Dec 30 06:10:00 2013 Internal trap notification 1504 (CiscoFruCardStatusChanged) FRU entity Card : 08 operational status changed to Booting

Mon Dec 30 06:11:59 2013 Internal trap notification 1504 (CiscoFruCardStatusChanged) FRU entity Card : 08 operational status changed to Standby

Mon Dec 30 06:11:59 2013 Internal trap notification 5 (CardUp) card 8 type Data Processing Card

Mon Dec 30 06:11:59 2013 Internal trap notification 93 (CardStandby) card 8 type Data Processing Card

[local]PGW# show rct stat

Wednesday January 01 16:47:21 UTC 2014

RCT stats Details (Last 2 Actions)

Action            Type      From To   Start Time                Duration

----------------- --------- ---- ---- ------------------------  ----------

Migration         Planned     8   10  2013-Dec-30+06:01:28.323  21.092 sec

Shutdown          N/A         8    0  2013-Dec-30+06:08:41.483   0.048 sec