ASR 5000/5500 Series 문제 해결 포트/NPU 관련 문제
목차
소개
이 문서에서는 NPU(Network Processing Unit) 관련 문제를 포함하여 다양한 포트 관련 문제 ASR 5000 및 5500 플랫폼을 트러블슈팅하고 LAG(Link Aggregation) 문제를 해결하는 방법에 대해 설명합니다.이러한 기법은 로켓 과학이 아니며 실제로 대부분 엔지니어들이 알고 있지만, 문제 해결 과정에서 잠재적인 해결을 위한 단계를 빠르게 진행하는 것이 감독의 실수로 인해 한 개 이상의 기술을 건너뛰는 경우가 많습니다.기사는 먼저 포트 관련 상태 확인으로 시작합니다.그런 다음 모든 접근 방식을 일종의 체계적인 순서로 표시합니다.마지막으로, 심층 분석을 원하는 사용자를 위한 기본적인 포트 문제 해결 이상의 실제 사례를 제공합니다.
문제 해결 명령
snmp 트랩 기록 표시
PortLinkUp 및 PortLinkDown의 패턴을 찾습니다.고려 사항:
- 얼마나 자주, 그리고 어떤 기간에 걸쳐
- 여러 포트 또는 한 포트 또는 다른 패턴
- 기술자가 알 수 있거나 모르는 유지 보수 작업
포트 테이블 모두 표시
- 링크가 작동 중인지 또는 작동 중지 상태인지 나타냅니다.
- LAG(Link Aggregation) - 포트가 올바른 상태인지 확인합니다(+(배포/활성) 또는 ~(동의/대기). 다른 주 * 또는 - 추가 조사가 필요합니다.
포트 정보 표시
- 링크 상태, 포트 모드, 포트 설정, LAG(Link Aggregation) 설정, SFP 모듈 등의 다양한 정보
카드 다이얼 표시
- 기본 진단 정보 - 일반적으로 별로 도움이 되지 않음
rct stats 표시 [verbose]
- 부팅 이후 모든 PSC/DPC/SMC/MIO 활동 추적(전환, 마이그레이션, 종료 등)
포트 사용률 테이블 표시
- 하루 중 특정 시간에 예상되는 처리량입니다.
- ECMP(Equal Cost Multi Path) 및 LAG 포트가 상당히 균일하게 전송되어야 함
- Rx 대역폭이 다른 쪽 끝을 제어하고 있음
논리적 포트 사용률 테이블 표시
- 포트 사용률을 VLAN ID로 세분화
- 포트 사용률 테이블에 비해 숫자가 작으면 포트에서 NPU로 전송되지 않는 패킷을 의미합니다.
show port datalink counters <slot/port>
- 물리적 포트 자체에서 패킷 수를 보고합니다.
- 다양한 오류 카운터를 확인하여 증가하는지, 그리고 그 속도를 확인합니다.
- 중요:이는 비교적 짧은 시간 내에 패킷 수를 트러블슈팅하는 데 매우 유용할 수 있는 SSD에서 두 번 수집된 몇 가지 명령 중 하나입니다
show port npu counters <slot/port> [vlan <vlan>]
- 모든 포트는 연결된 PSC(Packet Services Card)(PSC, ASR 5000)(PSC가 직접 연결되었는지 또는 RCC(Redundancy Crossbar Card)를 통해 매핑되었는지 여부) 또는 포트가 있는 ASR 5500(Management Input Output)을 통해 시스템의 나머지 부분에 연결됩니다.
- 다양한 오류 카운터를 확인하여 증가하는지, 그리고 그 속도를 확인합니다.
- LAG 구현의 경우 LAG 그룹의 모든 포트에서 합계를 캡처하는 마스터 포트에 대해 카운터가 보고되므로 어떤 포트가 장애를 일으키는지 알 수 없습니다.이 경우 ASR 5000의 경우, "show port npu stats debug all_pacs"는 PSC # 레벨에서 오류 수를 보고하며, 이는 아마도 가해자를 가리킬 수 있습니다.
- 이 명령에서 오류 카운터가 증가하는 이유는 라인 카드에 "show port datalink counters"가 문제를 표시하지 않는 경우 발생합니다.
- 이 명령으로 모든 NPU 문제가 발생하는 것은 아닙니다.여기에는 다루지 않는 패킷 삭제 문제를 캡처하는 NPU 명령(예: show npu stats debug all_pacs, show npu stats sf all_pacs 등)이 있습니다.
- 중요:이는 비교적 짧은 시간 내에 패킷 수를 트러블슈팅하는 데 매우 유용할 수 있는 SSD에서 두 번 수집된 몇 가지 명령 중 하나입니다
로그 표시
- 시설 npu, nputrl 등 포트와 관련된 항목을 찾습니다.
show port transceiver(ASR 5500만 해당)
- 모든 포트에서 일관된 조명 레벨 확인
교정 작업
다음 각 단계 간에 위 명령의 출력을 확인하여 개선 및/또는 동작 변화를 탐지합니다.문제가 산발적인 경우 성공/실패를 선언하기 전에 적절한 대기 시간이 필요할 수 있습니다.
이 목록은 순서대로 또는 완전히 실행해야 하는 빠르고 쉬운 목록이 아닙니다.이러한 문제를 해결하는 데 역할을 하는 변수가 너무 많기 때문에 이 방법은 설명서가 되기 위한 것이므로 문제 해결사가 모든 잠재적 옵션에 액세스할 수 있습니다.여러 해 경험을 가진 사람들은 다른 플랫폼에 적용할 때 이러한 접근 방식 중 일부를 잘 알고 있을 수 있지만, 미리 알림 체크리스트는 항상 좋은 생각이며, 플랫폼에 대한 지식이 없는 사람들은 사용 가능한 일부 플랫폼별 접근 방식 및/또는 명령에 익숙하지 않을 수 있습니다.
기억하십시오. 각 시나리오는 서로 다르며 문제 해결 단계에서는 시나리오 간에 다른 향후 단계를 지시할 새로운 정보를 제공합니다.이건 그냥 가이드예요
고려 및 주문 절차는 문제의 심각도, 잠재적 가입자 영향, 고객 정서에 따라 달라집니다.
이중화 포트 또는 LAG로 전환
- 트러블슈팅 중인 포트가 현재 트래픽을 처리하거나 트래픽을 처리하지 않는다는 사실을 고려해야 합니다.
- ASR5000:전체 크기의 라인 카드가 현재 다른 PSC(NPU)에 접속되어 있는 반면, 절반 크기의 라인 카드는 동일한 PSC에 계속 접속됩니다.
- 전환 시 케이블이 변경되지 않으며, 그렇게 해도 포트 바운스 시나리오에서 차이가 크지 않을 수 있지만, 적어도 활성 포트에 문제가 있는 경우 지금은 대기 포트이므로 영향이 최소화됩니다.
케이블 연결을 이중 포트로 교체
- 처음 가져오는 케이블에 따라 최종 활성 포트는 포트일 수 있으므로 시작 레이아웃으로 돌아가려면 포트를 다시 전환해야 할 수 있습니다.
- 문제가 있는 포트에 문제가 남아 있으면 ASR의 해당 포트를 자세히 살펴봅니다.
- 문제가 다른 포트로 전환될 경우 원거리의 해당 포트의 연결을 자세히 살펴보십시오.
깨끗한 섬유
- 청소되는 포트가 활성 상태이면 청소 후 다시 전환해야 합니다.
- 청소 기능이 문제를 자주 해결하는 활동이었습니다.
이더넷 케이블/파이버/패치 패널/인터커넥트/탭 등 경로의 요소를 교체합니다.
- 청소되는 포트가 활성 상태이면 청소 후 다시 전환해야 합니다.
이 단계에서 얼마나 자주 문제가 해결되는지 알면 놀라실 겁니다.
연결의 양쪽에서 또는 양쪽에서 SFP(Small Form-Factor Pluggable) 교체
- SFP는 별도로 주문할 수 있습니다.
- 테스트를 위해 사용되지 않은 SFP 확인
—
ASR 5000 전용:
라인 카드 재부팅
라인 카드 재장착
- 재장착 시 재부팅이 대폭 수행되므로 번거롭고 시도할 가치가 있습니다.
PSC 마이그레이션
- 문제 포트를 호스팅하는 라인 카드에 연결된 PSC(카드 매핑 표시 / 카드 표 모두 표시)
PSC 재부팅
PSC 재장착
- PSC 마이그레이션은 PSC를 재설정하지만 재부팅과 같은 것은 아닙니다.
- 마찬가지로 PSC 재설정은 PSC 재부팅보다 더 번거롭습니다.
- PSC 재장착 시 PSC를 한 단계 더 재부팅합니다.
- 위의 모든 단계에서 문제가 해결되면 PSC를 다시 활성화하여 문제가 완전히 해결되었는지 확인하기 위해 마이그레이션해야 합니다(PSC 활동으로 인해 포트 반송이 해결되었다고 가정). 카드 레이아웃과 시작 카드 구성에 따라(즉, 연결된 PSC(PSC) 등 뒤에 물리적으로 문제가 있는 라인 카드임), PSC를 다시 활성으로 전환하면 활동 전의 경우와 동일한 PSC <-> 라인 카드 매핑이 발생할 수 있습니다.
SMC(System Management Card) 전환
SMC 재부팅
SMC 재장착
ASR 5500 전용:
MIO 전환
- 이는 단순히 포트 또는 LAG 스위치오버와는 다릅니다.전환 중인 MIO의 모든 활성 포트는 대기 상태가 됩니다.문제 포트가 대기 MIO에서 이미 활성 상태이면 MIO 전환은 포트 상태를 변경하지 않지만 여전히 유효한 단계입니다
—
섀시 다시 로드
- 발생 가능성은 낮지만, 다시 로드로만 해결할 수 있는 이상 현상이 있을 수 있습니다.
인접 스위치에서 하드웨어 교체
ASR 5x00에서 하드웨어 교체(PSC, LC, MIO, SMC 또는 RCC)
교정 단계 명령 참조:
<x>에서 <y>로 카드 마이그레이션 - PSC/DPC 마이그레이션
- 레버를 들어올리는 것도 다른 방법이지만, 그렇게 하지 말고 카드를 당기거나 카드 종료 결과를 가져옵니다.
<x>에서 <y>로 카드 전환 - SMC/MIO/LC/RCC 전환
port switch to <x> - 비 LAG 포트 전환
<x>에 대한 링크 어그리게이션 포트 스위치 - LAG 전환
- X는 방향에 따라 마스터 LAG 포트 또는 마스터 페어여야 합니다.
카드 재부팅 X
- 카드 재설정이 또 다른 옵션이지만 다시 부팅하는 것이 좋습니다.
문제 해결 시나리오 예
대기 PGW ICSR(Inter Chassis Session Recovery) 노드가 Juniper MX-960에서 많은 양의 트래픽을 수신하고 있습니다.
이 예에서는 섀시가 SRP(Service Redundancy Protocol) Standby(SRP) Standby(SRP) 대기)인 것으로 간주되는 상당한 트래픽을 수신하는 활성 LAG 포트를 보여 줍니다. 이 경우 처리기는 거의 nil이어야 합니다. 다음 두 명령과 함께 사용되는 값은 포트가 수신 중인 상당한 트래픽을 표시하지만 NPU에서 트래픽을 표시하지 않는다는 것입니다.이는 트래픽이 NPU에 도달하기 전에, 아마도 포트 자체에서 삭제되고 있음을 의미합니다."show port datalink counters" 및 "show port npu counters"는 데이터 링크 카운터가 빠르게 증가하는 동안 NPU 카운터가 거의 증가하지 않기 때문에 이를 반영합니다.
[local]PGW-ICSR> show port utilization table
Sunday July 26 00:13:32 UTC 2015
------ Average Port Utilization (in mbps) ------
Port Type Current 5min 15min
Rx Tx Rx Tx Rx Tx
----- ------------------------ ------- ------- ------- ------- ------- -------
5/1 1000 Ethernet 0 0 0 0 0 0
5/10 10G Ethernet 0 0 0 0 0 0
5/11 10G Ethernet 0 0 0 0 0 0
5/15 10G Ethernet 0 0 0 0 0 0
5/16 10G Ethernet 0 0 0 0 0 0
5/28 10G Ethernet 105 13 105 13 105 13
5/29 10G Ethernet 0 0 0 0 0 0
6/1 1000 Ethernet 0 0 0 0 0 0
6/10 10G Ethernet 4214 0 4121 0 3993 0
6/11 10G Ethernet 4089 0 4103 0 3995 0
6/15 10G Ethernet 4166 0 4172 0 3996 0
6/16 10G Ethernet 4163 0 4174 0 3997 0
6/28 10G Ethernet 0 0 0 0 0 0
6/29 10G Ethernet 1 0 1 0 1 0
[local]PGW-ICSR> show logical-port utilization table
Sunday July 26 00:13:45 UTC 2015
------ Average Port Utilization (in mbps) ------
Slot/Port vlan Current 5min 15min
Rx Tx Rx Tx Rx Tx
-------------- -------- -------- -------- -------- -------- --------
5/10 2427 0 0 0 0 0 0
5/10 2407 0 0 0 0 0 0
5/10 2011 0 0 0 0 0 0
5/10 2405 0 0 0 0 0 0
5/10 2015 0 0 0 0 0 0
5/10 2455 0 0 0 0 0 0
6/10 2427 0 0 0 0 0 0
6/10 2407 0 0 0 0 0 0
6/10 2011 0 0 0 0 0 0
6/10 2405 0 0 0 0 0 0
6/10 2015 0 0 0 0 0 0
6/10 2455 0 0 0 0 0 0
6/29 31 0 0 0 0 0 0
[local]PGW-ICSR> clear port npu counters all
Saturday July 25 01:44:38 UTC 2015
[local]PGW-ICSR> clear port data count all
Saturday July 25 01:44:43 UTC 2015
[local]PGW-ICSR> show port data counters 6/10
Saturday July 25 01:45:30 UTC 2015
rt npu counteCounters for port 6/10:
Line Card 10 Gigabit Ethernet Port
Rx Counter Data | Tx Counter Data
----------------------- -------------- + ----------------------- -------------
RX Bytes 20310895783 | TX Bytes 9746
RX Unicast frames 25564965 | TX Unicast frames 41
RX Multicast frames 85 | TX Multicast frames 48
RX Broadcast frames 0 | TX Broadcast frames 0
RX Size 64 frames 338598 | TX Size 64 frames 9
RX Size 65 .. 127 fr 6881254 | TX Size 65 .. 127 fr 32
RX Size 128 .. 255 fr 4151284 | TX Size 128 .. 255 fr 48
RX Size 256 .. 511 fr 761933 | TX Size 256 .. 511 fr 0
RX Size 512 .. 1023 fr 599377 | TX Size 512 .. 1023 fr 0
RX Size 1024 .. 1518 fr 12678554 | TX Size 1024 .. 1518 fr 0
RX Size 1519 .. 1522 fr 154050 | TX Size 1519 .. 1522 fr 0
[local]PGW-ICSR> show port npu counters 6/10
Saturday July 25 01:45:31 UTC 2015
Counters for port 6/10
Counter Rx Frames Rx Bytes Tx Frames Tx Bytes
---------------------- -------------------- ----------- --------------------
Unicast 147 11716 150 12234
Multicast 870 73376 416 51584
Broadcast 4 240 0 0
IPv4 unicast 66 4436 66 4550
IPv4 non-unicast 238 15232 0 0
IPv6 unicast 83 7400 84 7684
IPv6 non-unicast 632 8144 0 0
Fragments received 0 0 n/a n/a
Packets reassembled 0 0 n/a n/a
Fragments to kernel 0 0 n/a n/a
HW error 0 0 n/a n/a
Port non-operational 0 0 0 0
SRC MAC is multicast 0 0 n/a n/a
Unknown VLAN tag 0 0 n/a n/a
Other protocols 97 8240 n/a n/a
Not IPv4 399 36472 n/a n/a
Bad IPv4 header 0 0 n/a n/a
데이터 링크와 npu 카운터 사이에 누락된 패킷
ASR 5000의 다음 예에서는 datalink 및 npu 카운터를 비교한 출력을 보여 줍니다.이 경우 멀티캐스트 및 브로드캐스트 패킷은 명령 간에 일치하지만 npu의 Rx 개수는 datalink의 개수보다 작습니다."show npu stats debug" 명령은 차이점을 설명할 수 있지만, 모든 경우에는 그렇지 않을 수 있습니다. 이 경우 해당 명령의 카운터 중 어느 것도 차이점을 설명할 수 없습니다.
[local]DO-HSGW> clear port npu counters all
Thursday August 06 02:05:51 UTC 2015
[local]DO-HSGW> clear port datalink counters all
Thursday August 06 02:05:52 UTC 2015
[local]DO-HSGW> show npu stats debug all-pacs clear
Thursday August 06 02:05:52 UTC 2015
[local]DO-HSGW> show card table
Thursday August 06 02:18:59 UTC 2015
Slot Card Type Oper State SPOF Attach
----------- -------------------------------------- ------------- ---- ------
5: PSC Packet Services Card 3 Active No 21 37
[local]DO-HSGW> show port npu count 21/1
Thursday August 06 02:13:52 UTC 2015
Counters for port 21/1
sCounter Rx Frames Rx Bytes Tx Frames Tx Bytes
-------------------- ------------- --------------- ------------- ---------------
Unicast 2502 289800 1726 308932
Multicast 1091 92000 0 0
Broadcast 1231 79781 0 0
IPv4 unicast 2400 283272 1624 304240
IPv4 non-unicast 534 34176 0 0
IPv6 unicast 0 0 0 0
IPv6 non-unicast 539 52982 0 0
Fragments received 0 0 n/a n/a
Packets reassembled 0 0 n/a n/a
Fragments to kernel 0 0 n/a n/a
HW error 0 0 n/a n/a
Port non-operational 0 0 0 0
SRC MAC is multicast 0 0 n/a n/a
Unknown VLAN tag 0 0 n/a n/a
Other protocols 50 7850 n/a n/a
Not IPv4 0 0 n/a n/a
Bad IPv4 header 0 0 n/a n/a
IPv4 MRU exceeded 0 0 n/a n/a
TCP tiny fragment 0 0 0 0
No ACL match 0 0 0 0
Filtered by ACL 0 0 0 0
TTL expired 0 0 n/a n/a
Flow lookup twice 0 0 n/a n/a
Unknown IPv4 class 0 0 n/a n/a
Too short: IP 0 0 n/a n/a
Too short: ICMP 0 0 0 0
Too short: IGMP 0 0 0 0
Too short: TCP 0 0 0 0
Too short: UDP 0 0 0 0
Too short: IPIP 0 0 n/a n/a
Too short: GRE 0 0 n/a n/a
Too short: GRE key 0 0 n/a n/a
Don't frag discards n/a n/a 0 0
Fragment packets n/a n/a 0 0
Fragment fragments n/a n/a 0 0
IPv4VlanMap dropped 0 0 n/a n/a
IPSec NATT keep alive 0 0 n/a n/a
MPLS Flow not found 0 0 n/a n/a
MPLS unicast 0 0 0 0
Size < 17 0 0 0 0
Size 17 .. 64 1834 117376 102 4692
Size 65 .. 127 1385 113948 36 2520
Size 128 .. 255 1589 225633 1191 170710
Size 256 .. 511 16 4624 397 131010
Size 512 .. 1023 0 0 0 0
Size 1024 .. 2047 0 0 0 0
Size 2048 .. 4095 0 0 0 0
Size 4096 .. 4500 0 0 0 0
Size > 4500 0 0 0 0
[local]DO-HSGW> show port data counters 21/1
Thursday August 06 02:13:52 UTC 2015
how npu Counters for port 21/1:
Line Card Gigabit Ethernet Port
Rx Counter Data | Tx Counter Data
----------------------- -------------- + ----------------------- -------------
RX Unicast frames 5555 | TX Unicast frames 1726
RX Multicast frames 1091 | TX Multicast frames 0
RX Broadcast frames 1233 | TX Broadcast frames 0
RX Size 64 frames 0 | TX Size 64 frames 102
RX Size 65 .. 127 fr 4219 | TX Size 65 .. 127 fr 36
RX Size 128 .. 255 fr 1681 | TX Size 128 .. 255 fr 1191
RX Size 256 .. 511 fr 49 | TX Size 256 .. 511 fr 397
RX Size 512 .. 1023 fr 1828 | TX Size 512 .. 1023 fr 0
RX Size 1024 .. 1518 fr 18 | TX Size 1024 .. 1518 fr 0
RX Size > 1518 frames 84 | TX Size > 1518 frames 0
RX Bytes OK 1934599 | TX Bytes OK 317264
RX Bytes BAD 0 | TX Bytes BAD 0
RX SHORT OK 0 | TX PAUSE 0
RX SHORT CRC 0 | TX ERR 0
RX OVF 0 |
RX NORM CRC 0 |
RX LONG OK 0 |
RX LONG CRC 0 |
RX PAUSE 0 |
RX FALS CRS 0 |
RX SYM ERR 0 |
RX FIFO CORR ECC ERR 0 | TX FIFO CORR ECC ERR 0
RX FIFO UNREC ECC ERR 0 | TX FIFO UNREC ECC ERR 0
RX Disc frames 0 | TX Disc frames 0
RX Disc bytes 0 | TX Disc bytes 0
RX ERR frames 0 | TX ERR frames 0
----------------------- -------------- + ----------------------- -------------
[local]DO-HSGW> show npu stats debug slot 5
Thursday August 06 02:13:53 UTC 2015
NPU debug stats for slot 5
Total number of NPU debug stat counters: 267
WARN: ----------------------------------
lc-rx-drop (id: 234) 50
INFO: ----------------------------------
csix-idle-cnt (id: 29) 36268853
npu-resent-fc-msg (id: 45) 951
npu-tx-fc-cframe (id: 46) 44701
npu-rx-sf-xon (id: 60) 13316
cp2npu-unk-mac-drop-cnt (id: 153) 177255
ipv6-unk-nexthdr (id: 155) 262
rx-cp-sft-pkt (id: 164) 33439
rx-sf0-sft-pkt (id: 165) 33439
rx-sf1-sft-pkt (id: 166) 33439
lc-rx-arp-slowpath (id: 316) 70
flow-notfound-done-slowpath (id: 325) 1233
flow-lkup-done-slowpath (id: 326) 3473
ASR 5000의 Datalink TX 일시 중지 및 RX OVF
TX Pause는 이 포트가 특정 시점에 일부 최고 부하에 도달하여 PAUSE 프레임을 피어 스위치로 전송했음을 나타냅니다. 그러면 피어 스위치가 이 포트로 향하는 트래픽을 정상적으로 줄일 수 있습니다.그러나 피어 스위치가 흐름 제어로 활성화되지 않아 라인 카드에 일부 오버플로 삭제를 나타내는 카운터가 있습니다.
평균 포트 사용률이 최고 값(예: 6GBPS)에 도달하지 않더라도, 포트에서 갑작스러운 트래픽 급증을 수신하여 TX PAUSE로 이어질 수 있습니다.따라서 항상 경우에 따라 피어 스위치에서 흐름 제어를 활성화하는 것이 좋습니다.
show port datalink counters
Counters for port 21/1: Line Card 10 Gigabit Ethernet Port Rx Counter Data | Tx Counter Data ----------------------- -------------- + ----------------------- ------------- RX Unicast frames 11562820841545 | TX Unicast frames 8643405785924 RX Multicast frames 401729121 | TX Multicast frames 0 RX Broadcast frames 16900986 | TX Broadcast frames 0 RX Size 64 frames 2562649224215 | TX Size 64 frames 5324800463761 RX Size 65 .. 127 fr 1827916995441 | TX Size 65 .. 127 fr 1921108746736 RX Size 128 .. 255 fr 527160156402 | TX Size 128 .. 255 fr 377388275894 RX Size 256 .. 511 fr 384674712910 | TX Size 256 .. 511 fr 285180922294 RX Size 512 .. 1023 fr 335734722295 | TX Size 512 .. 1023 fr 248088896685 RX Size 1024 .. 1518 fr 5894848662488 | TX Size 1024 .. 1518 fr 486837840991 RX Size > 1518 frames 29836364100 | TX Size > 1518 frames 0 RX Bytes OK 9248285853715092 | TX Bytes OK 1491301613652484 RX Bytes BAD 5358 | TX Bytes BAD 0 RX SHORT OK 0 | TX PAUSE 639563 RX SHORT CRC 0 | TX ERR 0 RX OVF 12768 | RX NORM CRC 0 | RX LONG OK 0 | RX LONG CRC 0 | RX PAUSE 0 | RX FALS CRS 0 | RX SYM ERR 0 | RX SPI FRAME COUNT 11555373252519 | TX SPI FRAME COUNT 8637801817136 RX SPI LEN ERR 0 | TX SPI LEN ERR 0 RX SPI DIP 2 ERR 0 | TX SPI DIP 4 ERR 0 RX SPI STATUS OOF ERR 0 | TX SPI DATA OOF ERR 0 RX FIFO OVERFLOW 0 | TX FIFO FULL DROP 0 RX PAUSE COUNT 0 | TX DIP 4 PACKET DROP 0 SPI EOP/ABORT 0 | RX FRAGMENTS COUNT 0 | RX MAC ERR 26 | RX JABBER COUNT 0 |
매우 낮은 수준의 명령(기술 지원만, SSD에서 검색할 수 있음)은 "show data congestion slot X"입니다. 이 예에서는 NPU to Switch Fabric(SF) 인터페이스에서 슬롯 5(XCLC 21/1에 기본 연결됨)에서 높은 혼잡이 발생합니다.특히 스위치 패브릭에서 NPU로 전송되는 플로우 제어 메시징의 개수가 높고, 동일한 방향으로 패킷 드랍이 문제를 확인합니다.
******** Data-path congestion information for slot 5 ********
NPU Percentage of Frames Dropped:
Subsystem | 5 Sec | 5 Min | 15 Min | Total Frames and Drops
-------------|---------|---------|---------|-----------------------------
LC Top rx | 0.00% | 0.00% | 0.00% | Frames: 715193480189
| | | | Drops: 0
LC Top tx | 0.00% | 0.00% | 0.00% | Frames: 0
| | | | Drops: 0
LC Bot rx | 0.00% | 0.00% | 0.00% | Frames: 0
| | | | Drops: 0
LC Bot tx | 0.00% | 0.00% | 0.00% | Frames: 0
| | | | Drops: 0
LC RCC1 rx | 0.00% | 0.00% | 0.00% | Frames: 0
| | | | Drops: 0
LC RCC1 tx | 0.00% | 0.00% | 0.00% | Frames: 0
| | | | Drops: 0
LC RCC2 rx | 0.00% | 0.00% | 0.00% | Frames: 0
| | | | Drops: 0
LC RCC2 tx | 0.00% | 0.00% | 0.00% | Frames: 0
| | | | Drops: 0
CPU rx | 0.00% | 0.00% | 0.00% | Frames: 121566003797
| | | | Drops: 0
CPU tx | 0.00% | 0.00% | 0.00% | Frames: 59870967969
| | | | Drops: 35226625
SF A rx | 0.00% | 0.00% | 0.00% | Frames: 224008179
| | | | Drops: 0
SF A tx | 0.01% | 0.00% | 0.00% | Frames: 378241304254 | | | | Drops: 274645028
SF B rx | 0.00% | 0.00% | 0.00% | Frames: 656009419
| | | | Drops: 0
SF B tx | 0.00% | 0.00% | 0.00% | Frames: 392219947264 | | | | Drops: 320394097
EDC rx | 0.00% | 0.00% | 0.00% | Frames: 0
| | | | Drops: 0
EDC tx | 0.00% | 0.00% | 0.00% | Frames: 0
| | | | Drops: 0
NPU Received Flow Control Events:
Event | 5 Sec | 5 Min | 15 Min | Total Event Count
----------------|-------------|-------------|-------------|--------------------
rx-sf-xoff | 21668 | 843417 | 2358340 | 828378025 rx-sf-xon | 21811 | 851786 | 2383440 | 873518866
rx-lc-xoff | 0 | 0 | 0 | 0
rx-lc-xon | 0 | 0 | 0 | 0
rx-cp-xoff | 53 | 5021 | 15176 | 17316366
rx-cp-xon | 53 | 5021 | 15176 | 17316366
rx-edc-xoff | 0 | 0 | 0 | 0
rx-edc-xon | 0 | 0 | 0 | 0
ASR 5500 관리 포트의 포트 설정이 일치하지 않아 TX 오류 증가
이 예에서는 ASR 5500의 관리 포트인 포트 5/1에서 TX ERR 카운터의 증가를 참조하여 티켓을 열기 시작했습니다.MOP를 실행하여 이벤트 레코드 파일의 생성 및 생성을 구현한 MOP가 실행되기 전까지는 한 사이트에서 문제가 "발견"되지 않았습니다. 이는 충전 서비스 개선 기능입니다.이러한 기능을 구현하는 것과 이러한 장애가 갑자기 증가하는 것 사이에는 어떤 상관도 없을 수 있습니다. 단, 관리 포트에 대한 처리량이 갑자기 증가했으며, 변경 시 관리 트래픽만 12/30에 전달해야 한다는 점에 유의하십시오.스키마 PORTSch1의 가변 txpackets는 증가율을 보여 주는 그래프로 표시됩니다.
네트워크에 대한 감사를 통해 여러 노드에서 문제가 발생했음을 알 수 있습니다. 예를 들어, 다음은 감사의 작은 조각입니다.
*************** ALPR-DXGW-ICSR *************** show port datalink counters 5/1 | grep "TX ERR" Monday January 04 03:33:14 UTC 2016 RX SHORT CRC 0 | TX ERR 2038860 *************** ANJT-PGW *************** show port datalink counters 5/1 | grep "TX ERR" Monday January 04 03:33:14 UTC 2016 RX SHORT CRC 0 | TX ERR 1975169 *************** AZUS-PGW-00 *************** show port datalink counters 5/1 | grep "TX ERR" Monday January 04 03:33:15 UTC 2016 RX SHORT CRC 0 | TX ERR 1709395 *************** AZUSPND-PGW-00 *************** show port datalink counters 5/1 | grep "TX ERR" Monday January 04 03:33:15 UTC 2016 RX SHORT CRC 0 | TX ERR 1211060
기본 카운터만 Bulkstats에 의해 추적되기 때문에 이전 SSD로 돌아가면 오류가 12/30까지 느리게 발생했지만 MOP를 실행한 후 오류가 훨씬 더 높은 속도로 발생했음을 알 수 있습니다.
Thursday November 19 13:41:44 UTC 2015 Counters for port 5/1: Line Card Gigabit Ethernet Port Rx Counter Data | Tx Counter Data ----------------------- -------------- + ----------------------- ------------- RX SHORT CRC 0 | TX ERR 5927969 Monday November 30 13:35:45 UTC 2015 Counters for port 5/1: Line Card Gigabit Ethernet Port Rx Counter Data | Tx Counter Data ----------------------- -------------- + ----------------------- ------------- RX SHORT CRC 0 | TX ERR 6116249 Tuesday December 01 13:39:26 UTC 2015 Counters for port 5/1: Line Card Gigabit Ethernet Port Rx Counter Data | Tx Counter Data ----------------------- -------------- + ----------------------- ------------- RX SHORT CRC 0 | TX ERR 6130958 Counters cleared ... [local]ASR5500-PGW> show port datalink counters 5/1 Monday January 04 02:41:29 UTC 2016 Counters for port 5/1: Line Card Gigabit Ethernet Port Rx Counter Data | Tx Counter Data ----------------------- -------------- + ----------------------- ------------- RX Unicast frames 171008921 | TX Unicast frames 221976127 RX SHORT CRC 0 | TX ERR 5852770 ******** show port datalink counters ******* Tuesday January 05 13:38:51 UTC 201 Rx Counter Data | Tx Counter Data ----------------------- -------------- + ----------------------- ------------- RX Unicast frames 216450269 | TX Unicast frames 8080952673 RX SHORT CRC 0 | TX ERR 11497275
******** show port info *******
Tuesday January 05 13:33:07 UTC 2016
Port: 5/1
Port Type : 1000 Ethernet
Configured Duplex : Auto
Configured Speed : Auto
Link State : Up
Link Duplex : Half
Link Speed : 100 Mb Issue fixed ... Wednesday January 06 14:29:28 UTC 2016 Counters for port 5/1: Line Card Gigabit Ethernet Port Rx Counter Data | Tx Counter Data ----------------------- -------------- + ----------------------- ------------- RX SHORT CRC 0 | TX ERR 0
[local]PGW> show port info 5/1
Wednesday January 06 12:58:50 UTC 2016
Port: 5/1
Port Type : 1000 Ethernet
Role : Management Port
Configured Duplex : Auto
Configured Speed : Auto
Link State : Up
Link Duplex : Full
Link Speed : 1000 Mb
이 문제는 ASR 5500과 ASR 5500이 연결되는 새 스위치(Nexus 7000)의 포트 설정이 일치하지 않는 것으로 드러났습니다.이 수정 작업은 양쪽 끝에 있는 포트를 자동 협상하도록 설정하는 것이었습니다.ASR 5500은 이미 auto로 설정되었지만 Nexus는 수동으로 전이중으로 설정되었습니다.해결 방법:
ASR 5500 (already set to this)
port ethernet 5/1
medium speed 1000 duplex full
no shutdown
bind interface 5/1-MGMT local
#exit
Nexus 7K (needed to be set to this)
interface Ethernet152/1/11
description MGMT-PORT-5/01
switchport
switchport access vlan 10
spanning-tree port type edge
no snmp trap link-status
no shutdown
문제가 계속 발생했지만 TX ERR 카운터만 표시되었기 때문에 이 카운터는 기본 포트 카운터(Tx/Rx 패킷/바이트 등)를 초과하는 모든 항목에 대한 벌크통계 변수가 없으므로 자동 보고를 통해 측정할 수 있는 것이 아닙니다. 그러나 MOP가 실행되었고 Tx/Rx 패킷이 Bulkstats에 의해 캡처되고 고객이 측정한 KPI이기 때문에 문제가 크게 악화되었습니다.
다음 질문은 무엇이 갑자기 교통량을 증가시켰는가 였습니다.변경 사항 검토에는 "via local-context"라는 다음 설정이 표시됩니다. 이 설정은 기존 EDR(Event Data Record) 청구 레코드 트래픽이 항상 해당 컨텍스트에서 기존 포트 5/29로 전송되고 계속 전송되는 ECS 컨텍스트에서 포트 5/29 대신 새 이벤트 트래픽에 로컬 컨텍스트 포트(5/1 또는 6/1)를 사용하도록 지정합니다.이 설정은 고객 컨피그레이션에서 거의 사용되지 않기 때문에 명확한 내용은 아닙니다.
context ECS
interface 5/29-ECS
ip address 10.192.102.75 255.255.255.0
#exit
session-event-module file name evt-repo rotation volume 40000000 rotation time 120 storage-limit 500000000 exclude-checksum-record time-stamp rotated-format compression gzip event transfer-mode push primary encrypted-url +A19y2j... via local-context module-only edr-module active-charging-service file name FDR70 rotation volume 40000000 rotation time 300 storage-limit 500000000 headers reset-indicator edr-format-name trap-on-file-delete charging-service-name omit compression gzip file-sequence-number rulebase-seq-num cdr use-harddisk cdr remove-file-after-transfer cdr transfer-mode push primary encrypted-url +A0d2...
반이중으로 인해 관리 포트에서 잘못된 프레임 및 Tx 충돌 증가
24/1-MGMT 인터페이스를 구성하는 인터페이스 24/1 및 25/1에는 "Bad Frames", "TX Collisions" 및 "TX Late Collisions"가 발생합니다.
show support details(지원 세부사항 표시)에서 다음을 수행합니다.
******** show port datalink counters ******* Friday January 03 14:14:59 UTC 2014 Counters for port 25/1: SPIO 10/100/1000 Ethernet port Rx Counter Data | Tx Counter Data ----------------------- -------------- + ----------------------- ------------- RX Bytes 12808872101 | TX Bytes 20451927433 RX BAD frames 0 | TX BAD frames 1403971 RX Runt frames 0 | TX Runt frames 0 RX Oversize frames 0 | TX Oversize frames 0 RX Good frames 95621882 | TX Good frames 39395979 RX Multicast frames 6686008 | TX Collisions 1501475 RX Broadcast frames 56656415 | TX Excessive collis 0 RX Code ERROR 0 | TX Late Collisions 1403968 RX CRC ERROR 0 | TX CRC ERROR 0 RX length ERROR 0 | TX ABORT 3 RX Align ERROR 0 | ----------------------- -------------- + ----------------------- -------------
잠시 후에 시스템에서 Bad Frames(불량 프레임) 및 Collisions/Late Collisions(충돌/지연 충돌)가 증가하는 것을 확인합니다.
[local]DO-HSGW> show port datalink counters 25/1 Friday January 03 14:26:04 UTC 2014 Counters for port 25/1: SPIO 10/100/1000 Ethernet port Rx Counter Data | Tx Counter Data ----------------------- -------------- + ----------------------- ------------- RX Bytes 12809750383 | TX Bytes 20456667635 RX BAD frames 0 | TX BAD frames 1404930 RX Runt frames 0 | TX Runt frames 0 RX Oversize frames 0 | TX Oversize frames 0 RX Good frames 95628788 | TX Good frames 39400838 RX Multicast frames 6686366 | TX Collisions 1502503 RX Broadcast frames 56659440 | TX Excessive collis 0 RX Code ERROR 0 | TX Late Collisions 1404927 RX CRC ERROR 0 | TX CRC ERROR 0 RX length ERROR 0 | TX ABORT 3 RX Align ERROR 0 | ----------------------- -------------- + ----------------------- -------------
이는 일반적으로 이더넷 인터페이스의 양쪽 끝에서 컨피그레이션 불일치를 나타냅니다. 두 관리 포트 모두 반이중으로 협상했습니다.
[local]DO-HSGW> show port info 24/1 Friday January 03 14:33:19 UTC 2014 Port: 24/1 Port Type : 1000 Ethernet Dual Media Role : Management Port Description : (None Set) Controlled By Card : 8 (System Management Card) Redundancy Mode : Port Mode Framing Mode : Unspecified Redundant With : 25/1 Preferred Port : Non-Revertive Physical ifIndex : 402718720 Administrative State : Enabled Configured Duplex : Auto Configured Speed : Auto Media Selection : RJ45 MAC Address : 00-05-47-02-5D-EE Link State : Up Link Duplex : Half Link Speed : 100 Mb Link Aggregation Group : None Logical ifIndex : 402718721 Operational State : Down, Standby SFP Module : Present (1000BASE-SX, M5, M610G SFP+Cu)
링크의 다른 쪽 끝인 Cisco Catalyst 6500은 Speed = 100, duplex = full로 설정되었습니다.문제를 해결하려면 ASR 5000을 전이중 상태로 하드 코딩하십시오.
port ethernet 24/1
medium speed 100 duplex full
no shutdown
bind interface 24/1-MGMT local
또는 BOTH 면을 자동 협상하도록 설정합니다.
그러나 한쪽 면을 auto로, 다른 쪽 면을 full로 설정하면 반이중 설정이 가능합니다.
예기치 않은 LAG 전환 - LAG 포트 23/1 문제
다음은 LAG의 포트 23/1이 예기치 않은 LAG 전환 후 LAG 협상 상태로 중단된 경우에 관찰되었습니다.
2015-May-15+16:47:40.410 [snmp 22002 info] [1/0/13147 <lagmgr:0>
trap_api.c:2387] [software internal system syslog] Internal trap notification
1205 (LAGGroupUp) card:19, port:1, partner:(007F,64-87-88-66-F7-C0,0016)
2015-May-15+16:47:40.410 [snmp 22002 info] [1/0/13147 <lagmgr:0>
trap_api.c:2387] [software internal system syslog] Internal trap notification
1204 (LAGGroupDown) card:19, port:1, partner:(007F,64-87-88-67-87-C0,0016)
2015-May-15+16:47:40.410 [lagmgr 179050 warning] [1/0/13147 <lagmgr:0>
lagmgr_state.c:1314] [software internal system critical-info syslog] LAG group
50 (global) with master port 19/1 has changed partner
from (007F,64-87-88-67-87-C0,0016) on 17/1, 19/1, 23/1, 27/1, 29/1
to (007F,64-87-88-66-F7-C0,0016) on 18/1, 20/1, 26/1, 28/1, 30/1
[local]PDSN> show port table | grep LA 17/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1 18/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 19/1 Srvc 10G Ethernet Enabled - Up - None LA~ 19/1 20/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 23/1 Srvc 10G Ethernet Enabled Up Up Active None LA* 19/1 26/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 27/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1 28/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 29/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1 30/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1
[local]PDSN> show port info 23/1
Port: 23/1
Port Type : 10G Ethernet
Role : Service Port
Description : Ingress-Egress Line Card
Controlled By Card : 7 (Packet Services Card 3)
Redundancy Mode : Port Mode
Framing Mode : Unspecified
Redundant With : Not Redundant
Preferred Port : Non-Revertive
Physical ifIndex : 385941504
Administrative State : Enabled
Configured Duplex : Auto
Configured Speed : Auto
Configured Flow Control : Enabled
MAC Address : 00-05-47-02-A6-96
Link State : Up
Link Duplex : Full
Link Speed : 10 Gb
Flow Control : Enabled
Link Aggregation Group : 50 (global, member)
Link Aggregation LACP : Active, Short, Auto
Link Aggregation Master : 19/1
Link Aggregation State : Agreed with LACP peer
Link Aggregation Actor : (8000,00-05-47-02-B1-97,001A,8000,1701)
Link Aggregation Peer : (007F,64-87-88-67-87-C0,0016,007F,0013)
Logical ifIndex : 385941505
Operational State : Up, Active
SFP Module : Present (10G Base SR)
[local]PDSN>show card diag 23
Card 23:
Counters:
In Service Date : Tue Aug 24 06:58:31 2010 (Estimated)
Status:
IDEEPROM Magic Number : Good
Card Diagnostics : Pass
Current Failure : None
Last Failure : None
Card Usable : Yes
Current Environment:
Temperature: Card : 48 C (limit 90 C)
Temperature: LM87 : 49 C (limit 85 C)
Temperature: PHY : 48 C (limit 90 C)
Voltage: 1.2V : 1.205 V (min 1.140 V, max 1.260 V)
Voltage: 1.2V : 1.205 V (min 1.140 V, max 1.260 V)
Voltage: 2.5V : 2.522 V (min 2.375 V, max 2.625 V)
Voltage: 3.3V : 3.285 V (min 3.135 V, max 3.465 V)
Voltage: 1.8V : 1.805 V (min 1.710 V, max 1.890 V)
데이터 링크 카운터에 문제가 표시되지 않았습니다.
[local]PDSN# show port datalink counters 23/1 Counters for port 23/1: Line Card 10 Gigabit Ethernet Port Rx Counter Data | Tx Counter Data ----------------------- -------------- + ----------------------- ------------- RX Unicast frames 3782 | TX Unicast frames 6043 RX Multicast frames 3782 | TX Multicast frames 0 RX Broadcast frames 0 | TX Broadcast frames 0 RX Size 64 frames 0 | TX Size 64 frames 0 RX Size 65 .. 127 fr 0 | TX Size 65 .. 127 fr 6043 RX Size 128 .. 255 fr 3782 | TX Size 128 .. 255 fr 0 RX Size 256 .. 511 fr 0 | TX Size 256 .. 511 fr 0 RX Size 512 .. 1023 fr 0 | TX Size 512 .. 1023 fr 0 RX Size 1024 .. 1518 fr 0 | TX Size 1024 .. 1518 fr 0 RX Size > 1518 frames 0 | TX Size > 1518 frames 0 RX Bytes OK 483456 | TX Bytes OK 748092 RX Bytes BAD 0 | TX Bytes BAD 0 RX SHORT OK 0 | TX PAUSE 0 RX SHORT CRC 0 | TX ERR 0 RX OVF 0 | RX NORM CRC 0 | RX LONG OK 0 | RX LONG CRC 0 | RX PAUSE 0 | RX FALS CRS 0 | RX SYM ERR 0 | SPI RX LEN ERR CNT 0 | SPI TX LEN ERR CNT 0 SPI RX DIP2 ERR CNT 0 | SPI TX DIP4 ERR CNT 0 SPI RX STAT OOF ERR CNT 0 | SPI TX DATA OOF ERR CNT 0 RX MAC ERR CNT 0 | RX FIFO CORR ECC ERR 0 | TX FIFO CORR ECC ERR 0 RX FIFO UNRECOV ECC ERR 0 | TX FIFO UNRECOV ECC ERR 0 RX Disc frames 0 | TX Disc frames 0 RX Disc Bytes 0 | TX Disc Bytes 0 RX ERR frames 0 | TX ERR frames 0 RX SPI FRAME COUNT 3782 | TX SPI FRAME COUNT 6044 RX SPI LEN ERR 0 | TX SPI LEN ERR 0 RX SPI DIP 2 ERR 0 | TX SPI DIP 4 ERR 0 RX SPI STATUS OOF ERR 0 | TX SPI DATA OOF ERR 0 RX FIFO OVERFLOW 0 | TX FIFO FULL DROP 0 RX PAUSE COUNT 0 | TX DIP 4 PACKET DROP 0 SPI EOP/ABORT 0 | RX FRAGMENTS COUNT 0 | RX MAC ERR 0 | RX JABBER COUNT 0 | ----------------------- -------------- + ----------------------- -------------
NPU 카운터도 정상이었습니다.다음은 몇 초 후에 포트 23/1 카운터이며, 아무것도 증가하지 않습니다.
[local]PDSN# show port datalink counters 23/1 Counters for port 23/1: Line Card 10 Gigabit Ethernet Port Rx Counter Data | Tx Counter Data ----------------------- -------------- + ----------------------- ------------- RX Unicast frames 3802 | TX Unicast frames 6066 RX Multicast frames 3802 | TX Multicast frames 0 RX Broadcast frames 0 | TX Broadcast frames 0 RX Size 64 frames 0 | TX Size 64 frames 0 RX Size 65 .. 127 fr 0 | TX Size 65 .. 127 fr 6066 RX Size 128 .. 255 fr 3802 | TX Size 128 .. 255 fr 0 RX Size 256 .. 511 fr 0 | TX Size 256 .. 511 fr 0 RX Size 512 .. 1023 fr 0 | TX Size 512 .. 1023 fr 0 RX Size 1024 .. 1518 fr 0 | TX Size 1024 .. 1518 fr 0 RX Size > 1518 frames 0 | TX Size > 1518 frames 0 RX Bytes OK 486016 | TX Bytes OK 750944 RX Bytes BAD 0 | TX Bytes BAD 0 RX SHORT OK 0 | TX PAUSE 0 RX SHORT CRC 0 | TX ERR 0 RX OVF 0 | RX NORM CRC 0 | RX LONG OK 0 | RX LONG CRC 0 | RX PAUSE 0 | RX FALS CRS 0 | RX SYM ERR 0 | SPI RX LEN ERR CNT 0 | SPI TX LEN ERR CNT 0 SPI RX DIP2 ERR CNT 0 | SPI TX DIP4 ERR CNT 0 SPI RX STAT OOF ERR CNT 0 | SPI TX DATA OOF ERR CNT 0 RX MAC ERR CNT 0 | RX FIFO CORR ECC ERR 0 | TX FIFO CORR ECC ERR 0 RX FIFO UNRECOV ECC ERR 0 | TX FIFO UNRECOV ECC ERR 0 RX Disc frames 0 | TX Disc frames 0 RX Disc Bytes 0 | TX Disc Bytes 0 RX ERR frames 0 | TX ERR frames 0 RX SPI FRAME COUNT 3802 | TX SPI FRAME COUNT 6067 RX SPI LEN ERR 0 | TX SPI LEN ERR 0 RX SPI DIP 2 ERR 0 | TX SPI DIP 4 ERR 0 RX SPI STATUS OOF ERR 0 | TX SPI DATA OOF ERR 0 RX FIFO OVERFLOW 0 | TX FIFO FULL DROP 0 RX PAUSE COUNT 0 | TX DIP 4 PACKET DROP 0 SPI EOP/ABORT 0 | RX FRAGMENTS COUNT 0 | RX MAC ERR 0 | RX JABBER COUNT 0 |
그러나 Tech support 명령 "show lag event"는 포트 23/1에서 지속적인 이벤트를 보여 줍니다. 이는 보고된 문제를 확인하는 가장 좋은 방법입니다.
[local]PDSN> show lag event
lagmgr event history [4096/4096]
May 15 18:36:57.222 50 23/01 New MUX State: DETACHED
May 15 18:36:57.222 50 23/01 SYNC cleared
May 15 18:36:57.222 50 23/01 COLL disabled
May 15 18:36:58.212 50 23/01 New MUX State: WAITING
May 15 18:36:58.223 50 23/01 LACP State Change: 0x07:ACTV:TIMO:AGGR
...
다음 유지 보수 기간 동안 Cisco와 연락했고 PSC 마이그레이션을 통해 카드 매핑을 기본 매핑으로 다시 설정함으로써 PSC가 물리적으로 뒤에 있는 라인 카드에 매핑되도록 합니다. 7 + 16 = 23), 이전에 Cisco에 문의하기 위해 마이그레이션을 수행했습니다.
[local]PDSN card migrate from 16 to 7 Are you sure? [Yes|No]: yes [local]PDSN# show port table | grep LA 17/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1 18/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 19/1 Srvc 10G Ethernet Enabled - Up - None LA~ 19/1 20/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 23/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1 26/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 27/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1 28/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 29/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1 30/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 [local]PDSN# show rct stats RCT stats Details (Last 8 Actions) Action Type From To Start Time Duration ----------------- --------- ---- ---- ------------------------ ---------- Migration Planned 10 15 2015-Jan-12+07:02:33.842 32.911 sec Shutdown N/A 10 0 2015-Jan-12+07:08:35.098 0.218 sec Migration Planned 16 10 2015-Jan-12+07:19:40.842 32.451 sec Shutdown N/A 1 16 2015-Mar-19+05:00:54.430 1.368 sec Migration Planned 16 1 2015-Mar-27+06:05:48.902 19.085 sec Shutdown N/A 16 0 2015-Mar-27+06:13:00.397 0.027 sec Migration Planned 7 16 2015-May-16+07:04:51.264 37.629 sec Migration Planned 16 7 2015-May-16+08:39:48.761 Unfinished RCT stats Summary ----------------- Migrations = 5, Average time = 30.519 sec Switchovers = 0 Migration Planned 16 7 2015-May-16+08:39:48.761 43.248 sec
Sat May 16 08:40:33 2015 Internal trap notification 1257 (MigrateComplete) from card 16 to card 7
라인 카드 23을 재부팅했습니다.
[local]PDSN# card reboot 23 Are you sure? [Yes|No]: yes
Sat May 16 08:41:38 2015 Internal trap notification 4 (CardRebootRequest) card
23 type 10 Gig Ethernet Line Card
Sat May 16 08:41:44 2015 Internal trap notification 1025 (PortUp) card 23 port 1
port type 10G Ethernet
Sat May 16 08:41:44 2015 Internal trap notification 1502 (EntStateOperEnabled)
Port(23/1) Admin state:"Unlocked", Alarm severity:"No active alarm"
Sat May 16 08:41:44 2015 Internal trap notification 55 (CardActive) card 23 type
10 Gig Ethernet Line Card
포트가 현재 양호한 상태입니다.
[local]PDSN# show port table | grep LA 17/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1 18/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 19/1 Srvc 10G Ethernet Enabled - Up - None LA~ 19/1 20/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 23/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1 26/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 27/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1 28/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1 29/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1 30/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1
그러나 Juniper 측에서 여전히 오류가 발생했습니다(여기에 출력 없음).
Juniper 측에서 문제가 해결되지 않은 상태로 남아 있습니다.
그런 다음 파이버를 23/1에서 17/1로 이동했고 오류가 23/1로 유지되었고 Juniper 측의 다른 포트로 이동했습니다.
Sat May 16 08:46:28 2015 Internal trap notification 1024 (PortDown) card 17 port
1 port type 10G Ethernet Sat May 16 08:46:28 2015 Internal trap notification 93 (CardStandby) card 17
type 10 Gig Ethernet Line Card Sat May 16 08:46:31 2015 Internal trap notification 1024 (PortDown) card 23 port
1 port type 10G Ethernet Sat May 16 08:46:31 2015 Internal trap notification 93 (CardStandby) card 23
type 10 Gig Ethernet Line Card
Sat May 16 08:46:33 2015 Internal trap notification 1025 (PortUp) card 23 port 1
port type 10G Ethernet Sat May 16 08:46:33 2015 Internal trap notification 55 (CardActive) card 23 type
10 Gig Ethernet Line Card Sat May 16 08:46:40 2015 Internal trap notification 1025 (PortUp) card 17 port 1
port type 10G Ethernet Sat May 16 08:46:40 2015 Internal trap notification 55 (CardActive) card 17 type
10 Gig Ethernet Line Card
파이버가 원래 위치로 다시 이동되었고 이 문제는 포트 23/1에서 여전히 발생했습니다(위에서 설명한 것처럼 라인 카드 23을 다시 시작한 후 ASR 5000에서 문제가 더 이상 나타나지 않았기 때문에 Juniper의 관점에서 볼 수 있습니다).
Sat May 16 08:51:53 2015 Internal trap notification 1024 (PortDown) card 23 port
1 port type 10G Ethernet Sat May 16 08:51:53 2015 Internal trap notification 93 (CardStandby) card 23
type 10 Gig Ethernet Line Card Sat May 16 08:51:57 2015 Internal trap notification 1024 (PortDown) card 17 port
1 port type 10G Ethernet Sat May 16 08:51:57 2015 Internal trap notification 93 (CardStandby) card 17
type 10 Gig Ethernet Line Card Sat May 16 08:51:58 2015 Internal trap notification 1025 (PortUp) card 23 port 1
port type 10G Ethernet Sat May 16 08:51:58 2015 Internal trap notification 55 (CardActive) card 23 type
10 Gig Ethernet Line Card Sat May 16 08:51:59 2015 Internal trap notification 1025 (PortUp) card 17 port 1
port type 10G Ethernet
Sat May 16 08:51:59 2015 Internal trap notification 55 (CardActive) card 17 type
10 Gig Ethernet Line Card
23/1에서 17/1 사이의 SFP를 교체해도 아무것도 변경되지 않았습니다.
Sat May 16 08:52:50 2015 Internal trap notification 1024 (PortDown) card 23 port
1 port type 10G Ethernet Sat May 16 08:52:50 2015 Internal trap notification 93 (CardStandby) card 23
type 10 Gig Ethernet Line Card Sat May 16 08:52:58 2015 Internal trap notification 1024 (PortDown) card 17 port
1 port type 10G Ethernet Sat May 16 08:52:59 2015 Internal trap notification 93 (CardStandby) card 17
type 10 Gig Ethernet Line Card Sat May 16 08:53:46 2015 Internal trap notification 1025 (PortUp) card 17 port 1
port type 10G Ethernet Sat May 16 08:53:46 2015 Internal trap notification 55 (CardActive) card 17 type
10 Gig Ethernet Line Card Sat May 16 08:53:53 2015 Internal trap notification 1025 (PortUp) card 23 port 1
port type 10G Ethernet Sat May 16 08:53:53 2015 Internal trap notification 55 (CardActive) card 23 type
10 Gig Ethernet Line Card
라인 카드 23/1을 재장착하면 Juniper 측에서 문제가 해결되었습니다.
Sat May 16 08:55:39 2015 Internal trap notification 1024 (PortDown) card 23 port
1 port type 10G Ethernet Sat May 16 08:55:39 2015 Internal trap notification 35 (PortLinkDown) ifindex
385941505 adminstate Disabled operstate Down Sat May 16 08:55:39 2015 Internal trap notification 1504 (CiscoFruCardStatusChanged) FRU entity Card : 23 operational status changed to
Offline Sat May 16 08:55:39 2015 Internal trap notification 60 (CardDown) card 23 type
10 Gig Ethernet Line Card Sat May 16 08:55:39 2015 Internal trap notification 1503 (EntStateOperDisabled)
Card(23) Admin state:"Locked", Alarm severity:"Critical" Sat May 16 08:55:39 2015 Internal trap notification 140 (CardSPOFClear) card 23
type 10 Gig Ethernet Line Card Sat May 16 08:55:40 2015 Internal trap notification 84 (ServiceLossLC) Slots 23
and 39 has configured for card type 10 Gig Ethernet Line Card, but neither active
Sat May 16 08:55:41 2015 Internal trap notification 1505
(CiscoFruPowerStatusChanged) FRU entity Card : 23 Power OFF Sat May 16 08:55:41 2015 Internal trap notification 1504
(CiscoFruCardStatusChanged) FRU entity Card : 23 operational status changed to
Empty Sat May 16 08:55:41 2015 Internal trap notification 7 (CardRemoved) card 23 type
10 Gig Ethernet Line Card Sat May 16 08:55:41 2015 Internal trap notification 1507 (CiscoFruRemoved) FRU
entity Card : 23 removed Sat May 16 08:55:41 2015 Internal trap notification 1505
(CiscoFruPowerStatusChanged) FRU entity Card : 23 Power OFF Sat May 16 08:56:19 2015 Internal trap notification 1505
(CiscoFruPowerStatusChanged) FRU entity Card : 23 Power ON Sat May 16 08:56:21 2015 Internal trap notification 1504
(CiscoFruCardStatusChanged) FRU entity Card : 23 operational status changed to
Offline Sat May 16 08:56:21 2015 Internal trap notification 8 (CardInserted) card 23
type 10 Gig Ethernet Line Card Sat May 16 08:56:21 2015 Internal trap notification 1506 (CiscoFruInserted) FRU
entity Card : 23 inserted Sat May 16 08:56:23 2015 Internal trap notification 1504
(CiscoFruCardStatusChanged) FRU entity Card : 23 operational status changed to
Ready Sat May 16 08:56:23 2015 Internal trap notification 5 (CardUp) card 23 type 10
Gig Ethernet Line Card Sat May 16 08:56:23 2015 Internal trap notification 1502 (EntStateOperEnabled)
Card(23) Admin state:"Unlocked", Alarm severity:"No active alarm" Sat May 16 08:56:25 2015 Internal trap notification 1504 (CiscoFruCardStatusChanged) FRU entity Card : 23 operational status changed to
Active Sat May 16 08:56:25 2015 Internal trap notification 55 (CardActive) card 23 type
10 Gig Ethernet Line Card Sat May 16 08:56:26 2015 Internal trap notification 1111 (ServiceLossLCClear)
Slots 23 and 39 has configured for card type 10 Gig Ethernet Line Card, one of
them is active now Sat May 16 08:56:26 2015 Internal trap notification 93 (CardStandby) card 23
type 10 Gig Ethernet Line Card Sat May 16 08:56:28 2015 Internal trap notification 1025 (PortUp) card 23 port 1
port type 10G Ethernet Sat May 16 08:56:28 2015 Internal trap notification 1502 (EntStateOperEnabled)
Port(23/1) Admin state:"Unlocked", Alarm severity:"No active alarm" Sat May 16 08:56:28 2015 Internal trap notification 55 (CardActive) card 23 type
10 Gig Ethernet Line Card
XGLC Port 27/1로 피어링된 Juniper 라우터에서 설명되지 않은 포트 오류(가입자에 영향)
다음 예에서는 동일한 트러블슈팅 단계를 많이 적용했으며 학습할 가치가 있습니다.알 수 없는 resmgr 14537 경고 로그가 포트 25/1 바운스와 함께 보고되면서 시작되었지만 포트 27/1 문제와 통화 설정 오류 증가로 진화했습니다.
2015-May-03+05:29:21.083 [resmgr 14537 warning] [8/0/4643 <rmmgr:80>
_resource_cpu.c:4974] [software internal system critical-info syslog] The CPU
8/0's network i/f cpeth0 is receiving 803.7 Mbit/sec over the past 5 min.
포트 사용률이 포트 27/1에서 고르지 않았습니다.
[local]PDSN# show port utilization table
Monday May 04 17:49:02 UTC 2015
------ Average Port Utilization (in mbps) ------
Port Type Current 5min 15min
Rx Tx Rx Tx Rx Tx
----- ------------------------ ------- ------- ------- ------- ------- -------
19/1 10G Ethernet 1058 1049 1034 1050 1022 1042
20/1 10G Ethernet 0 0 0 0 0 0
23/1 10G Ethernet 1108 1064 1114 1033 1102 1032
26/1 10G Ethernet 0 0 0 0 0 0
27/1 10G Ethernet 1002 2472 989 2456 981 2440
28/1 10G Ethernet 0 0 0 0 0 0
문제의 PDSN 인터페이스의 Juniper MX-960 측에서 입력 오류가 꾸준히 증가하였습니다.
show interfaces xe-0/1/2 extensive | grep Error
BPDU Error: None, MAC-REWRITE Error: None, Loopback: None,
Input errors:
Errors: 2432742, Drops: 0, Framing errors: 0, Runts: 0, Policed discards: 0,
L3 incompletes: 2432742, L2 channel errors: 0, L2 mismatch timeouts: 0,
FIFO errors: 0, Resource errors: 0
Output errors:
Carrier transitions: 1, Errors: 0, Drops: 0, Collisions: 0, Aged packets: 0,
FIFO errors: 0, HS link CRC errors: 0, MTU errors: 0, Resource errors: 0
Bit errors 0
Errored blocks 1
CRC/Align errors 0 0
FIFO errors 0 0
Total errors 0 0
Output packet error count 0
{master}
show interfaces xe-0/1/2 extensive | grep Error
BPDU Error: None, MAC-REWRITE Error: None, Loopback: None,
Input errors:
Errors: 2432851, Drops: 0, Framing errors: 0, Runts: 0, Policed discards: 0,
L3 incompletes: 2432851, L2 channel errors: 0, L2 mismatch timeouts: 0,
FIFO errors: 0, Resource errors: 0
Output errors:
Carrier transitions: 1, Errors: 0, Drops: 0, Collisions: 0, Aged packets: 0,
FIFO errors: 0, HS link CRC errors: 0, MTU errors: 0, Resource errors: 0
Bit errors 0
Errored blocks 1
CRC/Align errors 0 0
FIFO errors 0 0
Total errors 0 0
Output packet error count 0
PDSN의 포트가 정리되었으므로 LAG 전환이 수행되었고 포트 불균형이 새로 활성화된(심지어 번호가 지정된) 포트에서 Juniper 측 중지 오류와 함께 사라졌습니다. 모바일 IP 통화 설정과 관련된 미리 표시된 CHAP 및 LCP 오류도 중지되었습니다.
[local]PDSN# show port utilization table
Thursday May 07 15:27:46 UTC 2015
------ Average Port Utilization (in mbps) ------
Port Type Current 5min 15min
Rx Tx Rx Tx Rx Tx
----- ------------------------ ------- ------- ------- ------- ------- ---
19/1 10G Ethernet 0 0 0 0 0 0
20/1 10G Ethernet 908 875 901 879 904 884
23/1 10G Ethernet 0 0 0 0 0 0
26/1 10G Ethernet 916 857 922 856 929 861
27/1 10G Ethernet 0 0 0 0 0 0
28/1 10G Ethernet 835 883 838 880 844 889
37/1 1000 Ethernet 0 0 0 0 0 0
[local]PDSN# show port table
Thursday May 07 15:22:11 UTC 2015
Port Role Type Admin Oper Link State Pair Redundant
----- ---- ------------------------ -------- ---- ---- ------- ----- ----
19/1 Srvc 10G Ethernet Enabled - Up - None LA~ 19/1
20/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1
21/1 Srvc 1000 Ethernet Enabled - Up - 37/1 L2 Link
23/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1
24/1 Mgmt 1000 Ethernet Dual Media Enabled Up Up Active 25/1 L2 Link
24/2 Mgmt 1000 Ethernet Dual Media Disabled Down Down Active 25/2 L2 Link
24/3 Mgmt RS232 Serial Console Enabled Down Down Active 25/3 L2 Link
24/4 Mgmt BITS T1/E1 Timing Disabled Down Down Active 25/4 L2 Link
25/1 Mgmt 1000 Ethernet Dual Media Enabled Down Up Standby 24/1 L2 Link
25/2 Mgmt 1000 Ethernet Dual Media Disabled Down Down Standby 24/2 L2 Link
25/3 Mgmt RS232 Serial Console Enabled Down Down Standby 24/3 L2 Link
25/4 Mgmt BITS T1/E1 Timing Disabled Down Down Standby 24/4 L2 Link
26/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1
27/1 Srvc 10G Ethernet Enabled Up Up Active None LA~ 19/1
28/1 Srvc 10G Ethernet Enabled Up Up Active None LA+ 19/1
37/1 Srvc 1000 Ethernet Enabled - Up - 21/1 L2 Link
포트 통계를 재설정하고 LAG를 홀수 포트로 다시 실패한 후 Juniper의 입력 오류가 다시 증가하기 시작했습니다. 경로가 이미 정리되었으므로 SFP(Juniper의 포트 0/1/2 및 PDSN의 포트 27/1)를 모두 대체하고 노드 간에 파이버(fiber)를 직접 실행하여 기존 경로 전체를 완전히 우회하기로 결정했습니다. 트래픽이 홀수 LAG로 반환되면 입력 오류는 기존 경로에서 확인한 것과 동일하게 계속 증가합니다.포트 사용률은 포트 27에서도 균형이 맞지 않는 것으로 되돌아갑니다.
show interfaces xe-0/1/2 extensive | grep Error
BPDU Error: None, MAC-REWRITE Error: None, Loopback: None,
Input errors:
Errors: 2898, Drops: 0, Framing errors: 114, Runts: 0, Policed discards: 0,
L3 incompletes: 2784, L2 channel errors: 0, L2 mismatch timeouts: 0,
FIFO errors: 0, Resource errors: 0
SFP와 파이버가 모두 완전히 새롭게 추가되었고 노드 간에 경로가 직진되었기 때문에 입력 오류가 파이버 업스트림(PDSN XCLC 27에서 시작 중인 것 같습니다. 다음 단계를 결정하기 전에 잠시 동안 영향을 중지하기 위해 트래픽이 짝수 포트로 다시 실패했습니다.Juniper가 ASR 포트 27에서 잘못된 IPv4/IPv6 패킷을 확인했습니다.
이후 유지 보수 기간에서는 포트 23과 27 간에 파이버가 교체되었습니다.
Mon May 11 05:33:52 2015 Internal trap notification 1024 (PortDown) card 23 port
1 port type 10G Ethernet Mon May 11 05:33:52 2015 Internal trap notification 93 (CardStandby) card 23
type 10 Gig Ethernet Line Card Mon May 11 05:34:12 2015 Internal trap notification 1024 (PortDown) card 27 port
1 port type 10G Ethernet Mon May 11 05:34:12 2015 Internal trap notification 93 (CardStandby) card 27
type 10 Gig Ethernet Line Card Mon May 11 05:34:13 2015 Internal trap notification 1025 (PortUp) card 27 port 1
port type 10G Ethernetalarm" Mon May 11 05:34:13 2015 Internal trap notification 55 (CardActive) card 27 type
10 Gig Ethernet Line Card Mon May 11 05:34:14 2015 Internal trap notification 1024 (PortDown) card 27 port
1 port type 10G Ethernet Mon May 11 05:34:14 2015 Internal trap notification 93 (CardStandby) card 27
type 10 Gig Ethernet Line Card Mon May 11 05:34:20 2015 Internal trap notification 1025 (PortUp) card 27 port 1
port type 10G Ethernet Mon May 11 05:34:21 2015 Internal trap notification 55 (CardActive) card 27 type
10 Gig Ethernet Line Card Mon May 11 05:34:58 2015 Internal trap notification 1025 (PortUp) card 23 port 1
port type 10G Ethernet Mon May 11 05:34:58 2015 Internal trap notification 55 (CardActive) card 23 type
10 Gig Ethernet Line Card
그리고 LAG 전환 포트 27이 계속 오류와 포트 불균형이 전송되었습니다.
Mon May 11 05:37:20 2015 Internal trap notification 1204 (LAGGroupDown) card:19,
port:1, partner:(007F,2C-21-72-5E-57-C0,0016) Mon May 11 05:37:20 2015 Internal trap notification 1205 (LAGGroupUp) card:19,
port:1, partner:(007F,2C-21-72-1A-B7-C0,0016) [local]NWBLWICZPN2 DO-PDSN> show port utilization table
Monday May 11 05:40:06 UTC 2015
------ Average Port Utilization (in mbps) ------
Port Type Current 5min 15min
Rx Txx Rx Tx Rx Tx
----- ------------------------ ------- ------- ------- ------- ------- ----
19/1 10G Ethernet 357 386 137 138 45 46
20/1 10G Ethernet 0 0 178 168 314 301
23/1 10G Ethernet 346 349 173 185 57 61
26/1 10G Ethernet 0 0 197 189 324 316
27/1 10G Ethernet 404 1921 147 701 49 233
28/1 10G Ethernet 0 0 207 226 299 318 Mon May 11 05:40:42 2015 Internal trap notification 39 (AAAAuthSvrUnreachable)
server 1 ip address 209.165.200.225 Mon May 11 05:41:05 2015 Internal trap notification 40 (AAAAuthSvrReachable)
server 1 ip address 209.165.200.225 Mon May 11 05:41:42 2015 Internal trap notification 39 (AAAAuthSvrUnreachable)
server 1 ip address 209.165.200.225 Mon May 11 05:42:05 2015 Internal trap notification 40 (AAAAuthSvrReachable)
server 1 ip address 209.165.200.225 Mon May 11 05:49:42 2015 Internal trap notification 39 (AAAAuthSvrUnreachable)
server 1 ip address 209.165.200.225 Mon May 11 05:50:04 2015 Internal trap notification 40 (AAAAuthSvrReachable)
server 1 ip address 209.165.200.225 Mon May 11 05:52:42 2015 Internal trap notification 39 (AAAAuthSvrUnreachable)
server 1 ip address 209.165.200.225 Mon May 11 05:53:05 2015 Internal trap notification 40 (AAAAuthSvrReachable)
server 1 ip address 209.165.200.225 Mon May 11 05:54:29 2015 Internal trap notification 1204 (LAGGroupDown) card:19,
port:1, partner:(007F,2C-21-72-1A-B7-C0,0016) Mon May 11 05:54:29 2015 Internal trap notification 1205 (LAGGroupUp) card:19,
port:1, partner:(007F,2C-21-72-5E-57-C0,0016)
섬유를 다시 바꿨습니다.
Mon May 11 05:59:38 2015 Internal trap notification 1024 (PortDown) card 23 port
1 port type 10G Ethernet Mon May 11 05:59:38 2015 Internal trap notification 93 (CardStandby) card 23
type 10 Gig Ethernet Line Card Mon May 11 05:59:43 2015 Internal trap notification 1024 (PortDown) card 27 port
1 port type 10G Ethernet Mon May 11 05:59:43 2015 Internal trap notification 93 (CardStandby) card 27
type 10 Gig Ethernet Line Card Mon May 11 05:59:46 2015 Internal trap notification 1025 (PortUp) card 23 port 1
port type 10G Ethernet Mon May 11 05:59:46 2015 Internal trap notification 55 (CardActive) card 23 type
10 Gig Ethernet Line Card Mon May 11 05:59:54 2015 Internal trap notification 1025 (PortUp) card 27 port 1
port type 10G Ethernet Mon May 11 05:59:54 2015 Internal trap notification 55 (CardActive) card 27 type
10 Gig Ethernet Line Card
XCLC 27을 재장착했습니다.
Mon May 11 06:02:02 2015 Internal trap notification 1024 (PortDown) card 27 port
1 port type 10G Ethernet Mon May 11 06:02:02 2015 Internal trap notification 60 (CardDown) card 27 type
10 Gig Ethernet Line Card Mon May 11 06:02:04 2015 Internal trap notification 7 (CardRemoved) card 27 type
10 Gig Ethernet Line Card Mon May 11 06:03:04 2015 Internal trap notification 8 (CardInserted) card 27
type 10 Gig Ethernet Line Card Mon May 11 06:03:06 2015 Internal trap notification 5 (CardUp) card 27 type 10
Gig Ethernet Line Card Mon May 11 06:03:08 2015 Internal trap notification 55 (CardActive) card 27 type 10 Gig Ethernet Line Card Mon May 11 06:03:09 2015 Internal trap notification 93 (CardStandby) card 27
type 10 Gig Ethernet Line Card Mon May 11 06:03:11 2015 Internal trap notification 1025 (PortUp) card 27 port 1
port type 10G Ethernet Mon May 11 06:03:11 2015 Internal trap notification 55 (CardActive) card 27 type
10 Gig Ethernet Line Card
LAG가 다시 활성화되었고 문제가 여전히 발견되었습니다.
Mon May 11 06:08:21 2015 Internal trap notification 1204 (LAGGroupDown) card:19,
port:1, partner:(007F,2C-21-72-5E-57-C0,0016) Mon May 11 06:08:21 2015 Internal trap notification 1205 (LAGGroupUp) card:19,
port:1, partner:(007F,2C-21-72-1A-B7-C0,0016) Mon May 11 06:12:42 2015 Internal trap notification 39 (AAAAuthSvrUnreachable)
server 1 ip address 209.165.200.225 Mon May 11 06:13:04 2015 Internal trap notification 40 (AAAAuthSvrReachable)
server 1 ip address 209.165.200.225 Mon May 11 06:14:42 2015 Internal trap notification 39 (AAAAuthSvrUnreachable)
server 1 ip address 209.165.200.225 Mon May 11 06:15:05 2015 Internal trap notification 40 (AAAAuthSvrReachable)
server 1 ip address 209.165.200.225 Mon May 11 06:15:42 2015 Internal trap notification 39 (AAAAuthSvrUnreachable)
server 1 ip address 209.165.200.225 Mon May 11 06:16:07 2015 Internal trap notification 40 (AAAAuthSvrReachable)
server 1 ip address 209.165.200.225
PSC 11(Line Card 27 뒤에 있음)을 16으로 마이그레이션하면 LAG가 짝수 포트로 전환되므로 문제가 해결됩니다(예상).
Mon May 11 06:26:03 2015 Internal trap notification 1256 (MigrateStart) from
card 11 to card 16 Mon May 11 06:26:40 2015 Internal trap notification 1024 (PortDown) card 27 port
1 port type 10G Ethernet Mon May 11 06:26:40 2015 Internal trap notification 55 (CardActive) card 27 type
10 Gig Ethernet Line Card Mon May 11 06:26:41 2015 Internal trap notification 55 (CardActive) card 16 type
Packet Services Card 3 Mon May 11 06:26:41 2015 Internal trap notification 55 (CardActive) card 40 type
Redundancy Crossbar Card Mon May 11 06:26:41 2015 Internal trap notification 55 (CardActive) card 41 type
Redundancy Crossbar Card Mon May 11 06:26:41 2015 Internal trap notification 60 (CardDown) card 11 type
Packet Services Card 3 Mon May 11 06:26:42 2015 Internal trap notification 1257 (MigrateComplete) from
card 11 to card 16 Mon May 11 06:26:42 2015 Internal trap notification 1025 (PortUp) card 27 port 1
port type 10G Ethernet Mon May 11 06:27:55 2015 Internal trap notification 5 (CardUp) card 11 type
Packet Services Card 3 Mon May 11 06:27:55 2015 Internal trap notification 93 (CardStandby) card 11
type Packet Services Card 3
PSC 11을 재장착한 다음 재부팅했습니다(후자는 필요 없음).
Mon May 11 06:39:48 2015 Internal trap notification 60 (CardDown) card 11 type
Packet Services Card 3 Mon May 11 06:40:00 2015 Internal trap notification 7 (CardRemoved) card 11 type
Packet Services Card 3 Mon May 11 06:40:42 2015 Internal trap notification 13 (CardMismatch) card 11
type Unknown Card (0x00000000) Mon May 11 06:40:45 2015 Internal trap notification 8 (CardInserted) card 11
type Packet Services Card 3 Mon May 11 06:44:57 2015 Internal trap notification 4 (CardRebootRequest) card
11 type Packet Services Card 3 Mon May 11 06:46:44 2015 Internal trap notification 7 (CardRemoved) card 11 type
Packet Services Card 3 Mon May 11 06:46:59 2015 Internal trap notification 8 (CardInserted) card 11
type Packet Services Card 3 Mon May 11 06:50:20 2015 Internal trap notification 5 (CardUp) card 11 type
Packet Services Card 3 Mon May 11 06:50:20 2015 Internal trap notification 93 (CardStandby) card 11
type Packet Services Card 3
마이그레이션이 PSC 11로 다시 이루어졌고 문제가 다시 시작되었습니다.이 문제는 XGLC 27에 접속된 PSC 11에 국한된 것으로 보입니다.
Mon May 11 06:51:55 2015 Internal trap notification 1256 (MigrateStart) from
card 16 to card 11 Mon May 11 06:52:37 2015 Internal trap notification 1024 (PortDown) card 27 port
1 port type 10G Ethernet Mon May 11 06:52:37 2015 Internal trap notification 93 (CardStandby) card 40
type Redundancy Crossbar Card Mon May 11 06:52:37 2015 Internal trap notification 93 (CardStandby) card 41
type Redundancy Crossbar Card Mon May 11 06:52:37 2015 Internal trap notification 55 (CardActive) card 27 type
10 Gig Ethernet Line Card Mon May 11 06:52:38 2015 Internal trap notification 55 (CardActive) card 11 type
Packet Services Card 3 Mon May 11 06:52:38 2015 Internal trap notification 60 (CardDown) card 16 type
Packet Services Card 3 Mon May 11 06:52:38 2015 Internal trap notification 1257 (MigrateComplete) from
card 16 to card 11 Mon May 11 06:52:38 2015 Internal trap notification 1025 (PortUp) card 27 port 1
port type 10G Ethernet Mon May 11 06:53:42 2015 Internal trap notification 39 (AAAAuthSvrUnreachable)
server 1 ip address 209.165.200.225 Mon May 11 06:53:52 2015 Internal trap notification 5 (CardUp) card 16 type
Packet Services Card 3 Mon May 11 06:53:52 2015 Internal trap notification 93 (CardStandby) card 16 type Packet Services Card 3 Mon May 11 06:54:07 2015 Internal trap notification 40 (AAAAuthSvrReachable)
server 1 ip address 209.165.200.225
RMA 교체 시점까지 문제를 해결하기 위해 PSC 16으로 다시 마이그레이션했습니다.
Mon May 11 06:56:07 2015 Internal trap notification 1256 (MigrateStart) from
card 11 to card 16 Mon May 11 06:56:43 2015 Internal trap notification 1024 (PortDown) card 27 port
1 port type 10G Ethernet Mon May 11 06:56:43 2015 Internal trap notification 55 (CardActive) card 27 type
10 Gig Ethernet Line Card Mon May 11 06:56:44 2015 Internal trap notification 55 (CardActive) card 16 type
Packet Services Card 3 Mon May 11 06:56:44 2015 Internal trap notification 55 (CardActive) card 40 type
Redundancy Crossbar Card Mon May 11 06:56:44 2015 Internal trap notification 55 (CardActive) card 41 type
Redundancy Crossbar Card Mon May 11 06:56:44 2015 Internal trap notification 60 (CardDown) card 11 type
Packet Services Card 3 Mon May 11 06:56:44 2015 Internal trap notification 1257 (MigrateComplete) from
card 11 to card 16 Mon May 11 06:56:44 2015 Internal trap notification 1025 (PortUp) card 27 port 1
port type 10G Ethernet Mon May 11 06:57:58 2015 Internal trap notification 5 (CardUp) card 11 type
Packet Services Card 3 [local]PDSN> show rct stats Monday May 11 07:08:26 UTC 2015 RCT stats Details (Last 4 Actions) Action Type From To Start Time Duration ----------------- --------- ---- ---- ------------------------ ----------
Migration Planned 11 16 2015-May-11+06:26:04.373 36.453 sec Shutdown N/A 11 0 2015-May-11+06:39:48.153 0.223 sec Migration Planned 16 11 2015-May-11+06:51:55.785 41.630 sec Migration Planned 11 16 2015-May-11+06:56:08.452 35.037 sec RCT stats Summary ----------------- Migrations = 3, Average time = 37.707 sec Switchovers = 0 [local]PDSN> show card mappings Monday May 11 07:10:22 UTC 2015 Slot Mapping Slot ----------------------------------- -------------- -------------------------- 17 None - 18 None - 19 10 Gig Ethernet Line Card <-- direct --> 3 Packet Services Card 3 20 10 Gig Ethernet Line Card <-- direct --> 4 Packet Services Card 3 21 1000 Ethernet Line Card <-- direct --> 5 Packet Services Card 3 22 None - 23 10 Gig Ethernet Line Card <-- direct --> 7 Packet Services Card 3 24 Switch Processor I/O Card <------------> 8 System Management Card 25 Switch Processor I/O Card <------------> 8 System Management Card 26 10 Gig Ethernet Line Card <-- direct --> 10 Packet Services Card 3 27 10 Gig Ethernet Line Card <--- RCCs ---> 16 Packet Services Card 3 28 10 Gig Ethernet Line Card <-- direct --> 12 Packet Services Card 3
그러나 RMA는 여전히 문제를 해결하지 못했습니다.
[local]PDSN# show port utilization table verbose
Tuesday May 12 06:04:57 UTC 2015
------ Average Port Utilization (in mbps) ------
Port Type Current 5min 15min
Rx Tx Rx Tx Rx Tx
----- ------------------------ ------- ------- ------- ------- ------- -------
19/1 10G Ethernet 333.497 331.132 345.255 347.328 354.989 358.539
20/1 10G Ethernet 0.003 0.000 0.003 0.000 0.003 0.000
23/1 10G Ethernet 361.103 334.488 353.180 354.668 363.226 363.388
26/1 10G Ethernet 0.002 0.000 0.002 0.000 0.002 0.000
27/1 10G Ethernet 309.096 1897 335.379 1892 339.740 890
28/1 10G Ethernet 0.003 0.000 0.003 0.000 0.003 0.000
37/1 1000 Ethernet 0.014 0.005 0.014 0.018 0.014 0.016
마지막으로 문제를 해결하려면 섀시를 다시 로드해야 합니다.근본 원인은 아직 밝혀지지 않았습니다.그러나 여기서 중요한 점은 문제를 해결하기 위해 수행된 트러블슈팅 단계가 결국 다시 로드로 작동했다는 것입니다.때로는 수행한 트러블슈팅 단계에 따라 결과가 원래 예상과 다를 수 있습니다.RMA가 확실히 문제를 해결할 것이라고 생각되었지만, 그렇지 않았습니다.하지만 진보를 위한 발걸음이 잘못됐다.
실패한 XGLC로 인해 LAG 전환이 유지되지 못했습니다.
짝수 포트로 LAG 전환 홀수(19, 23, 27 => 20, 26, 28)가 유지되지 않으며 1분 내에 다시 전환됩니다.이는 하나 이상의 LAG 포트가 연결을 유지 관리할 수 없는 문제를 의미할 수 있습니다.포트 사용률이 감소하지만 짝수 포트가 활성 상태로 유지되는 시간이 짧기 때문에 데이터 집합이 제한됩니다.
[XGWout]XGW# show port util table
Thursday April 26 07:17:31 UTC 2012
------ Average Port Utilization (in mbps) ------
Port Type Current 5min 15min
Rx Tx Rx Tx Rx Tx
----- ------------------------ ------- ------- ------- ------- ------- -------
19/1 10G Ethernet 895 907 906 931 939 983
20/1 10G Ethernet 0 0 20 14 6 4
21/1 1000 Ethernet 0 0 0 3 0 3
22/1 1000 Ethernet 3 46 3 46 3 47
23/1 10G Ethernet 948 946 883 917 918 956
26/1 10G Ethernet 0 0 16 11 5 3
27/1 10G Ethernet 949 950 989 934 1029 955
28/1 10G Ethernet 0 0 4 14 1 4
[XGWout]XGW# link-aggregation port switch to 20/1
Thursday April 26 07:20:20 UTC 2012
Are you sure? [Yes|No]: yes
Thursday April 26 07:20:22 UTC 2012
2012-Apr-26+07:20:22.826 [lagmgr 179050 warning] [1/0/2337 <lagmgr:0>
lagmgr_state.c:1163] [software internal system critical-info syslog] LAG group
50 (global) with master port 19/1 has changed partner from (007F,00-26-88-8E-
4F-F0,0034) to (007F,00-26-88-A7-FF-F0,0034)
Apr 26 07:21:28 kslxmsce2.msc.vzwnet.com evlogd: [local-60sec28.393]
[lagmgr 179050 warning] [1/0/2337 <lagmgr:0> lagmgr_state.c:1163]
[software internal system critical-info syslog] LAG group 50 (global)
with master port 19/1 has changed partner from
(007F,00-26-88-A7-FF-F0,0034) to (007F,00-26-88-8E-4F-F0,0034)
[XGWout]XGW# show port util table
Thursday April 26 07:20:46 UTC 2012
------ Average Port Utilization (in mbps) ------
Port Type Current 5min 15min
Rx Tx Rx Tx Rx Tx
----- ------------------------ ------- ------- ------- ------- ------- -------
19/1 10G Ethernet 0 0 896 917 927 965
20/1 10G Ethernet 678 526 45 33 15 11
21/1 1000 Ethernet 0 0 0 3 0 3
22/1 1000 Ethernet 3 45 3 46 3 46
23/1 10G Ethernet 0 0 881 898 903 943
26/1 10G Ethernet 627 442 16 11 5 3
27/1 10G Ethernet 0 0 874 850 980 914
28/1 10G Ethernet 138 436 15 47 5 15
[XGWout]XGW# show port util table
Thursday April 26 07:24:58 UTC 2012
------ Average Port Utilization (in mbps) ------
Port Type Current 5min 15min
Rx Tx Rx Tx Rx Tx
----- ------------------------ ------- ------- ------- ------- ------- -------
19/1 10G Ethernet 847 911 742 719 860 874
20/1 10G Ethernet 0 0 137 104 52 39
21/1 1000 Ethernet 0 0 0 4 0 4
22/1 1000 Ethernet 3 48 3 47 3 47
23/1 10G Ethernet 840 804 710 718 837 862
26/1 10G Ethernet 0 0 133 95 50 35
27/1 10G Ethernet 833 814 671 697 883 856
28/1 10G Ethernet 0 0 33 92 12 35
추가 트러블슈팅을 위해 LAG 포트 중 하나(27/1)가 비활성화되어 LAG 스위치오버가 그대로 유지되며 다시 전환되지 않습니다(전환할 포트가 현재 활성 포트보다 용량이 더 큰 경우가 아니면 시스템이 전환되지 않습니다). 아래에서 볼 수 있듯이, 포트 사용률은 EVEN 포트에서 크게 저하됩니다.포트 27/1이 다시 활성화되면 LAG는 EVEN 포트의 용량이 더 크기 때문에 개입 없이 홀수 포트로 다시 전환됩니다.
[local]XGW# show port util table
Thursday April 26 08:53:47 UTC 2012
------ Average Port Utilization (in mbps) ------
Port Type Current 5min 15min
Rx Tx Rx Tx Rx Tx
----- ------------------------ ------- ------- ------- ------- ------- -------
19/1 10G Ethernet 670 639 654 609 590 556
20/1 10G Ethernet 0 0 0 0 0 0
21/1 1000 Ethernet 0 20 0 3 0 2
22/1 1000 Ethernet 3 41 3 40 7 83
23/1 10G Ethernet 598 676 574 662 535 585
26/1 10G Ethernet 0 0 0 0 0 0
27/1 10G Ethernet 662 612 658 608 611 585
28/1 10G Ethernet 0 0 0 0 0 0
[local]XGW(config)# port ether 27/1
Thursday April 26 08:53:58 UTC 2012
[local]XGW(config-port-27/1)# shut
Thursday April 26 08:54:02 UTC 2012
Thu Apr 26 08:54:02 2012 Internal trap notification 35 (PortLinkDown) card 27
port 1 ifindex 453050368
Thu Apr 26 08:54:02 2012 Internal trap notification 1024 (PortDown) card 27 port 1 ifindex 453050368port type 10G Ethernet
Thu Apr 26 08:54:02 2012 Internal trap notification 93 (CardStandby) card 27
[local]XGW# show port util table
Thursday April 26 08:54:26 UTC 2012
------ Average Port Utilization (in mbps) ------
Port Type Current 5min 15min
Rx Tx Rx Tx Rx Tx
----- ------------------------ ------- ------- ------- ------- ------- -------
19/1 10G Ethernet 0 0 634 596 625 591
20/1 10G Ethernet 371 278 27 19 9 6
21/1 1000 Ethernet 0 0 0 3 0 2
22/1 1000 Ethernet 3 39 3 40 3 86
23/1 10G Ethernet 0 0 573 654 572 627
26/1 10G Ethernet 346 268 0 0 0 0
28/1 10G Ethernet 107 233 0 0 0 0
[local]XGW# show port util table
Thursday April 26 08:57:11 UTC 2012
------ Average Port Utilization (in mbps) ------
Port Type Current 5min 15min
Rx Tx Rx Tx Rx Tx
----- ------------------------ ------- ------- ------- ------- ------- -------
19/1 10G Ethernet 0 0 375 349 552 520
20/1 10G Ethernet 445 342 203 156 67 52
21/1 1000 Ethernet 0 0 0 3 0 2
22/1 1000 Ethernet 4 50 3 42 3 40
23/1 10G Ethernet 0 0 223 260 465 515
26/1 10G Ethernet 390 323 215 169 71 56
28/1 10G Ethernet 214 302 84 148 28 49
[local]XGW# show port util table
Thursday April 26 09:00:18 UTC 2012
------ Average Port Utilization (in mbps) ------
Port Type Current 5min 15min
Rx Tx Rx Tx Rx Tx
----- ------------------------ ------- ------- ------- ------- ------- -------
19/1 10G Ethernet 0 0 0 0 428 401
20/1 10G Ethernet 414 339 410 320 145 113
21/1 1000 Ethernet 0 0 0 2 0 3
22/1 1000 Ethernet 4 56 3 48 3 42
23/1 10G Ethernet 0 0 0 0 345 391
26/1 10G Ethernet 373 307 391 312 147 117
28/1 10G Ethernet 244 287 203 292 71 106
[local]XGW# show port util table
Thursday April 26 09:08:33 UTC 2012
------ Average Port Utilization (in mbps) ------
Port Type Current 5min 15min
Rx Tx Rx Tx Rx Tx
----- ------------------------ ------- ------- ------- ------- ------- -------
19/1 10G Ethernet 0 0 0 0 37 36
20/1 10G Ethernet 346 302 394 315 358 284
21/1 1000 Ethernet 0 11 0 4 0 3
22/1 1000 Ethernet 4 86 4 80 4 59
23/1 10G Ethernet 0 0 0 0 36 41
26/1 10G Ethernet 331 278 354 307 339 281
28/1 10G Ethernet 252 253 245 273 203 255
[local]XGW# config
Thursday April 26 09:08:43 UTC 2012
[local]XGW(config)# port ether 27/1
Thursday April 26 09:08:49 UTC 2012
[local]XGW(config-port-27/1)# no shut
Thursday April 26 09:08:53 UTC 2012
Thu Apr 26 09:08:53 2012 Internal trap notification 55 (CardActive) card 27
Thu Apr 26 09:08:53 2012 Internal trap notification 36 (PortLinkUp) card 27 port
1 ifindex 453050369
Thu Apr 26 09:08:53 2012 Internal trap notification 1025 (PortUp) card 27 port 1
ifindex 453050369port type 10G Ethernet
[local]XGW# show port util table
Thursday April 26 09:10:11 UTC 2012
------ Average Port Utilization (in mbps) ------
Port Type Current 5min 15min
Rx Tx Rx Tx Rx Tx
----- ------------------------ ------- ------- ------- ------- ------- -------
19/1 10G Ethernet 698 656 0 0 0 0
20/1 10G Ethernet 0 0 370 300 395 315
21/1 1000 Ethernet 0 0 0 3 0 3
22/1 1000 Ethernet 3 85 4 88 4 66
23/1 10G Ethernet 618 702 0 0 0 0
26/1 10G Ethernet 0 0 310 270 357 298
27/1 10G Ethernet 681 624 44 36 14 12
28/1 10G Ethernet 0 0 235 251 227 27
어떤 포트에 문제가 있는지 명확하지 않으며 Tx 사용률이 그리 고르지 않습니다.
"show port npu counters"는 오류 카운터 "Bad IPv4 header"가 높은 속도로 증가하는 문제를 명확히 보여주지만(전혀 일어나지 않아야 함), 현재 구현에 따라 LAG 구현이 되기 때문에 모든 카운터가 LAG 그룹의 모든 LAG 포트에 대해 누적되므로 어떤 포트에서 문제가 발생하는지 확인할 수 없습니다. 이 중 하나일 수 있습니다.(결합된 모든 포트에 대한 통계는 마스터 포트 아래에 있습니다. 이 경우 19/1 - LAG 그룹의 모든 개별 LAG 포트에 대한 통계는 의미가 없으므로 무시해야 합니다.)
그러나 기술 지원 명령 "show npu stats debug all_pacs"는 PSC를 기준으로 NPU 통계를 캡처하며, 다음은 PSC 12 및 (기본값) 연결된 XGLC 28과 확실히 "관련"되어 있음을 보여주는 것입니다.
******** show npu stats debug all_pacs *******
Thursday April 26 09:01:41 UTC 2012
Line 524176: debug-pkt-drop-invalid-iphdr 3601919
Line 524245: debug-pkt-drop-invalid-iphdr 265
Line 524303: debug-pkt-drop-invalid-iphdr 141
Line 524407: debug-pkt-drop-invalid-iphdr 3468928
Line 524471: debug-pkt-drop-invalid-iphdr 216
Line 524529: debug-pkt-drop-invalid-iphdr 3701708
Line 524595: debug-pkt-drop-invalid-iphdr 6501414 <= NPU debug
stats for slot 12
******** show port npu counters *******
Thursday April 26 09:01:40 UTC 2012
Counters for port 19/1
Counter Rx Frames Rx Bytes Tx Frames Tx Bytes
-------------------- ------------- --------------- ------------- ---------------
Bad IPv4 header 6493067 2820637429 n/a n/a
******** show npu stats debug all_pacs *******
Thursday April 26 09:03:36 UTC 2012
Line 985303: debug-pkt-drop-invalid-iphdr 3601919
Line 985372: debug-pkt-drop-invalid-iphdr 292
Line 985430: debug-pkt-drop-invalid-iphdr 141
Line 985534: debug-pkt-drop-invalid-iphdr 3468928
Line 985598: debug-pkt-drop-invalid-iphdr 226
Line 985656: debug-pkt-drop-invalid-iphdr 3701708
Line 985722: debug-pkt-drop-invalid-iphdr 7190387 <= NPU debug
stats for slot 12 (INCREASING)
******** show port npu counters *******
Thursday April 26 09:03:35 UTC 2012
Counters for port 19/1
Counter Rx Frames Rx Bytes Tx Frames Tx Bytes
-------------------- ------------- --------------- ------------- ---------------
Bad IPv4 header 7182088 3089244876 n/a n/a
XGLC 28에 연결된 PSC 12 또는 XGLC 28에 연결된 PSC 12는 여전히 어떤 카드로 이 문제를 야기합니까?
일반적으로 NPU 문제는 XGLC 28에 연결된 PSC 12의 PSC 마이그레이션을 통해 해결되므로 PSC에 문제가 있음을 의미합니다.나중에 유지 보수 기간에서 이 작업을 시도했을 때 문제를 해결하지 못했습니다. 라인 카드 재설정 및 npumgr 재설정도 마찬가지입니다.
다음은 npumgr 재설정, XGLC 28 재설정, PSC 마이그레이션 12를 16으로 마이그레이션하는 경우의 문제 해결 출력입니다. 그 결과 PSC 16이 XGLC 28에 접속되어 PSC 12가 문제가 되지 않게 됩니다.각 단계 간에 debug-pkt-drop-invalid-iphdr 증가를 확인하여 문제가 해결되지 않았음을 확인했습니다.LAG 포트 중 하나의 종료(27/1)가 수행되어 LAG 스위치가 데이터 수집 목적으로 스위치오버 상태로 유지되며 테스트를 완료했을 때 LAG가 다시 전환할 수 없도록 설정되었습니다.
[local]XGW# show port util table
Saturday April 28 05:03:49 UTC 2012
------ Average Port Utilization (in mbps) ------
Port Type Current 5min 15min
Rx Tx Rx Tx Rx Tx
----- ------------------------ ------- ------- ------- ------- ------- -------
19/1 10G Ethernet 2311 2395 2384 2415 2384 2402
20/1 10G Ethernet 0 0 0 0 0 0
21/1 1000 Ethernet 0 9 0 9 0 9
22/1 1000 Ethernet 4 70 4 77 4 73
23/1 10G Ethernet 2230 2224 2222 2293 2202 2268
26/1 10G Ethernet 0 0 0 0 0 0
27/1 10G Ethernet 2496 2433 2505 2427 2440 2381
28/1 10G Ethernet 0 0 0 0 0 0
[local]XGW(config)# port ether 27/1
Saturday April 28 05:04:44 UTC 2012
[local]XGW(config-port-27/1)# shutdown
Saturday April 28 05:04:50 UTC 2012
Sat Apr 28 05:04:50 2012 Internal trap notification 35 (PortLinkDown) card 27
port 1 ifindex 453050368
Sat Apr 28 05:04:50 2012 Internal trap notification 1024 (PortDown) card 27 port
1 ifindex 453050368port type 10G Ethernet
Sat Apr 28 05:04:50 2012 Internal trap notification 93 (CardStandby) card 27
[local]XGW# show port table all
Saturday April 28 05:04:59 UTC 2012
Port Type Admin Oper Link State Redundant
----- ------------------------ -------- ---- ---- ---------------- -----------
19/1 10G Ethernet Enabled - Up - None ~19/1
Untagged Enabled Up - Active -
20/1 10G Ethernet Enabled Up Up Active None +19/1
[local]XGW# show port util table
Saturday April 28 05:05:42 UTC 2012
------ Average Port Utilization (in mbps) ------
Port Type Current 5min 15min
Rx Tx Rx Tx Rx Tx
----- ------------------------ ------- ------- ------- ------- ------- -------
19/1 10G Ethernet 0 0 2150 2182 2311 2333
20/1 10G Ethernet 1488 1064 0 0 0 0
21/1 1000 Ethernet 0 0 0 9 0 10
22/1 1000 Ethernet 4 70 4 72 4 73
23/1 10G Ethernet 0 0 2163 2225 2182 2251
26/1 10G Ethernet 1353 989 94 68 31 22
28/1 10G Ethernet 372 1042 14 41 4 13
[local]XGW# show npu stats debug all-pacs
Saturday April 28 05:07:28 UTC 2012
NPU debug stats for slot 12
debug-pkt-drop-invalid-iphdr 10786357
[local]XGW# show npu stats debug all-pacs
Saturday April 28 05:07:47 UTC 2012
NPU debug stats for slot 12
debug-pkt-drop-invalid-iphdr 10966718
[local]XGW# task kill facility npumgr instance 12
Saturday April 28 05:33:18 UTC 2012
Sat Apr 28 05:33:18 2012 Internal trap notification 73 (ManagerFailure) facility
npumgr instance 12 card 12 cpu 1
Sat Apr 28 05:33:18 2012 Internal trap notification 150 (TaskFailed) facility
npumgr instance 12 on card 12 cpu 1
Sat Apr 28 05:33:26 2012 Internal trap notification 35 (PortLinkDown) card 28
port 1 ifindex 469827585
Sat Apr 28 05:33:26 2012 Internal trap notification 1024 (PortDown) card 28 port
1 ifindex 469827585port type 10G Ethernet
Sat Apr 28 05:33:26 2012 Internal trap notification 36 (PortLinkUp) card 28 port
1 ifindex 469827585
Sat Apr 28 05:33:26 2012 Internal trap notification 1025 (PortUp) card 28 port 1
ifindex 469827585port type 10G Ethernet
[local]XGW# show port util table
Saturday April 28 05:34:24 UTC 2012
------ Average Port Utilization (in mbps) ------
Port Type Current 5min 15min
Rx Tx Rx Tx Rx Tx
----- ------------------------ ------- ------- ------- ------- ------- -------
19/1 10G Ethernet 0 0 0 0 0 0
20/1 10G Ethernet 894 723 837 661 935 728
21/1 1000 Ethernet 0 36 0 7 0 7
22/1 1000 Ethernet 4 127 4 78 4 79
23/1 10G Ethernet 0 0 0 0 0 0
26/1 10G Ethernet 906 647 780 571 865 644
28/1 10G Ethernet 356 649 0 0 0 0
[local]XGW# show npu stats debug slot 12
Saturday April 28 05:35:16 UTC 2012
NPU debug stats for slot 12
debug-pkt-drop-invalid-iphdr 540273
[local]XGW# show npu stats debug slot 12
Saturday April 28 05:35:38 UTC 2012
NPU debug stats for slot 12
debug-pkt-drop-invalid-iphdr 692665
Sat Apr 28 05:38:49 2012 Internal trap notification 35 (PortLinkDown) card 28
port 1 ifindex 469827584
Sat Apr 28 05:38:49 2012 Internal trap notification 1024 (PortDown) card 28 port
1 ifindex 469827584port type 10G Ethernet
Sat Apr 28 05:38:49 2012 Internal trap notification 35 (PortLinkDown) card 28
port 1 ifindex 469827585
Sat Apr 28 05:38:49 2012 Internal trap notification 60 (CardDown) card 28
Sat Apr 28 05:38:51 2012 Internal trap notification 5 (CardUp) card 28
Sat Apr 28 05:38:51 2012 Internal trap notification 4 (CardRebootRequest) card 28
Sat Apr 28 05:38:51 2012 Internal trap notification 84 (ServiceLossLC) Slots 28
and 44 has configured for card type 10 Gig Ethernet
Line Card, but neither active
Sat Apr 28 05:38:53 2012 Internal trap notification 55 (CardActive) card 28
Sat Apr 28 05:38:53 2012 Internal trap notification 1111 (ServiceLossLCClear)
Slots 28 and 44 has configured for card type 10 Gig Et
hernet Line Card, one of them is active now
Sat Apr 28 05:38:53 2012 Internal trap notification 93 (CardStandby) card 28
Sat Apr 28 05:38:55 2012 Internal trap notification 36 (PortLinkUp) card 28 port
1 ifindex 469827584
Sat Apr 28 05:38:55 2012 Internal trap notification 1025 (PortUp) card 28 port 1
ifindex 469827584port type 10G Ethernet
Sat Apr 28 05:38:55 2012 Internal trap notification 55 (CardActive) card 28
Sat Apr 28 05:38:55 2012 Internal trap notification 36 (PortLinkUp) card 28 port
1 ifindex 469827585
Sat Apr 28 05:38:55 2012 Internal trap notification 1025 (PortUp) card 28 port 1
ifindex 469827585port type 10G Ethernet
[local]XGW# show port util table
Saturday April 28 05:39:47 UTC 2012
------ Average Port Utilization (in mbps) ------
Port Type Current 5min 15min
Rx Tx Rx Tx Rx Tx
----- ------------------------ ------- ------- ------- ------- ------- -------
19/1 10G Ethernet 0 0 0 0 0 0
20/1 10G Ethernet 236 174 688 544 816 637
21/1 1000 Ethernet 0 17 0 7 0 7
22/1 1000 Ethernet 3 29 3 69 4 75
23/1 10G Ethernet 0 0 0 0 0 0
26/1 10G Ethernet 201 156 779 568 810 597
28/1 10G Ethernet 114 181 0 0 0 0
[local]XGW# show npu stats debug slot 12
Saturday April 28 05:40:04 UTC 2012
NPU debug stats for slot 12
debug-pkt-drop-invalid-iphdr 2219078
[local]XGW# show npu stats debug slot 12
Saturday April 28 05:40:15 UTC 2012
NPU debug stats for slot 12
debug-pkt-drop-invalid-iphdr 2289375
[local]XGW# show port util table
Saturday April 28 05:41:08 UTC 2012
------ Average Port Utilization (in mbps) ------
Port Type Current 5min 15min
Rx Tx Rx Tx Rx Tx
----- ------------------------ ------- ------- ------- ------- ------- -------
19/1 10G Ethernet 0 0 0 0 0 0
20/1 10G Ethernet 769 545 682 528 804 625
21/1 1000 Ethernet 0 0 0 6 0 6
22/1 1000 Ethernet 3 70 3 63 4 73
23/1 10G Ethernet 0 0 0 0 0 0
26/1 10G Ethernet 723 560 634 480 760 561
28/1 10G Ethernet 317 585 81 141 27 47
[local]XGW# show npu stat debug slot 12 clear
Saturday April 28 05:41:59 UTC 2012
NPU debug stats for slot 12
debug-pkt-drop-invalid-iphdr 2980554
[local]XGW# show npu stat debug slot 12 clear
Saturday April 28 05:42:10 UTC 2012
debug-pkt-drop-invalid-iphdr 60103
Sat Apr 28 05:42:43 2012 Internal trap notification 16 (PACMigrateStart) from
card 12 to card 16
Sat Apr 28 05:43:55 2012 Internal trap notification 17 (PACMigrateComplete) from
card 12 to card 16
Sat Apr 28 05:44:45 2012 Internal trap notification 5 (CardUp) card 12
Sat Apr 28 05:44:45 2012 Internal trap notification 93 (CardStandby) card 12
[local]XGW# show npu stat debug slot 16 clear
Saturday April 28 05:44:35 UTC 2012
NPU debug stats for slot 16
debug-pkt-drop-invalid-iphdr 14650
[local]XGW# show npu stat debug slot 16 clear
Saturday April 28 05:45:48 UTC 2012
NPU debug stats for slot 16
debug-pkt-drop-invalid-iphdr 70940
Sat Apr 28 05:45:20 2012 Internal trap notification 126 (SRPSwitchoverInitiated) vpn SRP ipaddr 10.209.74.164
Sat Apr 28 05:45:21 2012 Internal trap notification 121 (SRPStandby) vpn SRP
ipaddr 10.209.74.164 rtmod 2
[local]XGW(config)# port ether 27/1
Saturday April 28 05:52:27 UTC 2012
[local]XGW(config-port-27/1)# no shut
Saturday April 28 05:52:35 UTC 2012
Sat Apr 28 05:52:35 2012 Internal trap notification 36 (PortLinkUp) card 27 port
1 ifindex 453050368
Sat Apr 28 05:52:35 2012 Internal trap notification 1025 (PortUp) card 27 port 1
ifindex 453050368port type 10G Ethernet
Sat Apr 28 05:52:35 2012 Internal trap notification 55 (CardActive) card 27
Sat Apr 28 05:52:35 2012 Internal trap notification 36 (PortLinkUp) card 27 port
1 ifindex 453050369
Sat Apr 28 05:52:35 2012 Internal trap notification 1025 (PortUp) card 27 port 1
ifindex 453050369port type 10G Ethernet
[local]XGW# link-aggregation port switch to 19/1
Saturday April 28 05:56:39 UTC 2012
Are you sure? [Yes|No]: yes
Saturday April 28 05:56:42 UTC 2012
Sat Apr 28 07:09:46 2012 Internal trap notification 120 (SRPActive) vpn SRP
ipaddr 10.209.74.164 rtmod 2
[local]XGW# show card table
Saturday April 28 06:06:09 UTC 2012
Slot Card Type Oper State SPOF Attach
----------- -------------------------------- ------------- ---- ------
1: PSC Packet Services Card 2 Active No - -
2: PSC Packet Services Card 2 Active No - -
3: PSC Packet Services Card 2 Active No 19 -
4: PSC Packet Services Card 2 Active No 20 -
5: PSC Packet Services Card 2 Active No 21 37
6: PSC Packet Services Card 2 Active No 22 38
7: PSC Packet Services Card 2 Active No 23 -
8: SMC System Management Card Active No 24 25
9: SMC System Management Card Standby - - -
10: PSC Packet Services Card 2 Active No 26 -
11: PSC Packet Services Card 2 Active No 27 -
12: PSC Packet Services Card 2 Standby - - -
13: PSC Packet Services Card 2 Active No - -
14: PSC Packet Services Card 2 Active No - -
15: PSC Packet Services Card 2 Active No - -
16: PSC Packet Services Card 2 Active No 28 -
결론적으로 이 문제는 결함에 결함이 있는 라인 카드가 교체될 때 해결되었습니다.
참고:XGLC 28을 교체하면 이전에 연결한 PSC 16 대신 교체용 XGLC를 Demux PSC 1에 다시 연결했습니다. CSP(Card-Slot-Port) 작업은 PSC 16 대신 PSC 1에서 원하는 모든 무료 PSC에 XGLC를 연결할 수 있습니다. 따라서 XGLC 28의 테스트는 PSC 11 및 PSC 1를 대상으로 하지 않았습니다. PSC 12 또는 PSC 12 는 지금까지 수행한 모든 테스트 ( 예: PSC 12 또는 PSC 16 에 접속되어 있는 경우 ) 를 기준으로 한 결과, PSC 가 아닌 XGLC 28 의 장애가 발생한 것으로 결론지었습니다.
Sun Apr 29 05:17:25 2012 Internal trap notification 60 (CardDown) card 28
Sun Apr 29 05:17:25 2012 Internal trap notification 7 (CardRemoved) card 28
Sun Apr 29 05:19:56 2012 Internal trap notification 8 (CardInserted) card 28
Sun Apr 29 05:19:58 2012 Internal trap notification 5 (CardUp) card 28
Sun Apr 29 05:20:00 2012 Internal trap notification 55 (CardActive) card 28
[local]XGW# show port util table
Sunday April 29 05:23:53 UTC 2012
------ Average Port Utilization (in mbps) ------
Port Type Current 5min 15min
Rx Tx Rx Tx Rx Tx
----- ------------------------ ------- ------- ------- ------- ------- -------
19/1 10G Ethernet 1817 1770 1852 1868 1899 1929
20/1 10G Ethernet 0 0 0 0 0 0
21/1 1000 Ethernet 0 0 0 7 0 7
22/1 1000 Ethernet 3 55 3 58 3 59
23/1 10G Ethernet 1685 1867 1718 1858 1782 1868
26/1 10G Ethernet 0 0 0 0 0 0
27/1 10G Ethernet 1982 1866 1982 1846 2022 1927
28/1 10G Ethernet 0 0 0 0 0 0
[local]XGW# link-aggregation port switch to 20/1
Sunday April 29 05:33:18 UTC 2012
Are you sure? [Yes|No]: yes
Sunday April 29 05:33:21 UTC 2012
2012-Apr-29+05:33:21.124 [lagmgr 179050 warning] [1/0/2337 <lagmgr:0>
lagmgr_state.c:1163] [software internal system critical-info syslog] LAG group
50 (global) with master port 19/1 has changed partner from (007F,00-26-88-8E-
4F-F0,0034) to (007F,00-26-88-A7-FF-F0,0034)
[local]LENYKSCJPNR XGW# show port util table
Sunday April 29 05:34:05 UTC 2012
------ Average Port Utilization (in mbps) ------
Port Type Current 5min 15min
Rx Tx Rx Tx Rx Tx
----- ------------------------ ------- ------- ------- ------- ------- -------
19/1 10G Ethernet 0 0 1724 1688 1795 1783
20/1 10G Ethernet 1785 1737 112 108 37 36
21/1 1000 Ethernet 0 29 0 8 0 7
22/1 1000 Ethernet 3 55 3 56 3 57
23/1 10G Ethernet 0 0 1430 1522 1609 1720
26/1 10G Ethernet 1632 1790 89 95 29 31
27/1 10G Ethernet 0 0 1719 1669 1865 1780
28/1 10G Ethernet 1840 1738 0 0 0 0
[local]XGW# show npu stats debug slot 1
Sunday April 29 05:34:18 UTC 2012
NPU debug stats for slot 1
debug-pkt-drop-invalid-iphdr 9
[local]XGW# show card table
Sunday April 29 05:34:27 UTC 2012
Slot Card Type Oper State SPOF Attach
----------- -------------------------------- ------------- ---- ------
1: PSC Packet Services Card 2 Active No 28 -
2: PSC Packet Services Card 2 Active No - -
3: PSC Packet Services Card 2 Active No 19 -
4: PSC Packet Services Card 2 Active No 20 -
5: PSC Packet Services Card 2 Active No 21 37
6: PSC Packet Services Card 2 Active No 22 38
7: PSC Packet Services Card 2 Active No 23 -
8: SMC System Management Card Active No 24 25
9: SMC System Management Card Standby - - -
10: PSC Packet Services Card 2 Active No 26 -
11: PSC Packet Services Card 2 Active No 27 -
12: PSC Packet Services Card 2 Standby - - -
13: PSC Packet Services Card 2 Active No - -
14: PSC Packet Services Card 2 Active No - -
15: PSC Packet Services Card 2 Active No - -
16: PSC Packet Services Card 2 Active No - -
[local]LENYKSCJPNR XGW# show port npu count 28/1
Sunday April 29 05:35:39 UTC 2012
Counters for port 28/1
Counter Rx Frames Rx Bytes Tx Frames Tx Bytes
-------------------- ------------- --------------- ------------- ---------------
Bad IPv4 header 0 0 n/a n/a
[local]XGW# show npu stats debug all-pac
Sunday April 29 05:36:05 UTC 2012
NPU debug stats for slot 1
debug-pkt-drop-invalid-iphdr 32
[local]XGW# show npu stats debug all-pac | grep debug-pkt-drop-invalid-iphdr
Sunday April 29 05:36:47 UTC 2012
debug-pkt-drop-invalid-iphdr 41 <== PSC 1
debug-pkt-drop-invalid-iphdr 3722008
debug-pkt-drop-invalid-iphdr 920
debug-pkt-drop-invalid-iphdr 141
debug-pkt-drop-invalid-iphdr 3579872
debug-pkt-drop-invalid-iphdr 47
debug-pkt-drop-invalid-iphdr 3817343
[local]XGW# show port util table
Sunday April 29 05:37:52 UTC 2012
------ Average Port Utilization (in mbps) ------
Port Type Current 5min 15min
Rx Tx Rx Tx Rx Tx
----- ------------------------ ------- ------- ------- ------- ------- -------
19/1 10G Ethernet 0 0 301 297 1300 1280
20/1 10G Ethernet 1686 1603 1490 1454 496 484
21/1 1000 Ethernet 0 0 0 6 0 7
22/1 1000 Ethernet 3 53 3 55 3 55
23/1 10G Ethernet 0 0 448 475 1265 1349
26/1 10G Ethernet 1539 1692 1383 1460 461 486
27/1 10G Ethernet 0 0 252 246 1334 1288
28/1 10G Ethernet 1758 1705 1413 1390 471 463
피드백