소개
이 문서에서는 비트/단어 오류 문제가 발생할 때 지원되는 것으로 확인해야 하는 스위치/모듈/SFP 및 케이블의 유형에 대해 설명합니다.
기고자: Afroj Ahmad 및 Ed Mazurek, Cisco TAC 엔지니어
Cisco MDS(Multilayer Data Switch) 9000 제품군 플러그형 트랜시버 데이터 시트
https://www.cisco.com/c/en/us/products/collateral/storage-networking/mds-9000-series-multilayer-switches/product_data_sheet09186a00801bc698.html?dtid=osscdc000283
주로, 관련된 케이블의 정확한 수량, 길이 및 유형(OM2, OM3 등)과 패치 패널의 수를 결정합니다.
SFP는 실제로 다음과 같은 기능을 표시합니다.
단파 SFP
F241-15-09-MDS9710# show interface fc1/4 transceiver details
fc1/4 sfp is present
Name is CISCO-AVAGO
Manufacturer's part number is AFBR-57F5PZ-CS1
Revision is B2
Serial number is AVA1551J9KF
Cisco part number is 10-2666-01
Cisco pid is DS-SFP-FC16G-SW
FC Transmitter type is short wave laser w/o OFC (SN)
FC Transmitter supports short distance link length
Transmission medium is multimode laser with 62.5 um aperture (M6)
Supported speeds are - Min speed: 4000 Mb/s, Max speed: 16000 Mb/s
Nominal bit rate is 14000 Mb/s
Link length supported for 50/125um OM2 fiber is 35 m
Link length supported for 62.5/125um fiber is 15 m
Link length supported for 50/125um OM3 fiber is 100 m
Cisco extended id is unknown (0x0)
No tx fault, no rx loss, in sync state, diagnostic monitoring type is 0x68
SFP Diagnostics Information:
----------------------------------------------------------------------------
Alarms Warnings
High Low High Low
----------------------------------------------------------------------------
Temperature 33.48 C 75.00 C -5.00 C 70.00 C 0.00 C
Voltage 3.29 V 3.63 V 2.97 V 3.46 V 3.13 V
Current 7.46 mA 10.50 mA 2.50 mA 10.50 mA 2.50 mA
Tx Power -2.54 dBm 1.70 dBm -13.00 dBm -1.30 dBm -9.00 dBm
Rx Power -2.32 dBm 3.00 dBm -15.90 dBm 0.00 dBm -11.90 dBm
Transmit Fault Count = 0
----------------------------------------------------------------------------
Note: ++ high-alarm; + high-warning; -- low-alarm; - low-warning
F241-15-09-MDS9710#
위 그림은 SFP 유형이 DS-SFP-FC16G-SW이고 최대 길이는 100미터(50/125um(mIcron) OM3 케이블링임을 나타냅니다.
장파 SFP용
F241-15-09-MDS9710# show interface fc9/1 transceiver details
fc9/1 sfp is present
Name is CISCO-FINISAR
Manufacturer's part number is FTLF1432P3BCV-C1
Revision is B
Serial number is FNS21190B7F
Cisco part number is 10-3207-01
Cisco pid is DS-SFP-FC32G LW
FC Transmitter type is long wave laser cost reduced
FC Transmitter supports long distance link length
Transmission medium is single mode (SM) laser
Supported speeds are - Min speed: 8000 Mb/s, Max speed: 32000 Mb/s
Nominal bit rate is 28000 Mb/s
Link length supported for 9/125um fiber is 10 km
Cisco extended id is unknown (0x0)
No tx fault, no rx loss, in sync state, diagnostic monitoring type is 0x68
SFP Diagnostics Information:
----------------------------------------------------------------------------
Alarms Warnings
High Low High Low
----------------------------------------------------------------------------
Temperature 32.52 C 75.00 C -5.00 C 70.00 C 0.00 C
Voltage 3.37 V 3.63 V 2.97 V 3.46 V 3.13 V
Current 38.55 mA 70.00 mA 1.00 mA 68.00 mA 2.00 mA
Tx Power 0.49 dBm 5.00 dBm -12.40 dBm 2.00 dBm -8.40 dBm
Rx Power -7.43 dBm 5.00 dBm -18.01 dBm 2.00 dBm -14.00 dBm
Transmit Fault Count = 0
----------------------------------------------------------------------------
Note: ++ high-alarm; + high-warning; -- low-alarm; - low-warning
F241-15-09-MDS9710#
위 그림은 SFP 유형이 DS-SFP-FC32G-LW이고 최대 길이가 10KM임을 나타냅니다.
참고: 표시된 길이는 완벽한 조건에서 최대 길이입니다. 패치와 패치의 추가 길이는 거리를 단축하고 때로는 상당히 단축합니다.
패치 패널 및 기타 중간 연결은 문제의 원인이 되는 경우가 많습니다. 항상 진단 단계로 이러한 문제를 없애야 합니다. 이를 방법적인 접근 방식으로 수행하고 각 변경 사항과 함께 결과를 문서화해야 합니다.
위 출력의 Rx 전원은 허용되는 범위 내에 있습니다.
-18.01 dBm -14.00 dBm -7.43 dBm 0.00 dBm 2.00 dBm 5.00 dBm
<---------+------------+-------------------+----------------+---------------+---------------+------->
<---Error-+ Error--->
<------Warning Warning--------->
<-------------------------OK----------------------->
Rx 전력이 허용 범위에 있다고 해서 엔드 투 엔드 파이버/점퍼/패치 패널 연결이 정상임을 나타내는 것은 아닙니다. 그래도 한 번에 하나씩 우회해야 할 수 있습니다.
일반적으로, 과도한 비트/워드 오류가 있는 문제는 ASIC 문제가 아니다. 그러나 케이블을 같은 모듈의 다른 포트로 이동하려면 모듈의 구조(ASIC당 포트 layport)를 알아야 합니다.
예를 들면 다음과 같습니다.
MDS 9500(DS-X9248-256K9)에는 Thunderbirds라는 4개의 FC ASIC가 있습니다.
이러한 FC ASIC는 각각 12개의 포트를 처리합니다.
ASIC 0 - fc1/1-12
ASIC 1 - fc1/13-24
ASIC 2 - fc1/25-36
ASIC 3 - fc1/37-48
MDS에는 실행할 수 있는 ISL 진단 기능이 내장되어 있습니다.
테스트 유형
링크에서 진단 테스트를 실행하는 방법은 다음과 같습니다.
레이턴시/케이블 길이 테스트
이 테스트는 짧은 기간 동안의 테스트로 레이턴시를 측정하고 케이블 길이를 결정합니다. 그 방법은 다음과 같습니다.
A측 - 이 쪽을 발전기측 이라고 합니다. 트래픽을 생성합니다.
B면 - 이쪽을 반사판이라고 합니다. 그것은 생성기에서 트래픽을 받아 다시 보냅니다.
예를 들면 다음과 같습니다.
A(generator) fc9/1 ---- fc6/1 B(reflector)
1.1 B면(리플렉터)
1.1.1 - 사용할 인터페이스 종료
1.1.2 - diagnostic isl reflector latency_test loop-back interface fc6/1 enable
1.2면 A(발전기)
1.2.1 - 사용할 인터페이스 종료
1.2.2 - 진단 isl 레이턴시 테스트 인터페이스 fc9/1
Lab 스위치에서 표시되는 내용은 다음과 같습니다.
F241-15-09-MDS9710# diagnostic isl latency-test interface fc9/1
Waiting for sync to be achieved on the link ....
Sync is achieved, Link has been initialized.
Starting the test ....
---------------------------------------------------------
Latency test Result for port: fc9/1
Latency in the switch (in ns): 264
Latency in the cable (in ns): 6593
Length of the cable (accuracy ± 2m): 4373 m
---------------------------------------------------------
F241-15-09-MDS9710#
트래픽 생성기 테스트
이것은 장기적인 전체 라인 레이트 테스트입니다. 최대 3,600초(1시간)
2.1 B면(리플렉터)
2.1.1 - 사용할 인터페이스 종료
2.1.2 - 진단 isl 리플렉터 traffic_test link_speed 32G 루프백 인터페이스 fc6/1 enable
2.2 A측(발전기)
2.2.1 - 사용할 인터페이스 종료
2.2.2 - 진단 isl 생성기 인터페이스 fc9/1 시작 기간 3600 속도 100% 프레임 크기 최소 16 최대 517단계 100 link_speed 32g
이는 32G 전체 라인 레이트로 1시간 동안 실행됩니다.
Lab 스위치에서 표시되는 내용은 다음과 같습니다.
F241-15-09-MDS9710# diagnostic isl generator interface fc9/1 start duration 3600 rate 100% frame_size min 16 max 517 step 100 link_speed 32g
Waiting for sync to be achieved on the link ....
Link initialized successfully. Starting the test.
F241-15-09-MDS9710#
When it end there is no message but you can see the frames on the ports:
F241-15-10-9706-2# show int fc6/1 | i fc|rate
fc6/1 is down (Administratively down)
5 minutes input rate 5754800992 bits/sec,719350124 bytes/sec, 666558 frames/sec
5 minutes output rate 5754800512 bits/sec,719350064 bytes/sec, 666558 frames/sec
F241-15-10-9706-2#
F241-15-10-9706-2# show int fc6/1 counters details | i i fc|fec|crc
fc6/1
0 invalid CRCs, 0 Delimiter Errors
regardless of the CRC/FCS error
CRC/FCS error
7262 fec corrected blocks
0 fec uncorrected blocks
F241-15-10-9706-2#
인터페이스 카운터를 지우고 각 링크에서 1시간 동안 실행하는 것이 좋습니다. 그런 다음 각 측에서 위 CRC와 FEC 정보를 얻습니다.
인터페이스 카운터 문제를 지우려면 clear counters interface all을 사용합니다.
스케줄러 작업 구성
위의 트래픽 생성기 테스트는 최대 1시간 동안 실행됩니다. 24시간 등 더 오래 실행하려면 스케줄러 작업을 구성할 수 있습니다.
스케줄러를 구성해야 하는 두 가지 부분이 있습니다.
스케줄러 작업은 실행할 작업을 구성하는 반면 스케줄러 일정은 작업을 실행할 시간을 구성하는 위치입니다. 이 일정은 일정을 제거할 때까지 실행됩니다. 수동으로 중지할 수 있는 쉬운 방법은 없습니다.
인터페이스를 패브릭에 있는 인터페이스로 교체해야 합니다.
작업 컨피그레이션에 오류가 발생할 경우 이를 삭제하고 다시 시작해야 합니다. 다시 돌아가서 수정할 수는 없습니다.
발전기 측에서는 발전기 정지점이 처음으로 실행되므로 오류가 표시될 수 있으므로 주의하십시오. 다음번에 달리면 괜찮을 거야
스크립트는 다음과 같습니다.
Generator:
---------
shutdown fc1/42
feature scheduler
scheduler logfile size 1024
clear counters interface fc1/42
clear scheduler logfile
scheduler job name stats
diagnostic isl generator interface fc1/42 stop
show interface fc1/42 counters details | i i fc|fec|crc
show interface fc1/42 counters | i i fc|rate
diagnostic isl generator interface fc1/42 start duration 3600 frame_size min 64 max 517 step 1 link_speed 32G
exit
scheduler schedule name test
job name stats
time start +00:01:00 repeat 00:01:00
exit
Reflector:
---------
shutdown fc7/1
feature scheduler
scheduler logfile size 1024
clear counters interface fc7/1
clear scheduler logfile
diagnostic isl reflector traffic_test link_speed 32G loop-back interface fc7/1 enable
scheduler job name stats
show interface fc7/1 counters details | i i fc|fec|crc
show interface fc7/1 counters | i i fc|rate
exit
scheduler schedule name test
job name stats
time start +00:01:00 repeat 00:01:00
exit
At the end of 24 hours, please remove the scheduler schedule to stop it at both generator and reflector sides:
no scheduler schedule name test
You can collect the scheduler logfile which will contain all the output of the tests and the show command:
show scheduler logfile | no-more
추가 명령:
- show logging onboard status
- show logging onboard module <module number>
- show logging onboard stack-trace
- show logging onboard mem-leak
- show logging onboard error-stats
- show logging onboard exception-log
- show logging onboard error-stats
- show logging onboard environmental-history
피드백