UCS Fabric Interconnect 관리 인터페이스에 간헐적인 연결 문제가 있음
다운로드 옵션
편견 없는 언어
본 제품에 대한 문서 세트는 편견 없는 언어를 사용하기 위해 노력합니다. 본 설명서 세트의 목적상, 편견 없는 언어는 나이, 장애, 성별, 인종 정체성, 민족 정체성, 성적 지향성, 사회 경제적 지위 및 교차성에 기초한 차별을 의미하지 않는 언어로 정의됩니다. 제품 소프트웨어의 사용자 인터페이스에서 하드코딩된 언어, RFP 설명서에 기초한 언어 또는 참조된 서드파티 제품에서 사용하는 언어로 인해 설명서에 예외가 있을 수 있습니다. 시스코에서 어떤 방식으로 포용적인 언어를 사용하고 있는지 자세히 알아보세요.
이 번역에 관하여
Cisco는 전 세계 사용자에게 다양한 언어로 지원 콘텐츠를 제공하기 위해 기계 번역 기술과 수작업 번역을 병행하여 이 문서를 번역했습니다. 아무리 품질이 높은 기계 번역이라도 전문 번역가의 번역 결과물만큼 정확하지는 않습니다. Cisco Systems, Inc.는 이 같은 번역에 대해 어떠한 책임도 지지 않으며 항상 원본 영문 문서(링크 제공됨)를 참조할 것을 권장합니다.
목차
소개
이 문서에서는 UCS Fabric Interconnect Management(Mgmt) 인터페이스에서 특정 IP 범위 간 통신과 관련하여 간헐적인 연결 문제를 어떻게 경험했는지 설명합니다.
사전 요구 사항
요구 사항
다음 주제에 대한 지식을 보유하고 있으면 유용합니다.
- UCSM(Unified Computing Systems Manager) 소프트웨어
- UCS(Unified Computing System) 네트워킹
사용되는 구성 요소
이 문서의 정보는 다음 소프트웨어 및 하드웨어 버전을 기반으로 합니다.
- 6200 FI
- UCS Manager 4.0
이 문서의 정보는 특정 랩 환경의 디바이스를 토대로 작성되었습니다.이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다.네트워크가 작동 중인 경우 모든 명령의 잠재적인 영향을 이해해야 합니다.
문제/장애:UCS Fabric Interconnect 관리 인터페이스에는 간헐적인 연결 문제가 있습니다.
UCS Fabric Interconnect 관리 인터페이스에는 간헐적인 연결 손실이 있지만, 통신이 특정 IP 범위를 통과할 때만 발생합니다.VLAN 10의 IP 범위 10.128.10.0/24은 FI(Fabric Interconnect) 관리 인터페이스 및 VIP(Virtual IP)에 사용됩니다. 통신이 VLAN 1의 IP 범위 10.128.1.0/24 연결과 FI를 주고받는 경우.따라서 VLAN 1의 IP 범위에 있는 모든 디바이스는 UCSM에 연결할 수 없으며 FI IP를 하나만 ping할 수 있습니다. 하나 이상의 FI IP(3개, FI-A, FI-B, VIP)가 항상 통신할 수 있습니다.
토폴로지
VLAN 10의 패브릭 인터커넥트 IP
FI-A: 10.128.10.84 FI-B: 10.128.10.85 VIP: 10.128.10.86 GW: 10.128.10.1
VLAN 1에서 문제가 있는 디바이스 통신
Subnet 10.128.1.0/24 GW: 10.128.1.1
문제 해결
두 Fabric Interconnect의 로컬 관리 컨텍스트에서 기본(df) 게이트웨이(gw)에 도달할 수 있지만 10.128.10.1. VLAN 1 IP 범위 10.128.1.0/24의 IP 주소는 Fabric Interconnects 로컬 관리 컨텍스트에 연결할 수 없거나 연결할 수 없습니다.
이 문제는 Fabric Interconnect의 관리 인터페이스이며 게이트웨이 및 기타 IP 범위에 도달할 수 있는 경우 UCS 문제가 아니라 게이트웨이에서의 라우팅에 문제가 있는 것으로 보입니다.이는 업스트림 네트워크에서 레이어 3 경로 문제로 나타납니다.
Traceroute가 Fabric Interconnect에서 임의의 IP 범위(및 VLAN 1의 범위에 없는 기타 IP 범위)로 실행되는 경우(예: VLAN 20의 IP:10.128.20.1) traceroute의 첫 번째 홉은 10.128.10.1의 VLAN 10의 게이트웨이이고 ping은 성공적입니다.
traceroute가 문제가 있는 알려진 IP 범위 10.128.1.x/24로 실행되면 traceroute가 실패합니다.
- 따라서 UCS측에서 조사해야 하는 이유가 나타납니다.
- 이는 실패해서는 안 되며, 첫 번째 홉은 VLAN 10 IP 범위 밖에 있고 VLAN 1 IP 범위에 속하지 않은 10개의 다른 IP 중 10개의 IP에 대한 것과 마찬가지로 관리 인터페이스의 df gw(10.128.10.1)여야 합니다.
더 자세히 조사하기 위해 에트분석기를 실행하여 진행 상황을 확인하고 VLAN 1의 IP 범위가 ping되면 ARP는 다음과 같은 궁금증을 자아냅니다.
EWQLOVIUCS02-A(nxos)# ethanalyzer local interface mgmt display-filter arp limit-captured-frames 0 Capturing on eth0 2019-12-17 11:45:50.807837 00:de:fb:a9:37:e1 -> ff:ff:ff:ff:ff:ff ARP Who has 10.128.1.77? Tell 10.128.0.142 2019-12-17 11:45:51.807835 00:de:fb:a9:37:e1 -> ff:ff:ff:ff:ff:ff ARP Who has 10.128.1.77? Tell 10.128.0.142 2019-12-17 11:45:52.807827 00:de:fb:a9:37:e1 -> ff:ff:ff:ff:ff:ff ARP Who has 10.128.1.77? Tell 10.128.0.142 2019-12-17 11:45:55.807829 00:de:fb:a9:37:e1 -> ff:ff:ff:ff:ff:ff ARP Who has 10.128.1.77? Tell 10.128.0.142
이 VLAN 1 IP가 있는 사람을 물어본 다음 관리 VLAN 10의 게이트웨이를 알려 주는 것이 정상적인 동작입니다.
그러나 VLAN 1의 IP 범위가 ping되면 ARP는 해당 IP가 있는 사람과 10.128.0.142에게 다음과 같이 묻습니다.
- 이는 테스트된 다른 모든 IP와 마찬가지로 "Tell 10.128.10.1"이어야 합니다.
- 10.128.0.x 서브넷 또는 IP 주소도 인식하지 못합니다.
이는 FI가 UCS 도메인을 조사하는 동안 이 IP 주소가 서버 1/5의 CIMC에 적용된 것으로 확인되었다고 10.128.0.142에 밝힌 이유입니다.
EWQLOVIUCS02-B(local-mgmt)# show mgmt-ip-debug ip-tables <SNIPPED> Chain PREROUTING (policy ACCEPT 5303K packets, 360M bytes) pkts bytes target prot opt in out source destination 188 9776 cimcnat tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp dpt:443 0 0 cimcnat tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp dpt:80 0 0 DNAT icmp -- * * 0.0.0.0/0 10.128.10.85 to:127.6.1.1 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.85 tcp dpt:2068 to:127.6.1.1:2068 0 0 DNAT udp -- * * 0.0.0.0/0 10.128.10.85 udp dpt:623 to:127.6.1.1:623 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.85 tcp dpt:22 to:127.6.1.1:22 449 26940 DNAT icmp -- * * 0.0.0.0/0 10.128.10.108 to:127.6.1.2 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.108 tcp dpt:2068 to:127.6.1.2:2068 0 0 DNAT udp -- * * 0.0.0.0/0 10.128.10.108 udp dpt:623 to:127.6.1.2:623 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.108 tcp dpt:22 to:127.6.1.2:22 931 55860 DNAT icmp -- * * 0.0.0.0/0 10.128.10.107 to:127.6.1.3 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.107 tcp dpt:2068 to:127.6.1.3:2068 0 0 DNAT udp -- * * 0.0.0.0/0 10.128.10.107 udp dpt:623 to:127.6.1.3:623 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.107 tcp dpt:22 to:127.6.1.3:22 0 0 DNAT icmp -- * * 0.0.0.0/0 10.128.10.104 to:127.6.1.3 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.104 tcp dpt:2068 to:127.6.1.3:2068 0 0 DNAT udp -- * * 0.0.0.0/0 10.128.10.104 udp dpt:623 to:127.6.1.3:623 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.104 tcp dpt:22 to:127.6.1.3:22 920 55200 DNAT icmp -- * * 0.0.0.0/0 10.128.10.106 to:127.6.1.4 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.106 tcp dpt:2068 to:127.6.1.4:2068 0 0 DNAT udp -- * * 0.0.0.0/0 10.128.10.106 udp dpt:623 to:127.6.1.4:623 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.106 tcp dpt:22 to:127.6.1.4:22 912 54720 DNAT icmp -- * * 0.0.0.0/0 10.128.10.105 to:127.6.1.6 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.105 tcp dpt:2068 to:127.6.1.6:2068 0 0 DNAT udp -- * * 0.0.0.0/0 10.128.10.105 udp dpt:623 to:127.6.1.6:623 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.105 tcp dpt:22 to:127.6.1.6:22 0 0 DNAT icmp -- * * 0.0.0.0/0 10.128.0.142 to:127.6.1.5 <<---- Indicates that 10.128.0.142 is the OOB KVM IP address for server 1/5. 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.0.142 tcp dpt:2068 to:127.6.1.5:2068 0 0 DNAT udp -- * * 0.0.0.0/0 10.128.0.142 udp dpt:623 to:127.6.1.5:623 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.0.142 tcp dpt:22 to:127.6.1.5:22 910 54600 DNAT icmp -- * * 0.0.0.0/0 10.128.10.102 to:127.6.1.7 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.102 tcp dpt:2068 to:127.6.1.7:2068 0 0 DNAT udp -- * * 0.0.0.0/0 10.128.10.102 udp dpt:623 to:127.6.1.7:623 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.102 tcp dpt:22 to:127.6.1.7:22 908 54480 DNAT icmp -- * * 0.0.0.0/0 10.128.10.101 to:127.6.1.8 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.101 tcp dpt:2068 to:127.6.1.8:2068 0 0 DNAT udp -- * * 0.0.0.0/0 10.128.10.101 udp dpt:623 to:127.6.1.8:623 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.101 tcp dpt:22 to:127.6.1.8:22 <SNIPPED>
근본 원인
서버 1/5의 잘못된 고정 CIMC IP 주소가 문제가 되었습니다.
또한 255.255.248.0의 서브넷에 저장되었습니다.
이로 인해 패브릭 인터커넥트의 경로 테이블에 원치 않는 항목이 생성되었습니다.10.128.0.1 - 10.128.7.254 범위의 모든 IP에 대한 기본 경로에 도달하기 전에 조건을 충족시키는 것
Linux(debug)# route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 10.128.10.0 0.0.0.0 255.255.255.0 U 0 0 0 eth0 127.15.1.0 0.0.0.0 255.255.255.0 U 0 0 0 vlan4042 127.7.0.0 0.0.0.0 255.255.0.0 U 0 0 0 vlan4043 127.5.0.0 0.0.0.0 255.255.0.0 U 0 0 0 vlan4044 127.14.0.0 0.0.0.0 255.255.0.0 U 0 0 0 vlan4046 127.12.0.0 0.0.0.0 255.255.0.0 U 0 0 0 bond0 127.9.0.0 0.0.0.0 255.255.0.0 U 0 0 0 vlan4047 10.0.0.0 0.0.0.0 255.0.0.0 U 0 0 0 eth0 <<---- Undesired route entry 10.0.0.0 0.0.0.0 255.0.0.0 U 0 0 0 eth0 <<---- Undesired route entry 0.0.0.0 10.128.10.1 0.0.0.0 UG 0 0 0 eth0
솔루션
이 경우 해결책은 영향을 받지 않는 IP 범위에서 UCSM을 탐색하고 서버 1/5의 OOB(CIMC Out of Band) 고정 주소를 수정하는 것입니다.OOB 관리 풀에서 가져오며 이미 설정되어 있습니다.환경의 다른 모든 서버와 마찬가지로 사용해야 합니다.
추가 정보
Fabric Interconnect가 리부팅되면 종종 작동합니다.해당 서버의 관리 인스턴스에 문제가 있습니다.원하지 않는 경로 테이블 항목은 패브릭 인터커넥트에서만 생성됩니다.관리 인스턴스가 Primary Fabric Interconnect와 동일한 Fabric Interconnect인 경우 VIP 또는 Fabric Interconnect에 연결할 수 없습니다.
CIMC 관리 IP 할당은 항상 Fabric Interconnect의 OOB IP 범위와 동일한 IP 범위 내에 있어야 합니다.
피드백