목차

소개

사전 요구 사항

요구 사항

사용되는 구성 요소

문제/장애:UCS Fabric Interconnect 관리 인터페이스에는 간헐적인 연결 문제가 있습니다.

토폴로지

VLAN 10의 패브릭 인터커넥트 IP

VLAN 1에서 문제가 있는 디바이스 통신

문제 해결

근본 원인

솔루션

추가 정보

관련 정보

소개

이 문서에서는 UCS Fabric Interconnect Management(Mgmt) 인터페이스에서 특정 IP 범위 간 통신과 관련하여 간헐적인 연결 문제를 어떻게 경험했는지 설명합니다.

사전 요구 사항

요구 사항

다음 주제에 대한 지식을 보유하고 있으면 유용합니다.

- UCSM(Unified Computing Systems Manager) 소프트웨어

- UCS(Unified Computing System) 네트워킹

사용되는 구성 요소

이 문서의 정보는 다음 소프트웨어 및 하드웨어 버전을 기반으로 합니다.

- 6200 FI

- UCS Manager 4.0

이 문서의 정보는 특정 랩 환경의 디바이스를 토대로 작성되었습니다.이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다.네트워크가 작동 중인 경우 모든 명령의 잠재적인 영향을 이해해야 합니다.

문제/장애:UCS Fabric Interconnect 관리 인터페이스에는 간헐적인 연결 문제가 있습니다.

UCS Fabric Interconnect 관리 인터페이스에는 간헐적인 연결 손실이 있지만, 통신이 특정 IP 범위를 통과할 때만 발생합니다.VLAN 10의 IP 범위 10.128.10.0/24은 FI(Fabric Interconnect) 관리 인터페이스 및 VIP(Virtual IP)에 사용됩니다. 통신이 VLAN 1의 IP 범위 10.128.1.0/24 연결과 FI를 주고받는 경우.따라서 VLAN 1의 IP 범위에 있는 모든 디바이스는 UCSM에 연결할 수 없으며 FI IP를 하나만 ping할 수 있습니다.  하나 이상의 FI IP(3개, FI-A, FI-B, VIP)가 항상 통신할 수 있습니다.

토폴로지

VLAN 10의 패브릭 인터커넥트 IP

FI-A: 10.128.10.84

FI-B: 10.128.10.85

VIP:  10.128.10.86

GW: 10.128.10.1

VLAN 1에서 문제가 있는 디바이스 통신

Subnet 10.128.1.0/24

GW: 10.128.1.1

문제 해결

두 Fabric Interconnect의 로컬 관리 컨텍스트에서 기본(df) 게이트웨이(gw)에 도달할 수 있지만 10.128.10.1. VLAN 1 IP 범위 10.128.1.0/24의 IP 주소는 Fabric Interconnects 로컬 관리 컨텍스트에 연결할 수 없거나 연결할 수 없습니다.

이 문제는 Fabric Interconnect의 관리 인터페이스이며 게이트웨이 및 기타 IP 범위에 도달할 수 있는 경우 UCS 문제가 아니라 게이트웨이에서의 라우팅에 문제가 있는 것으로 보입니다.이는 업스트림 네트워크에서 레이어 3 경로 문제로 나타납니다.

Traceroute가 Fabric Interconnect에서 임의의 IP 범위(및 VLAN 1의 범위에 없는 기타 IP 범위)로 실행되는 경우(예: VLAN 20의 IP:10.128.20.1) traceroute의 첫 번째 홉은 10.128.10.1의 VLAN 10의 게이트웨이이고 ping은 성공적입니다.

traceroute가 문제가 있는 알려진 IP 범위 10.128.1.x/24로 실행되면 traceroute가 실패합니다.

- 따라서 UCS측에서 조사해야 하는 이유가 나타납니다.

- 이는 실패해서는 안 되며, 첫 번째 홉은 VLAN 10 IP 범위 밖에 있고 VLAN 1 IP 범위에 속하지 않은 10개의 다른 IP 중 10개의 IP에 대한 것과 마찬가지로 관리 인터페이스의 df gw(10.128.10.1)여야 합니다.

더 자세히 조사하기 위해 에트분석기를 실행하여 진행 상황을 확인하고 VLAN 1의 IP 범위가 ping되면 ARP는 다음과 같은 궁금증을 자아냅니다.

EWQLOVIUCS02-A(nxos)# ethanalyzer local interface mgmt display-filter arp limit-captured-frames 0

Capturing on eth0

2019-12-17 11:45:50.807837 00:de:fb:a9:37:e1 -> ff:ff:ff:ff:ff:ff ARP Who has 10.128.1.77?  Tell 10.128.0.142

2019-12-17 11:45:51.807835 00:de:fb:a9:37:e1 -> ff:ff:ff:ff:ff:ff ARP Who has 10.128.1.77?  Tell 10.128.0.142

2019-12-17 11:45:52.807827 00:de:fb:a9:37:e1 -> ff:ff:ff:ff:ff:ff ARP Who has 10.128.1.77?  Tell 10.128.0.142

2019-12-17 11:45:55.807829 00:de:fb:a9:37:e1 -> ff:ff:ff:ff:ff:ff ARP Who has 10.128.1.77?  Tell 10.128.0.142

이 VLAN 1 IP가 있는 사람을 물어본 다음 관리 VLAN 10의 게이트웨이를 알려 주는 것이 정상적인 동작입니다.

그러나 VLAN 1의 IP 범위가 ping되면 ARP는 해당 IP가 있는 사람과 10.128.0.142에게 다음과 같이 묻습니다.

- 이는 테스트된 다른 모든 IP와 마찬가지로 "Tell 10.128.10.1"이어야 합니다.

- 10.128.0.x 서브넷 또는 IP 주소도 인식하지 못합니다.

이는 FI가 UCS 도메인을 조사하는 동안 이 IP 주소가 서버 1/5의 CIMC에 적용된 것으로 확인되었다고 10.128.0.142에 밝힌 이유입니다.

EWQLOVIUCS02-B(local-mgmt)# show mgmt-ip-debug ip-tables

<SNIPPED>

Chain PREROUTING (policy ACCEPT 5303K packets, 360M bytes)

pkts bytes target     prot opt in     out     source               destination

188  9776 cimcnat    tcp  --  *      *       0.0.0.0/0            0.0.0.0/0           tcp dpt:443

0     0 cimcnat    tcp  --  *      *       0.0.0.0/0            0.0.0.0/0           tcp dpt:80

0     0 DNAT       icmp --  *      *       0.0.0.0/0            10.128.10.85        to:127.6.1.1

0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.85        tcp dpt:2068 to:127.6.1.1:2068

0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.10.85        udp dpt:623 to:127.6.1.1:623

0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.85        tcp dpt:22 to:127.6.1.1:22

449 26940 DNAT       icmp --  *      *       0.0.0.0/0            10.128.10.108       to:127.6.1.2

0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.108       tcp dpt:2068 to:127.6.1.2:2068

0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.10.108       udp dpt:623 to:127.6.1.2:623

0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.108       tcp dpt:22 to:127.6.1.2:22

931 55860 DNAT       icmp --  *      *       0.0.0.0/0            10.128.10.107       to:127.6.1.3

0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.107       tcp dpt:2068 to:127.6.1.3:2068

0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.10.107       udp dpt:623 to:127.6.1.3:623

0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.107       tcp dpt:22 to:127.6.1.3:22

0     0 DNAT       icmp --  *      *       0.0.0.0/0            10.128.10.104       to:127.6.1.3

0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.104       tcp dpt:2068 to:127.6.1.3:2068

0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.10.104       udp dpt:623 to:127.6.1.3:623

0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.104       tcp dpt:22 to:127.6.1.3:22

920 55200 DNAT       icmp --  *      *       0.0.0.0/0            10.128.10.106       to:127.6.1.4

0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.106       tcp dpt:2068 to:127.6.1.4:2068

0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.10.106       udp dpt:623 to:127.6.1.4:623

0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.106       tcp dpt:22 to:127.6.1.4:22

912 54720 DNAT       icmp --  *      *       0.0.0.0/0            10.128.10.105       to:127.6.1.6

0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.105       tcp dpt:2068 to:127.6.1.6:2068

0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.10.105       udp dpt:623 to:127.6.1.6:623

0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.105       tcp dpt:22 to:127.6.1.6:22

0     0 DNAT       icmp --  *      *       0.0.0.0/0            10.128.0.142        to:127.6.1.5     <<---- Indicates that 10.128.0.142 is the OOB KVM IP address for server 1/5.

0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.0.142        tcp dpt:2068 to:127.6.1.5:2068

0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.0.142        udp dpt:623 to:127.6.1.5:623

0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.0.142        tcp dpt:22 to:127.6.1.5:22

910 54600 DNAT       icmp --  *      *       0.0.0.0/0            10.128.10.102       to:127.6.1.7

0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.102       tcp dpt:2068 to:127.6.1.7:2068

0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.10.102       udp dpt:623 to:127.6.1.7:623

0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.102       tcp dpt:22 to:127.6.1.7:22

908 54480 DNAT       icmp --  *      *       0.0.0.0/0            10.128.10.101       to:127.6.1.8

0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.101       tcp dpt:2068 to:127.6.1.8:2068

0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.10.101       udp dpt:623 to:127.6.1.8:623

0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.101       tcp dpt:22 to:127.6.1.8:22

<SNIPPED>

근본 원인

서버 1/5의 잘못된 고정 CIMC IP 주소가 문제가 되었습니다.

또한 255.255.248.0의 서브넷에 저장되었습니다.

이로 인해 패브릭 인터커넥트의 경로 테이블에 원치 않는 항목이 생성되었습니다.10.128.0.1 - 10.128.7.254 범위의 모든 IP에 대한 기본 경로에 도달하기 전에 조건을 충족시키는 것

Linux(debug)# route -n

Kernel IP routing table

Destination     Gateway         Genmask         Flags Metric Ref    Use Iface

10.128.10.0     0.0.0.0         255.255.255.0   U     0      0        0 eth0

127.15.1.0      0.0.0.0         255.255.255.0   U     0      0        0 vlan4042

127.7.0.0       0.0.0.0         255.255.0.0     U     0      0        0 vlan4043

127.5.0.0       0.0.0.0         255.255.0.0     U     0      0        0 vlan4044

127.14.0.0      0.0.0.0         255.255.0.0     U     0      0        0 vlan4046

127.12.0.0      0.0.0.0         255.255.0.0     U     0      0        0 bond0

127.9.0.0       0.0.0.0         255.255.0.0     U     0      0        0 vlan4047

10.0.0.0        0.0.0.0         255.0.0.0       U     0      0        0 eth0      <<---- Undesired route entry

10.0.0.0        0.0.0.0         255.0.0.0       U     0      0        0 eth0      <<---- Undesired route entry

0.0.0.0         10.128.10.1     0.0.0.0         UG    0      0        0 eth0

솔루션

이 경우 해결책은 영향을 받지 않는 IP 범위에서 UCSM을 탐색하고 서버 1/5의 OOB(CIMC Out of Band) 고정 주소를 수정하는 것입니다.OOB 관리 풀에서 가져오며 이미 설정되어 있습니다.환경의 다른 모든 서버와 마찬가지로 사용해야 합니다.

추가 정보

Fabric Interconnect가 리부팅되면 종종 작동합니다.해당 서버의 관리 인스턴스에 문제가 있습니다.원하지 않는 경로 테이블 항목은 패브릭 인터커넥트에서만 생성됩니다.관리 인스턴스가 Primary Fabric Interconnect와 동일한 Fabric Interconnect인 경우 VIP 또는 Fabric Interconnect에 연결할 수 없습니다.

CIMC 관리 IP 할당은 항상 Fabric Interconnect의 OOB IP 범위와 동일한 IP 범위 내에 있어야 합니다.

관련 정보

- Cisco UCS Manager 관리 가이드 3.1

- 기술 지원 및 문서 − Cisco Systems