소개

이 문서에서는 LOM(Shared LAN On Motherboard)을 사용할 때 발생하는 ping 문제에 대해 설명합니다.

배경 정보

Nexus Dashboard(ND)의 초기 구축 시, 동일한 노드의 CIMC(Cisco Integrated Management Controller)와 ND OS가 서로 ping할 수 없는 알려진 문제가 있습니다.

동일한 노드에서 CIMC - OS 연결에 대한 ND 구축 관련 요구 사항이 없다는 점을 고려하여 이 문서에서 설명하는 내용은 연결 동작 관련 문제를 해결할 때 참조로 제공됩니다.

공유 LOM이란?

공유 LOM을 사용할 경우, ND의 초기 구축 시 동일한 노드의 CIMC와 ND OS가 서로 ping할 수 없고 ping 문제의 특정 패턴이 있는 특정 문제가 발생할 수 있습니다.

공유 LOM에는 활성/대기 모드 및 활성/활성 모드가 있습니다. CIMC GUI - 섹션에서 변경할 수 Admin > Networking > Network (tab) > NIC Properties (section) 있습니다. 활성 포트와 대기 포트는 모두 패킷을 수신할 수 있지만 활성 포트만 패킷을 전송할 수 있습니다.

CIMC NIC 이중화 모드

내부 CIMC 포트는 2개입니다. 여기에서 이름을 CIMC#1 및 CIMC#2로 지정합니다. 공유 LOM 액티브/스탠바이 모드를 사용하는 경우 패킷은 액티브 CIMC 포트를 통해서만 전송됩니다. 그러나 활성/활성 공유 모드에서는 두 CIMC 내부 포트 모두 패킷을 보내고 받을 수 있습니다.

ICMP 응답 전송 포트는 포트 간에 주기적으로 번갈아 사용됩니다. ARP의 경우 하나의 포트를 통해서만 회신을 보낼 수 있습니다. 이는 발신자의 IP/MAC 주소에 따라 다릅니다. 이 동작은 포트 채널 로드 밸런싱과 유사합니다.

이 경우 CIMC 전용 모드에서는 CIMC MAC 주소가 C0으로 종료됩니다. CIMC Shared-LOM이 Active/Active 모드에 있는 경우 CIMC#1의 MAC 주소는 c1로 끝나고 CIMC#2는 c2로 끝납니다.

CIMC 동작의 주요 내용:

· ARP 회신은 하나의 활성 CIMC 포트를 통해서만 전송 가능

· ICMP 회신은 2개의 활성 CIMC 포트 간에 주기적으로 번갈아 가며 사용할 수 있습니다.

ND OS 연결 모드

Nexus Dashboard OS를 관리 포트로 사용하는 물리적 포트 eth1-1, eth1-2가 2개 있습니다. ND OS 레벨에는 mgmt0과 mgmt1이라는 두 개의 포트도 있지만 액티브/스탠바이 모드로만 작동합니다. CIMC 스탠드 포트와 달리 OS 스탠바이 포트는 패킷을 보내거나 받을 수 없습니다. 패킷이 스탠바이 OS 포트에 도착하면 폐기됩니다. 관리 포트의 Mac 주소는 C6으로 끝납니다. 명령을 통해 활성 포트를 확인할 수 있습니다.

root@pND1:~# cat /proc/net/bonding/bond1        <<<

Ethernet Channel Bonding Driver: version 5.15.68.5
Bonding Mode: fault-tolerance (active-backup)
Primary Slave: None
Currently Active Slave: mgmt1      <<<
MII Status: up
MII Polling Interval (ms): 60
Up Delay (ms): 0
Down Delay (ms): 0
Peer Notification Delay (ms): 0

Slave Interface: mgmt1
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 1
Permanent HW addr: ec:01:d5:70:0d:c7
Slave queue ID: 0

Slave Interface: mgmt0
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: ec:01:d5:70:0d:c6
Slave queue ID: 0

내부 구조 및 패킷 전송 동작

다음은 랩 테스트를 기반으로 ND OS 포트 및 CIMC 포트를 포함한 ASIC의 내부 구조입니다.

패킷 전송 동작:

· 관리에서 전송된 브로드캐스트가 두 CIMC 내부 포트에 모두 도달함

     예를 들어 mgmt0에서 보낸 ARP 요청(브로드캐스트)은 내부 경로를 통해 CIMC#1로 전송되며, L2를 통해 CIMC#2로 전송됩니다.

·관리 또는 CIMC에서 전송된 유니캐스트는 내부 경로 내에서만 전송 가능

    예를 들어 mgmt1이 활성 포트인 경우에도 CIMC#2에서 전송된 ARP 회신(유니캐스트)은 mgmt1로 전송됩니다.

Ping 문제 패턴

참고: 이 섹션에 소개된 동작은 물리적 포트 eth1-1과 eth1-2가 모두 링크된다는 전제 조건을 기반으로 합니다. 링크가 하나만 연결된 경우 Ping 문제가 표시되지 않습니다.

1. 공유 LOM 모드:액티브/스탠바이

   1-1 . ND OS active 및 CIMC active는 동일한 포트임

           알겠습니다.

   1-2 . ND OS active 및 CIMC active는 서로 다른 포트임

           Ping NG. ARP 응답이 관리 대기 포트에서 수신되어 ping 오류가 발생합니다.



2. 공유 LOM 모드: 활성/활성

   2-1 . ND OS 활성 및 CIMC arp 응답 포트가 동일한 포트

           Ping 성공 및 Ping 실패는 주기적으로 확인할 수 있습니다. 

   2-2 . ND OS 활성 및 CIMC arp 응답 포트는 다른 포트임

           Ping NG. ARP 응답이 관리 대기 포트에서 수신되어 ping 오류가 발생합니다.

자세한 내용은 이 비디오를 참조하십시오.