UCSファブリックインターコネクト管理インターフェイスに断続的な接続の問題がある

ダウンロード オプション

  • PDF     (180.7 KB)
    Adobe Reader を使ってさまざまなデバイスで表示
  • ePub     (80.5 KB)
    iPhone、iPad、Android、ソニーの Reader、または Windows Phone 上で、さまざまなアプリを使って表示
  • Mobi (Kindle)     (69.1 KB)
    Kindle デバイスで、または Kindle アプリを使って複数のデバイスで表示
Updated: 2020 年 2 月 21 日
Document ID:215278

偏向のない言語

この製品のドキュメントセットは、偏向のない言語を使用するように配慮されています。このドキュメントセットでの偏向のない言語とは、年齢、障害、性別、人種的アイデンティティ、民族的アイデンティティ、性的指向、社会経済的地位、およびインターセクショナリティに基づく差別を意味しない言語として定義されています。製品ソフトウェアのユーザインターフェイスにハードコードされている言語、RFP のドキュメントに基づいて使用されている言語、または参照されているサードパーティ製品で使用されている言語によりドキュメントに例外が存在する場合があります。シスコのインクルーシブ ランゲージの取り組みの詳細は、こちらをご覧ください。

翻訳について

シスコは世界中のユーザにそれぞれの言語でサポート コンテンツを提供するために、機械と人による翻訳を組み合わせて、本ドキュメントを翻訳しています。ただし、最高度の機械翻訳であっても、専門家による翻訳のような正確性は確保されません。シスコは、これら翻訳の正確性について法的責任を負いません。原典である英語版（リンクからアクセス可能）もあわせて参照することを推奨します。

    概要

    このドキュメントでは、UCS Fabric Interconnect Management(Mgmt)インターフェイスで、特定のIP範囲との通信で断続的な接続問題が発生した方法について説明します。 

    前提条件

    要件

    次の項目に関する知識があることが推奨されます。

    • Unified Computing Systems Manager(UCSM)ソフトウェア
    • Unified Computing System(UCS)ネットワーキング

    使用するコンポーネント

    このドキュメントの情報は、次のソフトウェアとハードウェアのバージョンに基づいています。

    • 6200 FI
    • UCS Manager 4.0

    このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、初期（デフォルト）設定の状態から起動しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。

    問題：UCSファブリックインターコネクト管理インターフェイスに断続的な接続の問題がある。

    UCSファブリックインターコネクト管理インターフェイスの接続が断続的に失われますが、通信が特定のIP範囲を超えている場合にのみ失われます。VLAN 10のIP範囲10.128.10.0/24は、ファブリックインターコネクト(FI)管理インターフェイスおよび仮想IP(VIP)に使用されます。 VLAN 1のIP範囲である10.128.1.0/24との通信がFIとの間で切断される。したがって、VLAN 1のIP範囲のどのデバイスもUCSMに接続できず、1つのFI IPにのみpingを実行できます。  少なくとも1つのFI IP（3つのFI-A、FI-B、VIPから）は常に通信できます。

    トポロジ

    VLAN 10のファブリックインターコネクトIP

    FI-A: 10.128.10.84

FI-B: 10.128.10.85

VIP:  10.128.10.86

GW: 10.128.10.1

    VLAN 1での問題のあるデバイス通信

    Subnet 10.128.1.0/24

GW: 10.128.1.1

    トラブルシュート

    両方のFabric Interconnectのlocal-mgmtコンテキストから、デフォルト(df)ゲートウェイ(gw)10.128.10.1に到達できますが、VLAN 1 IP範囲10.128.1.0/24のIPアドレスは、Fabric Interconnect local-mgmtコンテキストに到達できないか、またはFabric Interconnect local-mgmtコンテキストから到達できません。

    最初は、これはUCSの問題ではなく、ゲートウェイでのルーティングの問題のように見えます。これは、ファブリックインターコネクトの管理インターフェイスであり、ゲートウェイやその他のIP範囲に到達できるためです。これは、アップストリームネットワークのレイヤ3ルートの問題として表示されます。 

    tracerouteがFabric InterconnectからランダムなIP範囲（およびVLAN 1の範囲内にない他のIP範囲）に実行されている場合（たとえば、VLAN 20からのIP）:10.128.20.1)、tracerouteの最初のホップはVLAN 10のゲートウェイ10.128.10.1で、pingは成功します。

    tracerouteが既知の問題のあるIP範囲10.128.1.x/24まで実行されると、tracerouteは失敗します。

    • これは、UCS側で調査する理由になります。 
    • これは失敗したわけではなく、ファーストホップは管理インターフェイスのdf gw、10.128.10.1である必要があります。これは、テスト済みの10個の他のIPのうち、VLAN 10 IP範囲外で、VLAN 1 IP範囲外の場合と同様です。 

    さらに調査するには、ethanalyzerを実行して何が起こっているかを確認し、VLAN 1のIP範囲にpingを実行すると、ARPが次のように動作します。

    EWQLOVIUCS02-A(nxos)# ethanalyzer local interface mgmt display-filter arp limit-captured-frames 0

Capturing on eth0

2019-12-17 11:45:50.807837 00:de:fb:a9:37:e1 -> ff:ff:ff:ff:ff:ff ARP Who has 10.128.1.77?  Tell 10.128.0.142

2019-12-17 11:45:51.807835 00:de:fb:a9:37:e1 -> ff:ff:ff:ff:ff:ff ARP Who has 10.128.1.77?  Tell 10.128.0.142

2019-12-17 11:45:52.807827 00:de:fb:a9:37:e1 -> ff:ff:ff:ff:ff:ff ARP Who has 10.128.1.77?  Tell 10.128.0.142

2019-12-17 11:45:55.807829 00:de:fb:a9:37:e1 -> ff:ff:ff:ff:ff:ff ARP Who has 10.128.1.77?  Tell 10.128.0.142

    想定される動作は、このVLAN 1 IPを持つユーザに問い合わせてから、mgmt VLAN 10のゲートウェイに伝えることでした。

    ただし、VLAN 1のIP範囲にpingを実行すると、ARPはそのIPを持っているユーザに問い合わせて、10.128.0.142に通知するには、次の手順を実行します。

    • これは、他のすべてのテスト済みIPと同じように「Tell 10.128.10.1」になるはずです。
    • 10.128.0.xのサブネットやIPアドレスも認識しません。

    これは、UCSドメインの調査中にFIが10.128.0.142と通知する問題であり、このIPアドレスがサーバ1/5のCIMCに適用されていることが判明しました。

    EWQLOVIUCS02-B(local-mgmt)# show mgmt-ip-debug ip-tables

<SNIPPED>

Chain PREROUTING (policy ACCEPT 5303K packets, 360M bytes)

pkts bytes target     prot opt in     out     source               destination

  188  9776 cimcnat    tcp  --  *      *       0.0.0.0/0            0.0.0.0/0           tcp dpt:443

    0     0 cimcnat    tcp  --  *      *       0.0.0.0/0            0.0.0.0/0           tcp dpt:80

    0     0 DNAT       icmp --  *      *       0.0.0.0/0            10.128.10.85        to:127.6.1.1

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.85        tcp dpt:2068 to:127.6.1.1:2068

    0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.10.85        udp dpt:623 to:127.6.1.1:623

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.85        tcp dpt:22 to:127.6.1.1:22

  449 26940 DNAT       icmp --  *      *       0.0.0.0/0            10.128.10.108       to:127.6.1.2

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.108       tcp dpt:2068 to:127.6.1.2:2068

    0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.10.108       udp dpt:623 to:127.6.1.2:623

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.108       tcp dpt:22 to:127.6.1.2:22

  931 55860 DNAT       icmp --  *      *       0.0.0.0/0            10.128.10.107       to:127.6.1.3

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.107       tcp dpt:2068 to:127.6.1.3:2068

    0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.10.107       udp dpt:623 to:127.6.1.3:623

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.107       tcp dpt:22 to:127.6.1.3:22

    0     0 DNAT       icmp --  *      *       0.0.0.0/0            10.128.10.104       to:127.6.1.3

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.104       tcp dpt:2068 to:127.6.1.3:2068

    0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.10.104       udp dpt:623 to:127.6.1.3:623

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.104       tcp dpt:22 to:127.6.1.3:22

  920 55200 DNAT       icmp --  *      *       0.0.0.0/0            10.128.10.106       to:127.6.1.4

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.106       tcp dpt:2068 to:127.6.1.4:2068

    0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.10.106       udp dpt:623 to:127.6.1.4:623

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.106       tcp dpt:22 to:127.6.1.4:22

  912 54720 DNAT       icmp --  *      *       0.0.0.0/0            10.128.10.105       to:127.6.1.6

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.105       tcp dpt:2068 to:127.6.1.6:2068

    0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.10.105       udp dpt:623 to:127.6.1.6:623

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.105       tcp dpt:22 to:127.6.1.6:22



    0     0 DNAT       icmp --  *      *       0.0.0.0/0            10.128.0.142        to:127.6.1.5     <<---- Indicates that 10.128.0.142 is the OOB KVM IP address for server 1/5.



    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.0.142        tcp dpt:2068 to:127.6.1.5:2068

    0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.0.142        udp dpt:623 to:127.6.1.5:623

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.0.142        tcp dpt:22 to:127.6.1.5:22

  910 54600 DNAT       icmp --  *      *       0.0.0.0/0            10.128.10.102       to:127.6.1.7

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.102       tcp dpt:2068 to:127.6.1.7:2068

    0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.10.102       udp dpt:623 to:127.6.1.7:623

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.102       tcp dpt:22 to:127.6.1.7:22

  908 54480 DNAT       icmp --  *      *       0.0.0.0/0            10.128.10.101       to:127.6.1.8

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.101       tcp dpt:2068 to:127.6.1.8:2068

    0     0 DNAT       udp  --  *      *       0.0.0.0/0            10.128.10.101       udp dpt:623 to:127.6.1.8:623

    0     0 DNAT       tcp  --  *      *       0.0.0.0/0            10.128.10.101       tcp dpt:22 to:127.6.1.8:22

<SNIPPED>

    根本原因

    この問題は、サーバ1/5のスタティックCIMC IPアドレスの入力ミスです。 

    さらに、255.255.248.0のサブネットに配置されました

    これにより、Fabric Interconnectのルートテーブルに不要なエントリが作成されました。10.128.0.1 ～ 10.128.7.254の範囲のすべてのIPのデフォルトルートに到達する前に条件を満たすIPアドレス

    Linux(debug)# route -n

Kernel IP routing table

Destination     Gateway         Genmask         Flags Metric Ref    Use Iface

10.128.10.0     0.0.0.0         255.255.255.0   U     0      0        0 eth0

127.15.1.0      0.0.0.0         255.255.255.0   U     0      0        0 vlan4042

127.7.0.0       0.0.0.0         255.255.0.0     U     0      0        0 vlan4043

127.5.0.0       0.0.0.0         255.255.0.0     U     0      0        0 vlan4044

127.14.0.0      0.0.0.0         255.255.0.0     U     0      0        0 vlan4046

127.12.0.0      0.0.0.0         255.255.0.0     U     0      0        0 bond0

127.9.0.0       0.0.0.0         255.255.0.0     U     0      0        0 vlan4047

10.0.0.0        0.0.0.0         255.0.0.0       U     0      0        0 eth0      <<---- Undesired route entry

10.0.0.0        0.0.0.0         255.0.0.0       U     0      0        0 eth0      <<---- Undesired route entry

0.0.0.0         10.128.10.1     0.0.0.0         UG    0      0        0 eth0

    解決方法

    この場合の解決策は、影響を受けないIP範囲からUCSMをブラウズし、正しいサーバ1/5のCIMCアウトオブバンド(OOB)スタティックアドレスを使用することです。OOB管理プールから取得され、すでにセットアップされています。環境内の他のすべてのサーバと同様に使用する必要があります。 

    追加情報

    ファブリックインターコネクトがリブートされると、動作する場合があります。問題は、そのサーバの管理インスタンスにあります。不要なルートテーブルエントリは、Fabric Interconnectでのみ作成されます。管理インスタンスがプライマリファブリックインターコネクトと同じファブリックインターコネクトであった場合、VIPまたはそのファブリックインターコネクトに到達できません。 

    CIMC管理IP割り当ては、ファブリックインターコネクトのOOB IP範囲と常に同じIP範囲内である必要があります。 

    関連情報

    TAC Authored

    シスコ エンジニア提供

    • Neil Martin
      Cisco TAC Engineer

    このドキュメントは役に立ちましたか?

    Feedbackフィードバック

    シスコに問い合わせ

    このドキュメントは次の製品に対応しています