Inhalt

Einleitung

Hintergrundinformationen

Voraussetzungen

Verwendete Komponenten

Verwendete Netzwerkkarten

Überprüfen, ob sich die Netzwerkkarte nicht im DPU-Modus befindet

Schritt 1: Identifizieren von PCIe-Adressen

Phase 2: Überprüfen der Netzwerkkartenkonfiguration

Schritt 3: In NIC-Modus konvertieren

Schritt 4: Neustarten und Überprüfen der Konfiguration

Konfigurieren von LACP

Schritt 1: Neue NetPlan-Konfigurationsdatei erstellen

Phase 2: Anwenden der Konfiguration

Überprüfung

1. Überprüfen Sie die Netzwerkschnittstellendetails.

2. Bonding-Details bestätigen

Fehlerbehebung

Zugehörige Informationen

Einleitung

Dieses Dokument beschreibt die Konfiguration von LACP mit Netplan auf dem C885A-M8 Server.

Hintergrundinformationen

Von BMC aus können keine Änderungen auf der Netzwerkseite vorgenommen werden. Alle Änderungen müssen von OS Guest vorgenommen werden.

Voraussetzungen

Verwendete Komponenten

UCS C885A M8 Rack-Server

PID: UCSC-885A-M8-H11

Firmware-Version: 1.0.28

Nexus Switches der Serie 9000

Ubuntu 22.04.5 LTS

Verwendete Netzwerkkarten

BlueField-3 P-Serie DPU 400GbE/NDR VPI Dual-Port

BlueField-3 E-Serie SuperNIC 400GbE/NDR Single Port

Intel(R) Ethernet-Netzwerkadapter X710-T2L für OCP 3.0

Die Informationen in diesem Dokument beziehen sich auf Geräte in einer speziell eingerichteten Testumgebung. Alle Geräte, die in diesem Dokument benutzt wurden, begannen mit einer gelöschten (Nichterfüllungs) Konfiguration. Wenn Ihr Netzwerk in Betrieb ist, stellen Sie sicher, dass Sie die möglichen Auswirkungen aller Befehle kennen.

Überprüfen, ob sich die Netzwerkkarte nicht im DPU-Modus befindet

Um die ordnungsgemäße Funktion sicherzustellen, stellen Sie sicher, dass sich die Netzwerkkarte nicht im DPU-Modus befindet. Das Link Aggregation Control Protocol (LACP) wird nicht unterstützt, wenn sich die Netzwerkkarte im DPU-Modus befindet. Falls erforderlich, wandeln Sie es in den NIC-Modus um.

Schritt 1: Identifizieren von PCIe-Adressen

Führen Sie den Befehl aus, um die PCIe-Adressen für die gewünschten Ports aufzulisten:

cisco-tac@C885A-M8:~$ sudo mst start

Starting MST (Mellanox Software Tools) driver set

Loading MST PCI module - Success

Loading MST PCI configuration module - Success

Create devices

Unloading MST PCI module (unused) - Success

Anmerkung: Dies ist nicht erforderlich, kann jedoch bei der Bestimmung des richtigen Geräts helfen, wenn Änderungen mit mlxconfig vorgenommen werden

cisco-tac@C885A-M8:~$ sudo mst status -v

MST modules:

------------

MST PCI module is not loaded

MST PCI configuration module loaded

PCI devices:

------------

DEVICE_TYPE MST PCI RDMA NET NUMA

BlueField3(rev:1) /dev/mst/mt41692_pciconf9 f1:00.0 mlx5_6 net-ens205f0 1

BlueField3(rev:1) /dev/mst/mt41692_pciconf8 c5:00.0 mlx5_7 net-ens206f0 1

BlueField3(rev:1) /dev/mst/mt41692_pciconf7 a4:00.0 mlx5_11 net-ens208f0 1

BlueField3(rev:1) /dev/mst/mt41692_pciconf6 97:00.0 mlx5_10 net-ens207f0 1

BlueField3(rev:1) /dev/mst/mt41692_pciconf5.1 91:00.1 mlx5_9 net-ens214f1np1 1

BlueField3(rev:1) /dev/mst/mt41692_pciconf5 91:00.0 mlx5_8 net-ens214f0np0 1

BlueField3(rev:1) /dev/mst/mt41692_pciconf4 69:00.0 mlx5_0 net-ens202f0 0

BlueField3(rev:1) /dev/mst/mt41692_pciconf3 4b:00.0 mlx5_3 net-ens201f0 0

BlueField3(rev:1) /dev/mst/mt41692_pciconf2.1 45:00.1 mlx5_2 net-ens214f1np1 0

BlueField3(rev:1) /dev/mst/mt41692_pciconf2 45:00.0 mlx5_1 net-ens211f0np0 0

BlueField3(rev:1) /dev/mst/mt41692_pciconf1 2b:00.0 mlx5_5 net-ens203f0 0

BlueField3(rev:1) /dev/mst/mt41692_pciconf0 09:00.0 mlx5_4 net-ens204f0 0

Dieser Befehl bietet eine detaillierte Liste der Geräte, mit denen Sie die entsprechenden MST- und PCI-Bezeichner identifizieren können.

In diesem Szenario werden NET-net-ens214f1np1 und NET-net-ens211f0np0 verwendet.

Phase 2: Überprüfen der Netzwerkkartenkonfiguration

Überprüfen Sie mit der angegebenen MST- oder PCI-Kennung die aktuelle NIC-Konfiguration mit einem der folgenden Befehle:

sudo mlxconfig -d 0000:<PCI_ID> -e q | grep 'INTERNAL_CPU_MODEL\|EXP_ROM_UEFI_ARM_ENABLE\|INTERNAL_CPU_OFFLOAD_ENGINE'

Oder

sudo mlxconfig -d /dev/<MST_DEVICE> -e q | grep 'INTERNAL_CPU_MODEL\|EXP_ROM_UEFI_ARM_ENABLE\|INTERNAL_CPU_OFFLOAD_ENGINE'

cisco-tac@C885A-M8:~$ sudo sudo mlxconfig -d dev/mst/mt41692_pciconf1 -e q | grep \ 'INTERNAL_CPU_MODEL\|EXP_ROM_UEFI_ARM_ENABLE\|INTERNAL_CPU_OFFLOAD_ENGINE'

Configurations: Default Current Next Boot

INTERNAL_CPU_MODEL EMBEDDED_CPU(1) EMBEDDED_CPU(1) EMBEDDED_CPU(1)

INTERNAL_CPU_OFFLOAD_ENGINE ENABLED(0) ENABLED(0) ENABLED(0)

EXP_ROM_UEFI_ARM_ENABLE True(1) True(1) True(1)

Anmerkung: Das CPU-Modell und die ARM UEFI-Aktivierungsvariablen bestätigen uns, dass die Karte DPU-fähig ist

Im obigen Beispiel:

INTERNAL_CPU_OFFLOAD_ENGINE ist für die aktuelle und die nächste Boot-Konfiguration auf ENABLED\(0\) gesetzt.

Dies zeigt an, dass die Netzwerkkarte derzeit im DPU-Modus betrieben wird und in den Netzwerkkartenmodus konvertiert werden muss, um die LACP-Konfiguration fortzusetzen.

Schritt 3: In NIC-Modus konvertieren

Führen Sie den folgenden Befehl aus, um die Netzwerkkarte in den Netzwerkkarten-Modus zu konvertieren:

sudo mlxconfig -d 0000:<PCI_ID> s INTERNAL_CPU_OFFLOAD_ENGINE=0

cisco-tac@C885A-M8:~$ sudo mlxconfig -d 0000:45:00.0 s INTERNAL_CPU_OFFLOAD_ENGINE=0

Device #1:

----------

Device type: BlueField3

Name: 900-9D3B6-00SN-A_Ax

Description: NVIDIA BlueField-3 B3240 P-Series Dual-slot FHHL DPU; 400GbE / NDR IB (default mode); Dual-port QSFP112; PCIe Gen5.0 x16 with x16 PCIe extension option; 16 Arm cores; 32GB on-board DDR; integrated BMC; Crypto Disabled

Device: 0000:45:00.0

Configurations: Next Boot New

INTERNAL_CPU_OFFLOAD_ENGINE ENABLED(0) DISABLED(1)

Apply new Configuration? (y/n) [n] : y

Applying... Done!

-I- Please reboot machine to load new configurations.

cisco-tac@C885A-M8:~$ sudo init 0

Anmerkung: Mit sudo init 0 wird der Host heruntergefahren, um sicherzustellen, dass die Konfiguration entsprechend geladen wird.

Schritt 4: Neustarten und Überprüfen der Konfiguration

Nach dem Ausführen des Befehls sudo init 0 wird das Hostsystem heruntergefahren. Verwenden Sie den BMC (Baseboard Management Controller), um das Host-Betriebssystem neu zu starten.

Wenn das System wieder online ist, überprüfen Sie, ob die Konfigurationsänderungen erfolgreich angewendet wurden, indem Sie die gleichen Überprüfungsbefehle wie oben gezeigt ausführen:

sudo mlxconfig -d 0000:<PCI_ID> -e q | grep 'INTERNAL_CPU_MODEL\|EXP_ROM_UEFI_ARM_ENABLE\|INTERNAL_CPU_OFFLOAD_ENGINE'

Oder

sudo mlxconfig -d /dev/<MST_DEVICE> -e q | grep 'INTERNAL_CPU_MODEL\|EXP_ROM_UEFI_ARM_ENABLE\|INTERNAL_CPU_OFFLOAD_ENGINE'

Wenn die Konfiguration erfolgreich angewendet wurde, können Sie die gewünschte Port-Channel-, Bond- oder LAG-Konfiguration erstellen.

Konfigurieren von LACP

Schritt 1: Neue NetPlan-Konfigurationsdatei erstellen

Der aktuelle Standard für die Konfiguration von Ubuntu-Schnittstellen ist Netplan. Überprüfen Sie zunächst die vorhandenen NetPlan YAML-Konfigurationsdateien, indem Sie Folgendes ausführen:

ls /etc/netplan/

Standardmäßig befindet sich im Verzeichnis /etc/netplan/ nur eine YAML-Datei. Die NetPlan-Konfigurationsdateien verwenden die Namenskonvention #-<relevanter Name>.yaml, wobei ## eine Zahl zwischen 01 und 99 ist. Beachten Sie, dass Konfigurationsdateien mit niedrigeren Nummern bei Konflikten durch Dateien mit höheren Nummern überschrieben werden.

Um sicherzustellen, dass Ihre Änderungen dauerhaft und organisiert sind, wird empfohlen, eine neue YAML-Datei zu erstellen, anstatt die Standarddatei zu bearbeiten. Wenn Sie die Standarddatei ändern, besteht die Gefahr, dass die Änderungen nach einem Neustart nicht mehr bestehen. Für dieses Handbuch erstellen wir eine neue Datei mit dem Namen

51-lacp-config.yaml

Um die neue Datei zu erstellen, verwenden Sie den folgenden Befehl:

sudo nano /etc/netplan/51-lacp-config.yaml

Stellen Sie sicher, dass Ihre Dateinummerierung nicht mit vorhandenen Dateien kollidiert und die richtige Hierarchie verwendet, um unerwartetes Verhalten zu vermeiden.

Dies ist ein Beispiel einer Netplan YAML-Konfigurationsdatei (51-lacp-config.yaml) für die Einrichtung von LACP mit VLANs.

cisco-tac@C885A-M8:~$ cat /etc/netplan/51-lacp-config.yaml

network:

ethernets:

ens211f0np0:

mtu: 9000

ens211f1np1:

mtu: 9000

bonds:

bond0:

mtu: 9000

dhcp4: false

dhcp6: false

interfaces:

- ens211f0np0

- ens211f1np1

parameters:

mode: 802.3ad

mii-monitor-interval: 100

vlans:

bond0.2001:

id: 2001

link: bond0

Wert

Erwägung

Anmerkungen

MTU-Einstellungen

Für ens211f0np0 und ens211f1np1 ist die MTU auf 9000 festgelegt.

Es wird empfohlen, die MTU auf den höchsten Wert festzulegen, der erforderlich ist, um potenzielle MTU-Probleme in Zukunft zu vermeiden. Geben Sie immer dann MTU an, wenn Sie eine Schnittstelle erwähnen.

LACP-Modus

Der Parameter mode ist auf 802.3ad gesetzt

Dies ist der erforderliche Modus für LACP. Es sind andere Verbindungsmodi verfügbar, die jedoch nicht für LACP geeignet sind.

VLAN-Konfiguration

Im Abschnitt bond0.2001 wird eine Subschnittstelle zum Senden mehrerer VLANs über die Bindung erstellt.

Das Feld "id" gibt die VLAN-ID an (in diesem Fall 2001).

Das Verknüpfungsfeld verknüpft die Subschnittstelle mit der verbundenen Schnittstelle (bond0).

Wenn Sie mehrere Bindungen in derselben YAML-Datei haben, wird sichergestellt, dass die richtige Konfiguration auf die richtige Bindung angewendet wird.

IP-Adresse und Routen

Das Adressfeld gibt die IP-Adresse und die Subnetzmaske für das VLAN an (Beispiel: 10.10.200.33/27).

Im Routen-Abschnitt können Sie alle Routen definieren, die von dieser Schnittstelle verarbeitet werden. Obwohl das Beispiel die Route für 10.10.200.32/27 enthält, ist sie in dieser Übung redundant, veranschaulicht jedoch das Hinzufügen mehrerer Routen

DNS-Server

Im Abschnitt "Nameserver" können Sie DNS-Server (Adressen) und Suchdomänen (Suche) angeben

DNS-Serverdetails müssen auf Basis der Arbeitsumgebung bereitgestellt werden.

MTU für VLAN

Das mtu-Feld in der VLAN-Konfiguration ist auf 9000 festgelegt.

Sie können bei Bedarf verschiedene MTU-Werte pro VLAN konfigurieren.

Versionsfeld

Das Versionsfeld am Ende der Datei kann eingeschlossen und auf 2 festgelegt werden.

Stellen Sie sicher, dass diese mit zwei Leerzeichen eingerückt ist, um die YAML-Syntax beizubehalten.

Phase 2: Anwenden der Konfiguration

Führen Sie zum Anwenden der neuen Konfiguration die folgenden Schritte aus:

sudo netplan apply

Wenn Sie auf Berechtigungswarnungen stoßen, passen Sie die Dateiberechtigungen an:

sudo chmod 600 /etc/netplan/51-lacp-config.yaml

sudo netplan apply

cisco-tac@C885A-M8:~$ sudo netplan apply

** (generate:140701): WARNING **: 17:10:58.313: Permissions for /etc/netplan/51-lacp-config.yaml are too open. Netplan configuration should NOT be accessible by others.

cisco-tac@C885A-M8:~$ ls -l /etc/netplan/

total 16

-rw------- 1 root root 869 Apr 24 14:26 50-cloud-init.yaml

-rw-r--r-- 1 root root 586 Apr 25 17:10 51-lacp-config.yaml

cisco-tac@C885A-M8:~$ sudo chmod 600 /etc/netplan/51-lacp-config.yaml

cisco-tac@C885A-M8:~$ ls -l /etc/netplan/

total 16

-rw------- 1 root root 869 Apr 24 14:26 50-cloud-init.yaml

-rw------- 1 root root 586 Apr 25 17:10 51-lacp-config.yaml

cisco-tac@C885A-M8:~$ sudo netplan apply

Überprüfung

Nachdem Sie die NetPlan-Konfiguration übernommen und das System neu gestartet haben, überprüfen Sie mithilfe der Befehle, ob die LACP-Einrichtung wie erwartet funktioniert.

1. Überprüfen Sie die Netzwerkschnittstellendetails.

Verwenden Sie diesen Befehl, um den Status der Netzwerkschnittstellen anzuzeigen:

cisco-tac@C885A-M8:~$ip link show

4: ens211f0np0: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 9000 qdisc mq master bond0 state UP mode DEFAULT group default qlen 1000

link/ether 86:a2:e3:01:3d:f2 brd ff:ff:ff:ff:ff:ff permaddr 5c:25:73:3a:9a:fc

altname enp69s0f0np0

5: ens211f1np1: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 9000 qdisc mq master bond0 state UP mode DEFAULT group default qlen 1000

link/ether 86:a2:e3:01:3d:f2 brd ff:ff:ff:ff:ff:ff permaddr 5c:25:73:3a:9a:fd

altname enp69s0f1np1

Stellen Sie sicher, dass die Schnittstellen (ens211f0np0 und ens211f1np1) Folgendes anzeigen:

- Master auf bond0 gesetzt, bestätigt, dass sie zur verbundenen Schnittstelle gehören.

- Status als UP, um zu bestätigen, dass die Schnittstellen aktiv sind.

- Bestätigen Sie, dass der MTU-Wert wie in der YAML-Datei angegeben auf 9000 festgelegt ist.

- Überprüfen Sie, ob beide Schnittstellen gültige Hardwareadressen (permaddr) haben.

2. Bonding-Details bestätigen

Verwenden Sie diesen Befehl, um die Bonding-Konfiguration anzuzeigen und die ordnungsgemäße Funktion des LACP sicherzustellen:

cisco-tac@C885A-M8:~$cat /proc/net/bonding/bond0

Ethernet Channel Bonding Driver: v5.15.0-141-generic

Bonding Mode: IEEE 802.3ad Dynamic link aggregation

Transmit Hash Policy: layer2 (0)

MII Status: up

MII Polling Interval (ms): 100

Up Delay (ms): 0

Down Delay (ms): 0

Peer Notification Delay (ms): 0

802.3ad info

LACP active: on

LACP rate: slow

Min links: 0

Aggregator selection policy (ad_select): stable

Slave Interface: ens211f1np1

MII Status: up

Speed: ****** Mbps

Duplex: full

Link Failure Count: 0

Permanent HW addr: 5c:25:73:3a:9a:fd

Slave queue ID: 0

Aggregator ID: 1

Actor Churn State: none

Partner Churn State: none

Actor Churned Count: 0

Partner Churned Count: 0

Slave Interface: ens211f0np0

MII Status: up

Speed: ****** Mbps

Duplex: full

Link Failure Count: 0

Permanent HW addr: 5c:25:73:3a:9a:fc

Slave queue ID: 0

Aggregator ID: 1

Actor Churn State: none

Partner Churn State: none

Actor Churned Count: 0

Partner Churned Count: 0

Stellen Sie sicher, dass für den Bonding Mode die IEEE 802.3ad Dynamic Link Aggregation festgelegt ist:

- LACP aktiv: zeigt an, dass LACP aktiviert ist.

- LACP-Rate: langsam gibt die konfigurierte LACP-Rate an, kann sich jedoch je nach Konfiguration unterscheiden.

- Überprüfen Sie die Slave-Schnittstellen: Sowohl ens211f0np0 als auch ens211f1np1 können als Slave-Schnittstellen unter der Bindung erscheinen.

- MII-Status: up bestätigt, dass die Links aktiv sind.

- Die Permanent HW-Adresswerte müssen mit den Hardwareadressen der jeweiligen Schnittstellen übereinstimmen.

- Stellen Sie sicher, dass beide Slave-Schnittstellen Teil derselben Aggregator-ID sind (z. B. Aggregator-ID: 1)

Fehlerbehebung

Wenn die Verifizierungsergebnisse nicht den Erwartungen entsprechen:

- Überprüfen Sie die NetPlan YAML-Konfigurationsdatei auf Fehler oder fehlende Parameter.

- Stellen Sie die richtige LACP-Unterstützung und -Konfiguration für den Upstream-Switch sicher.

- Bestätigen Sie, dass der Befehl sudo netplan apply erfolgreich abgeschlossen wurde.

Zugehörige Informationen

TACDCN-2018

Cisco UCS C885A M8 Rack-Server - Datenblatt

UCS C885A M8 Rack-Server - Spezifikationen