Konfigurieren einer LACP C885A-M8 NIC mit Netplan

Einleitung

Dieses Dokument beschreibt die Konfiguration von LACP mit Netplan auf dem C885A-M8 Server.

Hintergrundinformationen

Von BMC aus können keine Änderungen auf der Netzwerkseite vorgenommen werden. Alle Änderungen müssen von OS Guest vorgenommen werden.

Voraussetzungen

Verwendete Komponenten

UCS C885A M8 Rack-Server

PID: UCSC-885A-M8-H11

Firmware-Version: 1.0.28

Nexus Switches der Serie 9000

Ubuntu 22.04.5 LTS

Verwendete Netzwerkkarten

BlueField-3 P-Serie DPU 400GbE/NDR VPI Dual-Port

BlueField-3 E-Serie SuperNIC 400GbE/NDR Single Port

Intel(R) Ethernet-Netzwerkadapter X710-T2L für OCP 3.0

Die Informationen in diesem Dokument beziehen sich auf Geräte in einer speziell eingerichteten Testumgebung. Alle Geräte, die in diesem Dokument benutzt wurden, begannen mit einer gelöschten (Nichterfüllungs) Konfiguration. Wenn Ihr Netzwerk in Betrieb ist, stellen Sie sicher, dass Sie die möglichen Auswirkungen aller Befehle kennen.

Überprüfen, ob sich die Netzwerkkarte nicht im DPU-Modus befindet

Um die ordnungsgemäße Funktion sicherzustellen, stellen Sie sicher, dass sich die Netzwerkkarte nicht im DPU-Modus befindet. Das Link Aggregation Control Protocol (LACP) wird nicht unterstützt, wenn sich die Netzwerkkarte im DPU-Modus befindet. Falls erforderlich, wandeln Sie es in den NIC-Modus um.

Schritt 1: Identifizieren von PCIe-Adressen

Führen Sie den Befehl aus, um die PCIe-Adressen für die gewünschten Ports aufzulisten:

cisco-tac@C885A-M8:~$ sudo mst start 
Starting MST (Mellanox Software Tools) driver set
Loading MST PCI module - Success
Loading MST PCI configuration module - Success
Create devices
Unloading MST PCI module (unused) - Success

Anmerkung: Dies ist nicht erforderlich, kann jedoch bei der Bestimmung des richtigen Geräts helfen, wenn Änderungen mit mlxconfig vorgenommen werden

cisco-tac@C885A-M8:~$ sudo mst status -v
MST modules:
------------
MST PCI module is not loaded
MST PCI configuration module loaded
PCI devices:
------------
DEVICE_TYPE MST PCI RDMA NET NUMA
BlueField3(rev:1) /dev/mst/mt41692_pciconf9 f1:00.0 mlx5_6 net-ens205f0 1
BlueField3(rev:1) /dev/mst/mt41692_pciconf8 c5:00.0 mlx5_7 net-ens206f0 1
BlueField3(rev:1) /dev/mst/mt41692_pciconf7 a4:00.0 mlx5_11 net-ens208f0 1
BlueField3(rev:1) /dev/mst/mt41692_pciconf6 97:00.0 mlx5_10 net-ens207f0 1
BlueField3(rev:1) /dev/mst/mt41692_pciconf5.1 91:00.1 mlx5_9 net-ens214f1np1 1
BlueField3(rev:1) /dev/mst/mt41692_pciconf5 91:00.0 mlx5_8 net-ens214f0np0 1
BlueField3(rev:1) /dev/mst/mt41692_pciconf4 69:00.0 mlx5_0 net-ens202f0 0
BlueField3(rev:1) /dev/mst/mt41692_pciconf3 4b:00.0 mlx5_3 net-ens201f0 0
BlueField3(rev:1) /dev/mst/mt41692_pciconf2.1 45:00.1 mlx5_2 net-ens214f1np1 0 
BlueField3(rev:1) /dev/mst/mt41692_pciconf2 45:00.0 mlx5_1 net-ens211f0np0 0 
BlueField3(rev:1) /dev/mst/mt41692_pciconf1 2b:00.0 mlx5_5 net-ens203f0 0 
BlueField3(rev:1) /dev/mst/mt41692_pciconf0 09:00.0 mlx5_4 net-ens204f0 0

Dieser Befehl bietet eine detaillierte Liste der Geräte, mit denen Sie die entsprechenden MST- und PCI-Bezeichner identifizieren können.

In diesem Szenario werden NET-net-ens214f1np1 und NET-net-ens211f0np0 verwendet. 

Phase 2: Überprüfen der Netzwerkkartenkonfiguration

Überprüfen Sie mit der angegebenen MST- oder PCI-Kennung die aktuelle NIC-Konfiguration mit einem der folgenden Befehle:

sudo mlxconfig -d 0000:<PCI_ID> -e q | grep 'INTERNAL_CPU_MODEL\|EXP_ROM_UEFI_ARM_ENABLE\|INTERNAL_CPU_OFFLOAD_ENGINE'

Oder

sudo mlxconfig -d /dev/<MST_DEVICE> -e q | grep 'INTERNAL_CPU_MODEL\|EXP_ROM_UEFI_ARM_ENABLE\|INTERNAL_CPU_OFFLOAD_ENGINE'

cisco-tac@C885A-M8:~$ sudo sudo mlxconfig -d dev/mst/mt41692_pciconf1 -e q | grep \ 'INTERNAL_CPU_MODEL\|EXP_ROM_UEFI_ARM_ENABLE\|INTERNAL_CPU_OFFLOAD_ENGINE'
Configurations: Default Current Next Boot
INTERNAL_CPU_MODEL EMBEDDED_CPU(1) EMBEDDED_CPU(1) EMBEDDED_CPU(1)
INTERNAL_CPU_OFFLOAD_ENGINE ENABLED(0) ENABLED(0) ENABLED(0)
EXP_ROM_UEFI_ARM_ENABLE True(1) True(1) True(1)

Anmerkung: Das CPU-Modell und die ARM UEFI-Aktivierungsvariablen bestätigen uns, dass die Karte DPU-fähig ist

Im obigen Beispiel:

INTERNAL_CPU_OFFLOAD_ENGINE ist für die aktuelle und die nächste Boot-Konfiguration auf ENABLED\(0\) gesetzt.

Dies zeigt an, dass die Netzwerkkarte derzeit im DPU-Modus betrieben wird und in den Netzwerkkartenmodus konvertiert werden muss, um die LACP-Konfiguration fortzusetzen.

Schritt 3: In NIC-Modus konvertieren

Führen Sie den folgenden Befehl aus, um die Netzwerkkarte in den Netzwerkkarten-Modus zu konvertieren:

sudo mlxconfig -d 0000:<PCI_ID> s INTERNAL_CPU_OFFLOAD_ENGINE=0

cisco-tac@C885A-M8:~$ sudo mlxconfig -d 0000:45:00.0 s INTERNAL_CPU_OFFLOAD_ENGINE=0
Device #1:
----------
Device type: BlueField3
Name: 900-9D3B6-00SN-A_Ax
Description: NVIDIA BlueField-3 B3240 P-Series Dual-slot FHHL DPU; 400GbE / NDR IB (default mode); Dual-port QSFP112; PCIe Gen5.0 x16 with x16 PCIe extension option; 16 Arm cores; 32GB on-board DDR; integrated BMC; Crypto Disabled
Device: 0000:45:00.0

Configurations: Next Boot New
INTERNAL_CPU_OFFLOAD_ENGINE ENABLED(0) DISABLED(1)

Apply new Configuration? (y/n) [n] : y
Applying... Done!
-I- Please reboot machine to load new configurations.

cisco-tac@C885A-M8:~$ sudo init 0

Anmerkung: Mit sudo init 0 wird der Host heruntergefahren, um sicherzustellen, dass die Konfiguration entsprechend geladen wird.

Schritt 4: Neustarten und Überprüfen der Konfiguration

Nach dem Ausführen des Befehls sudo init 0 wird das Hostsystem heruntergefahren. Verwenden Sie den BMC (Baseboard Management Controller), um das Host-Betriebssystem neu zu starten.

Wenn das System wieder online ist, überprüfen Sie, ob die Konfigurationsänderungen erfolgreich angewendet wurden, indem Sie die gleichen Überprüfungsbefehle wie oben gezeigt ausführen:

sudo mlxconfig -d 0000:<PCI_ID> -e q | grep 'INTERNAL_CPU_MODEL\|EXP_ROM_UEFI_ARM_ENABLE\|INTERNAL_CPU_OFFLOAD_ENGINE'

Oder 

sudo mlxconfig -d /dev/<MST_DEVICE> -e q | grep 'INTERNAL_CPU_MODEL\|EXP_ROM_UEFI_ARM_ENABLE\|INTERNAL_CPU_OFFLOAD_ENGINE'

Wenn die Konfiguration erfolgreich angewendet wurde, können Sie die gewünschte Port-Channel-, Bond- oder LAG-Konfiguration erstellen.

Konfigurieren von LACP

Schritt 1: Neue NetPlan-Konfigurationsdatei erstellen

Der aktuelle Standard für die Konfiguration von Ubuntu-Schnittstellen ist Netplan. Überprüfen Sie zunächst die vorhandenen NetPlan YAML-Konfigurationsdateien, indem Sie Folgendes ausführen:

ls /etc/netplan/

Standardmäßig befindet sich im Verzeichnis /etc/netplan/ nur eine YAML-Datei. Die NetPlan-Konfigurationsdateien verwenden die Namenskonvention #-<relevanter Name>.yaml, wobei ## eine Zahl zwischen 01 und 99 ist. Beachten Sie, dass Konfigurationsdateien mit niedrigeren Nummern bei Konflikten durch Dateien mit höheren Nummern überschrieben werden.

Um sicherzustellen, dass Ihre Änderungen dauerhaft und organisiert sind, wird empfohlen, eine neue YAML-Datei zu erstellen, anstatt die Standarddatei zu bearbeiten. Wenn Sie die Standarddatei ändern, besteht die Gefahr, dass die Änderungen nach einem Neustart nicht mehr bestehen. Für dieses Handbuch erstellen wir eine neue Datei mit dem Namen

51-lacp-config.yaml

Um die neue Datei zu erstellen, verwenden Sie den folgenden Befehl:

sudo nano /etc/netplan/51-lacp-config.yaml

Stellen Sie sicher, dass Ihre Dateinummerierung nicht mit vorhandenen Dateien kollidiert und die richtige Hierarchie verwendet, um unerwartetes Verhalten zu vermeiden.

Dies ist ein Beispiel einer Netplan YAML-Konfigurationsdatei (51-lacp-config.yaml) für die Einrichtung von LACP mit VLANs.

cisco-tac@C885A-M8:~$ cat /etc/netplan/51-lacp-config.yaml
network:
ethernets:
ens211f0np0:
mtu: 9000 
ens211f1np1:
mtu: 9000
bonds:
bond0:
mtu: 9000
dhcp4: false
dhcp6: false
interfaces:
- ens211f0np0
- ens211f1np1
parameters:
mode: 802.3ad 
mii-monitor-interval: 100
vlans:
bond0.2001: 
id: 2001 
link: bond0 

Phase 2: Anwenden der Konfiguration

Führen Sie zum Anwenden der neuen Konfiguration die folgenden Schritte aus:

sudo netplan apply

Wenn Sie auf Berechtigungswarnungen stoßen, passen Sie die Dateiberechtigungen an:

sudo chmod 600 /etc/netplan/51-lacp-config.yaml
sudo netplan apply

cisco-tac@C885A-M8:~$ sudo netplan apply
** (generate:140701): WARNING **: 17:10:58.313: Permissions for /etc/netplan/51-lacp-config.yaml are too open. Netplan configuration should NOT be accessible by others.

cisco-tac@C885A-M8:~$ ls -l /etc/netplan/
total 16
-rw------- 1 root root 869 Apr 24 14:26 50-cloud-init.yaml
-rw-r--r-- 1 root root 586 Apr 25 17:10 51-lacp-config.yaml


cisco-tac@C885A-M8:~$ sudo chmod 600 /etc/netplan/51-lacp-config.yaml
cisco-tac@C885A-M8:~$ ls -l /etc/netplan/
total 16
-rw------- 1 root root 869 Apr 24 14:26 50-cloud-init.yaml
-rw------- 1 root root 586 Apr 25 17:10 51-lacp-config.yaml

cisco-tac@C885A-M8:~$ sudo netplan apply

Überprüfung

Nachdem Sie die NetPlan-Konfiguration übernommen und das System neu gestartet haben, überprüfen Sie mithilfe der Befehle, ob die LACP-Einrichtung wie erwartet funktioniert.

1. Überprüfen Sie die Netzwerkschnittstellendetails.

Verwenden Sie diesen Befehl, um den Status der Netzwerkschnittstellen anzuzeigen:

cisco-tac@C885A-M8:~$ip link show
4: ens211f0np0: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 9000 qdisc mq master bond0 state UP mode DEFAULT group default qlen 1000
link/ether 86:a2:e3:01:3d:f2 brd ff:ff:ff:ff:ff:ff permaddr 5c:25:73:3a:9a:fc
altname enp69s0f0np0
5: ens211f1np1: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 9000 qdisc mq master bond0 state UP mode DEFAULT group default qlen 1000
link/ether 86:a2:e3:01:3d:f2 brd ff:ff:ff:ff:ff:ff permaddr 5c:25:73:3a:9a:fd
altname enp69s0f1np1

Stellen Sie sicher, dass die Schnittstellen (ens211f0np0 und ens211f1np1) Folgendes anzeigen:

• Master auf bond0 gesetzt, bestätigt, dass sie zur verbundenen Schnittstelle gehören.
• Status als UP, um zu bestätigen, dass die Schnittstellen aktiv sind.
• Bestätigen Sie, dass der MTU-Wert wie in der YAML-Datei angegeben auf 9000 festgelegt ist.
• Überprüfen Sie, ob beide Schnittstellen gültige Hardwareadressen (permaddr) haben.

2. Bonding-Details bestätigen

Verwenden Sie diesen Befehl, um die Bonding-Konfiguration anzuzeigen und die ordnungsgemäße Funktion des LACP sicherzustellen:

cisco-tac@C885A-M8:~$cat /proc/net/bonding/bond0
Ethernet Channel Bonding Driver: v5.15.0-141-generic

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2 (0)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
Peer Notification Delay (ms): 0

802.3ad info
LACP active: on
LACP rate: slow
Min links: 0
Aggregator selection policy (ad_select): stable

Slave Interface: ens211f1np1
MII Status: up
Speed: ****** Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 5c:25:73:3a:9a:fd
Slave queue ID: 0
Aggregator ID: 1
Actor Churn State: none
Partner Churn State: none
Actor Churned Count: 0
Partner Churned Count: 0

Slave Interface: ens211f0np0
MII Status: up
Speed: ****** Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 5c:25:73:3a:9a:fc
Slave queue ID: 0
Aggregator ID: 1
Actor Churn State: none
Partner Churn State: none
Actor Churned Count: 0
Partner Churned Count: 0

Stellen Sie sicher, dass für den Bonding Mode die IEEE 802.3ad Dynamic Link Aggregation festgelegt ist:

• LACP aktiv: zeigt an, dass LACP aktiviert ist.
• LACP-Rate: langsam gibt die konfigurierte LACP-Rate an, kann sich jedoch je nach Konfiguration unterscheiden.
• Überprüfen Sie die Slave-Schnittstellen: Sowohl ens211f0np0 als auch ens211f1np1 können als Slave-Schnittstellen unter der Bindung erscheinen.
• MII-Status: up bestätigt, dass die Links aktiv sind.
• Die Permanent HW-Adresswerte müssen mit den Hardwareadressen der jeweiligen Schnittstellen übereinstimmen.
• Stellen Sie sicher, dass beide Slave-Schnittstellen Teil derselben Aggregator-ID sind (z. B. Aggregator-ID: 1)

Fehlerbehebung

Wenn die Verifizierungsergebnisse nicht den Erwartungen entsprechen:

• Überprüfen Sie die NetPlan YAML-Konfigurationsdatei auf Fehler oder fehlende Parameter.
• Stellen Sie die richtige LACP-Unterstützung und -Konfiguration für den Upstream-Switch sicher.
• Bestätigen Sie, dass der Befehl sudo netplan apply erfolgreich abgeschlossen wurde.

Cisco UCS C885A M8 Rack-Server - Datenblatt

UCS C885A M8 Rack-Server - Spezifikationen