Configuración de la NIC LACP C885A-M8 con Netplan

Introducción

Este documento describe la información sobre cómo configurar LACP con Netplan en el servidor C885A-M8.

Antecedentes

Desde BMC, no es posible realizar ninguna modificación en el lado de la red, todos los cambios deben realizarse desde OS Guest.

Prerequisites

Componentes Utilizados

Servidor en rack UCS C885A M8

PID: UCSC-885A-M8-H11

Versión del firmware: 1.0.28

Switches Nexus 9000

Ubuntu 2.04.5 LTS

Tarjetas de red utilizadas

BlueField-3 P-Series DPU 400 GbE/NDR VPI de doble puerto

BlueField-3 E-series SuperNIC 400 GbE/NDR de puerto único

Adaptador de red Ethernet Intel(R) X710-T2L para OCP 3.0

La información que contiene este documento se creó a partir de los dispositivos en un ambiente de laboratorio específico. Todos los dispositivos que se utilizan en este documento se pusieron en funcionamiento con una configuración verificada (predeterminada). Si tiene una red en vivo, asegúrese de entender el posible impacto de cualquier comando.

Verifique que la NIC no esté en modo DPU

Para garantizar una funcionalidad adecuada, verifique que la NIC no esté en modo DPU. El protocolo de control de agregación de enlaces (LACP) no se admite cuando la NIC está en modo DPU. Si es necesario, conviértalo al modo NIC.

Paso 1: Identificar direcciones PCIe

Ejecute el comando para enumerar las direcciones PCIe para los puertos deseados:

cisco-tac@C885A-M8:~$ sudo mst start 
Starting MST (Mellanox Software Tools) driver set
Loading MST PCI module - Success
Loading MST PCI configuration module - Success
Create devices
Unloading MST PCI module (unused) - Success

Nota: Esto no es necesario, pero puede ayudar a designar el dispositivo correcto al hacer cambios con mlxconfig

cisco-tac@C885A-M8:~$ sudo mst status -v
MST modules:
------------
MST PCI module is not loaded
MST PCI configuration module loaded
PCI devices:
------------
DEVICE_TYPE MST PCI RDMA NET NUMA
BlueField3(rev:1) /dev/mst/mt41692_pciconf9 f1:00.0 mlx5_6 net-ens205f0 1
BlueField3(rev:1) /dev/mst/mt41692_pciconf8 c5:00.0 mlx5_7 net-ens206f0 1
BlueField3(rev:1) /dev/mst/mt41692_pciconf7 a4:00.0 mlx5_11 net-ens208f0 1
BlueField3(rev:1) /dev/mst/mt41692_pciconf6 97:00.0 mlx5_10 net-ens207f0 1
BlueField3(rev:1) /dev/mst/mt41692_pciconf5.1 91:00.1 mlx5_9 net-ens214f1np1 1
BlueField3(rev:1) /dev/mst/mt41692_pciconf5 91:00.0 mlx5_8 net-ens214f0np0 1
BlueField3(rev:1) /dev/mst/mt41692_pciconf4 69:00.0 mlx5_0 net-ens202f0 0
BlueField3(rev:1) /dev/mst/mt41692_pciconf3 4b:00.0 mlx5_3 net-ens201f0 0
BlueField3(rev:1) /dev/mst/mt41692_pciconf2.1 45:00.1 mlx5_2 net-ens214f1np1 0 
BlueField3(rev:1) /dev/mst/mt41692_pciconf2 45:00.0 mlx5_1 net-ens211f0np0 0 
BlueField3(rev:1) /dev/mst/mt41692_pciconf1 2b:00.0 mlx5_5 net-ens203f0 0 
BlueField3(rev:1) /dev/mst/mt41692_pciconf0 09:00.0 mlx5_4 net-ens204f0 0

Este comando proporciona una lista detallada de dispositivos, lo que le permite identificar los identificadores MST y PCI adecuados.

En esta situación se utilizan NET net-ens214f1np1 y NET net-ens211f0np0. 

Paso 2: Comprobar configuración NIC

Mediante el identificador MST o PCI identificado, verifique la configuración de NIC actual con uno de los siguientes comandos:

sudo mlxconfig -d 0000:<PCI_ID> -e q | grep 'INTERNAL_CPU_MODEL\|EXP_ROM_UEFI_ARM_ENABLE\|INTERNAL_CPU_OFFLOAD_ENGINE'

or

sudo mlxconfig -d /dev/<MST_DEVICE> -e q | grep 'INTERNAL_CPU_MODEL\|EXP_ROM_UEFI_ARM_ENABLE\|INTERNAL_CPU_OFFLOAD_ENGINE'

cisco-tac@C885A-M8:~$ sudo sudo mlxconfig -d dev/mst/mt41692_pciconf1 -e q | grep \ 'INTERNAL_CPU_MODEL\|EXP_ROM_UEFI_ARM_ENABLE\|INTERNAL_CPU_OFFLOAD_ENGINE'
Configurations: Default Current Next Boot
INTERNAL_CPU_MODEL EMBEDDED_CPU(1) EMBEDDED_CPU(1) EMBEDDED_CPU(1)
INTERNAL_CPU_OFFLOAD_ENGINE ENABLED(0) ENABLED(0) ENABLED(0)
EXP_ROM_UEFI_ARM_ENABLE True(1) True(1) True(1)

Nota: El modelo de CPU y las variables ARM UEFI enable nos confirman que la tarjeta es compatible con el modo DPU

En el ejemplo anterior:

INTERNAL_CPU_OFFLOAD_ENGINE se establece en ENABLED\(0\) para las configuraciones de arranque actual y siguiente.

Esto indica que la NIC está funcionando actualmente en modo DPU y debe convertirse al modo NIC para continuar con la configuración LACP.

Paso 3: Convertir en modo NIC

Para convertir la NIC al modo NIC, ejecute el comando:

sudo mlxconfig -d 0000:<PCI_ID> s INTERNAL_CPU_OFFLOAD_ENGINE=0

cisco-tac@C885A-M8:~$ sudo mlxconfig -d 0000:45:00.0 s INTERNAL_CPU_OFFLOAD_ENGINE=0
Device #1:
----------
Device type: BlueField3
Name: 900-9D3B6-00SN-A_Ax
Description: NVIDIA BlueField-3 B3240 P-Series Dual-slot FHHL DPU; 400GbE / NDR IB (default mode); Dual-port QSFP112; PCIe Gen5.0 x16 with x16 PCIe extension option; 16 Arm cores; 32GB on-board DDR; integrated BMC; Crypto Disabled
Device: 0000:45:00.0

Configurations: Next Boot New
INTERNAL_CPU_OFFLOAD_ENGINE ENABLED(0) DISABLED(1)

Apply new Configuration? (y/n) [n] : y
Applying... Done!
-I- Please reboot machine to load new configurations.

cisco-tac@C885A-M8:~$ sudo init 0

Nota: Con sudo init 0, apaga el host para asegurarse de que la configuración se cargue correctamente.

Paso 4: Reinicio y verificación de la configuración

Después de ejecutar el comando sudo init 0, el sistema host se va a apagar. Utilice el Controlador de administración de la placa base (BMC) para reiniciar el sistema operativo del host.

Una vez que el sistema vuelva a estar en línea, compruebe que los cambios de configuración se hayan aplicado correctamente ejecutando los mismos comandos de verificación que se muestran anteriormente:

sudo mlxconfig -d 0000:<PCI_ID> -e q | grep 'INTERNAL_CPU_MODEL\|EXP_ROM_UEFI_ARM_ENABLE\|INTERNAL_CPU_OFFLOAD_ENGINE'

or 

sudo mlxconfig -d /dev/<MST_DEVICE> -e q | grep 'INTERNAL_CPU_MODEL\|EXP_ROM_UEFI_ARM_ENABLE\|INTERNAL_CPU_OFFLOAD_ENGINE'

Si la configuración se ha aplicado correctamente, puede continuar con la creación de la configuración de canal de puerto, enlace o LAG deseada.

Configuración de LACP

Paso 1: Crear un nuevo archivo de configuración de Netplan

El estándar actual para configurar interfaces en Ubuntu es Netplan. Para empezar, compruebe los archivos de configuración de Netplan YAML existentes ejecutando:

ls /etc/netplan/

De forma predeterminada, normalmente sólo hay un archivo YAML en el directorio /etc/netplan/. Los archivos de configuración de Netplan utilizan la convención de nomenclatura ##-<nombre relevante>.yaml, donde ## es un número entre 01 y 99. Tenga en cuenta que los archivos de configuración con números más bajos se sobrescriben con los archivos con números más altos si hay conflictos.

Para asegurarse de que los cambios son persistentes y organizados, se recomienda crear un nuevo archivo YAML en lugar de editar el archivo predeterminado. Si modifica el archivo predeterminado, existe el riesgo de que los cambios no persistan después de un reinicio. Para esta guía, vamos a crear un nuevo archivo llamado

51-lacp-config.yaml.

Para crear el nuevo archivo, utilice el comando:

sudo nano /etc/netplan/51-lacp-config.yaml

Asegúrese de que la numeración de los archivos no entra en conflicto con los archivos existentes y utilice la jerarquía adecuada para evitar comportamientos inesperados.

Este es un ejemplo de un archivo de configuración YAML de Netplan (51-lacp-config.yaml) para configurar LACP con VLAN.

cisco-tac@C885A-M8:~$ cat /etc/netplan/51-lacp-config.yaml
network:
ethernets:
ens211f0np0:
mtu: 9000 
ens211f1np1:
mtu: 9000
bonds:
bond0:
mtu: 9000
dhcp4: false
dhcp6: false
interfaces:
- ens211f0np0
- ens211f1np1
parameters:
mode: 802.3ad 
mii-monitor-interval: 100
vlans:
bond0.2001: 
id: 2001 
link: bond0 

Paso 2: Aplicación de la configuración

Para aplicar la nueva configuración, ejecute:

sudo netplan apply

Si encuentra advertencias sobre permisos, ajuste los permisos de archivo:

sudo chmod 600 /etc/netplan/51-lacp-config.yaml
sudo netplan apply

cisco-tac@C885A-M8:~$ sudo netplan apply
** (generate:140701): WARNING **: 17:10:58.313: Permissions for /etc/netplan/51-lacp-config.yaml are too open. Netplan configuration should NOT be accessible by others.

cisco-tac@C885A-M8:~$ ls -l /etc/netplan/
total 16
-rw------- 1 root root 869 Apr 24 14:26 50-cloud-init.yaml
-rw-r--r-- 1 root root 586 Apr 25 17:10 51-lacp-config.yaml


cisco-tac@C885A-M8:~$ sudo chmod 600 /etc/netplan/51-lacp-config.yaml
cisco-tac@C885A-M8:~$ ls -l /etc/netplan/
total 16
-rw------- 1 root root 869 Apr 24 14:26 50-cloud-init.yaml
-rw------- 1 root root 586 Apr 25 17:10 51-lacp-config.yaml

cisco-tac@C885A-M8:~$ sudo netplan apply

Verificación

Después de aplicar la configuración de Netplan y reiniciar el sistema, confirme que la configuración de LACP está funcionando como se esperaba mediante los comandos.

1. Compruebe los detalles de la interfaz de red

Utilice este comando para mostrar el estado de las interfaces de red:

cisco-tac@C885A-M8:~$ip link show
4: ens211f0np0: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 9000 qdisc mq master bond0 state UP mode DEFAULT group default qlen 1000
link/ether 86:a2:e3:01:3d:f2 brd ff:ff:ff:ff:ff:ff permaddr 5c:25:73:3a:9a:fc
altname enp69s0f0np0
5: ens211f1np1: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 9000 qdisc mq master bond0 state UP mode DEFAULT group default qlen 1000
link/ether 86:a2:e3:01:3d:f2 brd ff:ff:ff:ff:ff:ff permaddr 5c:25:73:3a:9a:fd
altname enp69s0f1np1

Asegúrese de que las interfaces (ens211f0np0 y ens211f1np1) muestran:

• Master establecido en bond0, confirmando que pertenecen a la interfaz vinculada.
• Indique como UP, confirmando que las interfaces están activas.
• Confirme que el valor de mtu esté configurado en 9000 como se especifica en el archivo YAML.
• Verifique que ambas interfaces tengan direcciones de hardware válidas (permaddr).

2. Confirme los detalles de vinculación

Utilice este comando para mostrar la configuración de vinculación y garantizar la funcionalidad adecuada de LACP:

cisco-tac@C885A-M8:~$cat /proc/net/bonding/bond0
Ethernet Channel Bonding Driver: v5.15.0-141-generic

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2 (0)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
Peer Notification Delay (ms): 0

802.3ad info
LACP active: on
LACP rate: slow
Min links: 0
Aggregator selection policy (ad_select): stable

Slave Interface: ens211f1np1
MII Status: up
Speed: ****** Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 5c:25:73:3a:9a:fd
Slave queue ID: 0
Aggregator ID: 1
Actor Churn State: none
Partner Churn State: none
Actor Churned Count: 0
Partner Churned Count: 0

Slave Interface: ens211f0np0
MII Status: up
Speed: ****** Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 5c:25:73:3a:9a:fc
Slave queue ID: 0
Aggregator ID: 1
Actor Churn State: none
Partner Churn State: none
Actor Churned Count: 0
Partner Churned Count: 0

Asegúrese de que el modo de vinculación esté configurado en agregación dinámica de enlaces IEEE 802.3ad:

• LACP activo: on indica que el LACP está habilitado.
• Velocidad de LACP: slow refleja la velocidad LACP configurada, aunque puede diferir según la configuración.
• Verifique las interfaces esclavas: Tanto ens211f0np0 como ens211f1np1 pueden aparecer como interfaces esclavas bajo el enlace.
• Estado de MII: la función up (activar) confirma que los enlaces están activos.
• Los valores de la dirección de hardware permanente deben coincidir con las direcciones de hardware de las interfaces respectivas.
• Asegúrese de que ambas interfaces esclavas formen parte del mismo ID de agregador (por ejemplo, ID de agregador: 1).

Resolución de problemas

Si los resultados de la verificación no coinciden con las expectativas:

• Verifique el archivo de configuración YAML de Netplan para ver si hay errores o si faltan parámetros.
• Asegúrese de que el soporte y la configuración de LACP sean correctos en el switch ascendente.
• Confirme que el comando sudo netplan apply se haya completado correctamente

Hoja de datos del servidor en rack Cisco UCS C885A M8

Hoja de especificaciones del servidor en rack UCS C885A M8