Contenido

Introducción

Antecedentes

Prerequisites

Componentes Utilizados

Tarjetas de red utilizadas

Verifique que la NIC no esté en modo DPU

Paso 1: Identificar direcciones PCIe

Paso 2: Comprobar configuración NIC

Paso 3: Convertir en modo NIC

Paso 4: Reinicio y verificación de la configuración

Configuración de LACP

Paso 1: Crear un nuevo archivo de configuración de Netplan

Paso 2: Aplicación de la configuración

Verificación

1. Compruebe los detalles de la interfaz de red

2. Confirme los detalles de vinculación

Resolución de problemas

Información Relacionada

Introducción

Este documento describe la información sobre cómo configurar LACP con Netplan en el servidor C885A-M8.

Antecedentes

Desde BMC, no es posible realizar ninguna modificación en el lado de la red, todos los cambios deben realizarse desde OS Guest.

Prerequisites

Componentes Utilizados

Servidor en rack UCS C885A M8

PID: UCSC-885A-M8-H11

Versión del firmware: 1.0.28

Switches Nexus 9000

Ubuntu 2.04.5 LTS

Tarjetas de red utilizadas

BlueField-3 P-Series DPU 400 GbE/NDR VPI de doble puerto

BlueField-3 E-series SuperNIC 400 GbE/NDR de puerto único

Adaptador de red Ethernet Intel(R) X710-T2L para OCP 3.0

La información que contiene este documento se creó a partir de los dispositivos en un ambiente de laboratorio específico. Todos los dispositivos que se utilizan en este documento se pusieron en funcionamiento con una configuración verificada (predeterminada). Si tiene una red en vivo, asegúrese de entender el posible impacto de cualquier comando.

Verifique que la NIC no esté en modo DPU

Para garantizar una funcionalidad adecuada, verifique que la NIC no esté en modo DPU. El protocolo de control de agregación de enlaces (LACP) no se admite cuando la NIC está en modo DPU. Si es necesario, conviértalo al modo NIC.

Paso 1: Identificar direcciones PCIe

Ejecute el comando para enumerar las direcciones PCIe para los puertos deseados:

cisco-tac@C885A-M8:~$ sudo mst start

Starting MST (Mellanox Software Tools) driver set

Loading MST PCI module - Success

Loading MST PCI configuration module - Success

Create devices

Unloading MST PCI module (unused) - Success

Nota: Esto no es necesario, pero puede ayudar a designar el dispositivo correcto al hacer cambios con mlxconfig

cisco-tac@C885A-M8:~$ sudo mst status -v

MST modules:

------------

MST PCI module is not loaded

MST PCI configuration module loaded

PCI devices:

------------

DEVICE_TYPE MST PCI RDMA NET NUMA

BlueField3(rev:1) /dev/mst/mt41692_pciconf9 f1:00.0 mlx5_6 net-ens205f0 1

BlueField3(rev:1) /dev/mst/mt41692_pciconf8 c5:00.0 mlx5_7 net-ens206f0 1

BlueField3(rev:1) /dev/mst/mt41692_pciconf7 a4:00.0 mlx5_11 net-ens208f0 1

BlueField3(rev:1) /dev/mst/mt41692_pciconf6 97:00.0 mlx5_10 net-ens207f0 1

BlueField3(rev:1) /dev/mst/mt41692_pciconf5.1 91:00.1 mlx5_9 net-ens214f1np1 1

BlueField3(rev:1) /dev/mst/mt41692_pciconf5 91:00.0 mlx5_8 net-ens214f0np0 1

BlueField3(rev:1) /dev/mst/mt41692_pciconf4 69:00.0 mlx5_0 net-ens202f0 0

BlueField3(rev:1) /dev/mst/mt41692_pciconf3 4b:00.0 mlx5_3 net-ens201f0 0

BlueField3(rev:1) /dev/mst/mt41692_pciconf2.1 45:00.1 mlx5_2 net-ens214f1np1 0

BlueField3(rev:1) /dev/mst/mt41692_pciconf2 45:00.0 mlx5_1 net-ens211f0np0 0

BlueField3(rev:1) /dev/mst/mt41692_pciconf1 2b:00.0 mlx5_5 net-ens203f0 0

BlueField3(rev:1) /dev/mst/mt41692_pciconf0 09:00.0 mlx5_4 net-ens204f0 0

Este comando proporciona una lista detallada de dispositivos, lo que le permite identificar los identificadores MST y PCI adecuados.

En esta situación se utilizan NET net-ens214f1np1 y NET net-ens211f0np0.

Paso 2: Comprobar configuración NIC

Mediante el identificador MST o PCI identificado, verifique la configuración de NIC actual con uno de los siguientes comandos:

sudo mlxconfig -d 0000:<PCI_ID> -e q | grep 'INTERNAL_CPU_MODEL\|EXP_ROM_UEFI_ARM_ENABLE\|INTERNAL_CPU_OFFLOAD_ENGINE'

or

sudo mlxconfig -d /dev/<MST_DEVICE> -e q | grep 'INTERNAL_CPU_MODEL\|EXP_ROM_UEFI_ARM_ENABLE\|INTERNAL_CPU_OFFLOAD_ENGINE'

cisco-tac@C885A-M8:~$ sudo sudo mlxconfig -d dev/mst/mt41692_pciconf1 -e q | grep \ 'INTERNAL_CPU_MODEL\|EXP_ROM_UEFI_ARM_ENABLE\|INTERNAL_CPU_OFFLOAD_ENGINE'

Configurations: Default Current Next Boot

INTERNAL_CPU_MODEL EMBEDDED_CPU(1) EMBEDDED_CPU(1) EMBEDDED_CPU(1)

INTERNAL_CPU_OFFLOAD_ENGINE ENABLED(0) ENABLED(0) ENABLED(0)

EXP_ROM_UEFI_ARM_ENABLE True(1) True(1) True(1)

Nota: El modelo de CPU y las variables ARM UEFI enable nos confirman que la tarjeta es compatible con el modo DPU

En el ejemplo anterior:

INTERNAL_CPU_OFFLOAD_ENGINE se establece en ENABLED\(0\) para las configuraciones de arranque actual y siguiente.

Esto indica que la NIC está funcionando actualmente en modo DPU y debe convertirse al modo NIC para continuar con la configuración LACP.

Paso 3: Convertir en modo NIC

Para convertir la NIC al modo NIC, ejecute el comando:

sudo mlxconfig -d 0000:<PCI_ID> s INTERNAL_CPU_OFFLOAD_ENGINE=0

cisco-tac@C885A-M8:~$ sudo mlxconfig -d 0000:45:00.0 s INTERNAL_CPU_OFFLOAD_ENGINE=0

Device #1:

----------

Device type: BlueField3

Name: 900-9D3B6-00SN-A_Ax

Description: NVIDIA BlueField-3 B3240 P-Series Dual-slot FHHL DPU; 400GbE / NDR IB (default mode); Dual-port QSFP112; PCIe Gen5.0 x16 with x16 PCIe extension option; 16 Arm cores; 32GB on-board DDR; integrated BMC; Crypto Disabled

Device: 0000:45:00.0

Configurations: Next Boot New

INTERNAL_CPU_OFFLOAD_ENGINE ENABLED(0) DISABLED(1)

Apply new Configuration? (y/n) [n] : y

Applying... Done!

-I- Please reboot machine to load new configurations.

cisco-tac@C885A-M8:~$ sudo init 0

Nota: Con sudo init 0, apaga el host para asegurarse de que la configuración se cargue correctamente.

Paso 4: Reinicio y verificación de la configuración

Después de ejecutar el comando sudo init 0, el sistema host se va a apagar. Utilice el Controlador de administración de la placa base (BMC) para reiniciar el sistema operativo del host.

Una vez que el sistema vuelva a estar en línea, compruebe que los cambios de configuración se hayan aplicado correctamente ejecutando los mismos comandos de verificación que se muestran anteriormente:

sudo mlxconfig -d 0000:<PCI_ID> -e q | grep 'INTERNAL_CPU_MODEL\|EXP_ROM_UEFI_ARM_ENABLE\|INTERNAL_CPU_OFFLOAD_ENGINE'

or

sudo mlxconfig -d /dev/<MST_DEVICE> -e q | grep 'INTERNAL_CPU_MODEL\|EXP_ROM_UEFI_ARM_ENABLE\|INTERNAL_CPU_OFFLOAD_ENGINE'

Si la configuración se ha aplicado correctamente, puede continuar con la creación de la configuración de canal de puerto, enlace o LAG deseada.

Configuración de LACP

Paso 1: Crear un nuevo archivo de configuración de Netplan

El estándar actual para configurar interfaces en Ubuntu es Netplan. Para empezar, compruebe los archivos de configuración de Netplan YAML existentes ejecutando:

ls /etc/netplan/

De forma predeterminada, normalmente sólo hay un archivo YAML en el directorio /etc/netplan/. Los archivos de configuración de Netplan utilizan la convención de nomenclatura ##-<nombre relevante>.yaml, donde ## es un número entre 01 y 99. Tenga en cuenta que los archivos de configuración con números más bajos se sobrescriben con los archivos con números más altos si hay conflictos.

Para asegurarse de que los cambios son persistentes y organizados, se recomienda crear un nuevo archivo YAML en lugar de editar el archivo predeterminado. Si modifica el archivo predeterminado, existe el riesgo de que los cambios no persistan después de un reinicio. Para esta guía, vamos a crear un nuevo archivo llamado

51-lacp-config.yaml.

Para crear el nuevo archivo, utilice el comando:

sudo nano /etc/netplan/51-lacp-config.yaml

Asegúrese de que la numeración de los archivos no entra en conflicto con los archivos existentes y utilice la jerarquía adecuada para evitar comportamientos inesperados.

Este es un ejemplo de un archivo de configuración YAML de Netplan (51-lacp-config.yaml) para configurar LACP con VLAN.

cisco-tac@C885A-M8:~$ cat /etc/netplan/51-lacp-config.yaml

network:

ethernets:

ens211f0np0:

mtu: 9000

ens211f1np1:

mtu: 9000

bonds:

bond0:

mtu: 9000

dhcp4: false

dhcp6: false

interfaces:

- ens211f0np0

- ens211f1np1

parameters:

mode: 802.3ad

mii-monitor-interval: 100

vlans:

bond0.2001:

id: 2001

link: bond0

Valor

Consideración

Comentarios

Configuración de MTU

Para ens211f0np0 y ens211f1np1, la MTU se establece en 9000.

Se recomienda establecer la MTU en el valor más alto necesario para evitar posibles problemas de MTU en el futuro. Especifique siempre la MTU cada vez que mencione una interfaz

Modo LACP

El parámetro mode se establece en 802.3ad

Este es el modo requerido para el LACP. Existen otros modos de vinculación, pero no son adecuados para LACP

Configuración de VLAN

La sección bond0.2001 crea una subinterfaz para enviar varias VLAN a través del enlace.

El campo id especifica el ID de VLAN (en este caso, 2001).

El campo link asocia la subinterfaz con la interfaz vinculada (bond0)

Si tiene varios enlaces en el mismo archivo YAML, esto garantiza que se aplique la configuración correcta al enlace correcto

Direcciones IP y rutas

El campo de direcciones especifica la dirección IP y la máscara de subred para la VLAN (por ejemplo, 10.10.200.33/27)

La sección de rutas le permite definir cualquier ruta que esta interfaz maneje. Aunque el ejemplo incluye la ruta para 10.10.200.32/27, es redundante en esta configuración de laboratorio pero demuestra cómo agregar varias rutas

Servidores DNS

La sección nameservers permite especificar servidores DNS (direcciones) y dominios de búsqueda (búsqueda)

Necesita proporcionar detalles del servidor DNS basados en el entorno de trabajo.

MTU para VLAN

El campo mtu en la configuración de VLAN se establece en 9000

Si es necesario, puede configurar diferentes valores de MTU por VLAN

Campo Versión

El campo de versión al final del archivo se puede incluir y establecer en 2

Asegúrese de que se ha sangrado con dos espacios para mantener la sintaxis YAML

Paso 2: Aplicación de la configuración

Para aplicar la nueva configuración, ejecute:

sudo netplan apply

Si encuentra advertencias sobre permisos, ajuste los permisos de archivo:

sudo chmod 600 /etc/netplan/51-lacp-config.yaml

sudo netplan apply

cisco-tac@C885A-M8:~$ sudo netplan apply

** (generate:140701): WARNING **: 17:10:58.313: Permissions for /etc/netplan/51-lacp-config.yaml are too open. Netplan configuration should NOT be accessible by others.

cisco-tac@C885A-M8:~$ ls -l /etc/netplan/

total 16

-rw------- 1 root root 869 Apr 24 14:26 50-cloud-init.yaml

-rw-r--r-- 1 root root 586 Apr 25 17:10 51-lacp-config.yaml

cisco-tac@C885A-M8:~$ sudo chmod 600 /etc/netplan/51-lacp-config.yaml

cisco-tac@C885A-M8:~$ ls -l /etc/netplan/

total 16

-rw------- 1 root root 869 Apr 24 14:26 50-cloud-init.yaml

-rw------- 1 root root 586 Apr 25 17:10 51-lacp-config.yaml

cisco-tac@C885A-M8:~$ sudo netplan apply

Verificación

Después de aplicar la configuración de Netplan y reiniciar el sistema, confirme que la configuración de LACP está funcionando como se esperaba mediante los comandos.

1. Compruebe los detalles de la interfaz de red

Utilice este comando para mostrar el estado de las interfaces de red:

cisco-tac@C885A-M8:~$ip link show

4: ens211f0np0: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 9000 qdisc mq master bond0 state UP mode DEFAULT group default qlen 1000

link/ether 86:a2:e3:01:3d:f2 brd ff:ff:ff:ff:ff:ff permaddr 5c:25:73:3a:9a:fc

altname enp69s0f0np0

5: ens211f1np1: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 9000 qdisc mq master bond0 state UP mode DEFAULT group default qlen 1000

link/ether 86:a2:e3:01:3d:f2 brd ff:ff:ff:ff:ff:ff permaddr 5c:25:73:3a:9a:fd

altname enp69s0f1np1

Asegúrese de que las interfaces (ens211f0np0 y ens211f1np1) muestran:

- Master establecido en bond0, confirmando que pertenecen a la interfaz vinculada.

- Indique como UP, confirmando que las interfaces están activas.

- Confirme que el valor de mtu esté configurado en 9000 como se especifica en el archivo YAML.

- Verifique que ambas interfaces tengan direcciones de hardware válidas (permaddr).

2. Confirme los detalles de vinculación

Utilice este comando para mostrar la configuración de vinculación y garantizar la funcionalidad adecuada de LACP:

cisco-tac@C885A-M8:~$cat /proc/net/bonding/bond0

Ethernet Channel Bonding Driver: v5.15.0-141-generic

Bonding Mode: IEEE 802.3ad Dynamic link aggregation

Transmit Hash Policy: layer2 (0)

MII Status: up

MII Polling Interval (ms): 100

Up Delay (ms): 0

Down Delay (ms): 0

Peer Notification Delay (ms): 0

802.3ad info

LACP active: on

LACP rate: slow

Min links: 0

Aggregator selection policy (ad_select): stable

Slave Interface: ens211f1np1

MII Status: up

Speed: ****** Mbps

Duplex: full

Link Failure Count: 0

Permanent HW addr: 5c:25:73:3a:9a:fd

Slave queue ID: 0

Aggregator ID: 1

Actor Churn State: none

Partner Churn State: none

Actor Churned Count: 0

Partner Churned Count: 0

Slave Interface: ens211f0np0

MII Status: up

Speed: ****** Mbps

Duplex: full

Link Failure Count: 0

Permanent HW addr: 5c:25:73:3a:9a:fc

Slave queue ID: 0

Aggregator ID: 1

Actor Churn State: none

Partner Churn State: none

Actor Churned Count: 0

Partner Churned Count: 0

Asegúrese de que el modo de vinculación esté configurado en agregación dinámica de enlaces IEEE 802.3ad:

- LACP activo: on indica que el LACP está habilitado.

- Velocidad de LACP: slow refleja la velocidad LACP configurada, aunque puede diferir según la configuración.

- Verifique las interfaces esclavas: Tanto ens211f0np0 como ens211f1np1 pueden aparecer como interfaces esclavas bajo el enlace.

- Estado de MII: la función up (activar) confirma que los enlaces están activos.

- Los valores de la dirección de hardware permanente deben coincidir con las direcciones de hardware de las interfaces respectivas.

- Asegúrese de que ambas interfaces esclavas formen parte del mismo ID de agregador (por ejemplo, ID de agregador: 1).

Resolución de problemas

Si los resultados de la verificación no coinciden con las expectativas:

- Verifique el archivo de configuración YAML de Netplan para ver si hay errores o si faltan parámetros.

- Asegúrese de que el soporte y la configuración de LACP sean correctos en el switch ascendente.

- Confirme que el comando sudo netplan apply se haya completado correctamente

Información Relacionada

TACDCN-2018

Hoja de datos del servidor en rack Cisco UCS C885A M8

Hoja de especificaciones del servidor en rack UCS C885A M8