El conjunto de documentos para este producto aspira al uso de un lenguaje no discriminatorio. A los fines de esta documentación, "no discriminatorio" se refiere al lenguaje que no implica discriminación por motivos de edad, discapacidad, género, identidad de raza, identidad étnica, orientación sexual, nivel socioeconómico e interseccionalidad. Puede haber excepciones en la documentación debido al lenguaje que se encuentra ya en las interfaces de usuario del software del producto, el lenguaje utilizado en función de la documentación de la RFP o el lenguaje utilizado por un producto de terceros al que se hace referencia. Obtenga más información sobre cómo Cisco utiliza el lenguaje inclusivo.
Cisco ha traducido este documento combinando la traducción automática y los recursos humanos a fin de ofrecer a nuestros usuarios en todo el mundo contenido en su propio idioma. Tenga en cuenta que incluso la mejor traducción automática podría no ser tan precisa como la proporcionada por un traductor profesional. Cisco Systems, Inc. no asume ninguna responsabilidad por la precisión de estas traducciones y recomienda remitirse siempre al documento original escrito en inglés (insertar vínculo URL).
Este documento describe la información sobre cómo configurar LACP con Netplan en el servidor C885A-M8.
Desde BMC, no es posible realizar ninguna modificación en el lado de la red, todos los cambios deben realizarse desde OS Guest.
Servidor en rack UCS C885A M8
PID: UCSC-885A-M8-H11
Versión del firmware: 1.0.28
Switches Nexus 9000
Ubuntu 2.04.5 LTS
BlueField-3 P-Series DPU 400 GbE/NDR VPI de doble puerto
BlueField-3 E-series SuperNIC 400 GbE/NDR de puerto único
Adaptador de red Ethernet Intel(R) X710-T2L para OCP 3.0
La información que contiene este documento se creó a partir de los dispositivos en un ambiente de laboratorio específico. Todos los dispositivos que se utilizan en este documento se pusieron en funcionamiento con una configuración verificada (predeterminada). Si tiene una red en vivo, asegúrese de entender el posible impacto de cualquier comando.
Para garantizar una funcionalidad adecuada, verifique que la NIC no esté en modo DPU. El protocolo de control de agregación de enlaces (LACP) no se admite cuando la NIC está en modo DPU. Si es necesario, conviértalo al modo NIC.
Ejecute el comando para enumerar las direcciones PCIe para los puertos deseados:
cisco-tac@C885A-M8:~$ sudo mst start
Starting MST (Mellanox Software Tools) driver set
Loading MST PCI module - Success
Loading MST PCI configuration module - Success
Create devices
Unloading MST PCI module (unused) - Success
Nota: Esto no es necesario, pero puede ayudar a designar el dispositivo correcto al hacer cambios con mlxconfig
cisco-tac@C885A-M8:~$ sudo mst status -v
MST modules:
------------
MST PCI module is not loaded
MST PCI configuration module loaded
PCI devices:
------------
DEVICE_TYPE MST PCI RDMA NET NUMA
BlueField3(rev:1) /dev/mst/mt41692_pciconf9 f1:00.0 mlx5_6 net-ens205f0 1
BlueField3(rev:1) /dev/mst/mt41692_pciconf8 c5:00.0 mlx5_7 net-ens206f0 1
BlueField3(rev:1) /dev/mst/mt41692_pciconf7 a4:00.0 mlx5_11 net-ens208f0 1
BlueField3(rev:1) /dev/mst/mt41692_pciconf6 97:00.0 mlx5_10 net-ens207f0 1
BlueField3(rev:1) /dev/mst/mt41692_pciconf5.1 91:00.1 mlx5_9 net-ens214f1np1 1
BlueField3(rev:1) /dev/mst/mt41692_pciconf5 91:00.0 mlx5_8 net-ens214f0np0 1
BlueField3(rev:1) /dev/mst/mt41692_pciconf4 69:00.0 mlx5_0 net-ens202f0 0
BlueField3(rev:1) /dev/mst/mt41692_pciconf3 4b:00.0 mlx5_3 net-ens201f0 0
BlueField3(rev:1) /dev/mst/mt41692_pciconf2.1 45:00.1 mlx5_2 net-ens214f1np1 0
BlueField3(rev:1) /dev/mst/mt41692_pciconf2 45:00.0 mlx5_1 net-ens211f0np0 0
BlueField3(rev:1) /dev/mst/mt41692_pciconf1 2b:00.0 mlx5_5 net-ens203f0 0
BlueField3(rev:1) /dev/mst/mt41692_pciconf0 09:00.0 mlx5_4 net-ens204f0 0
Este comando proporciona una lista detallada de dispositivos, lo que le permite identificar los identificadores MST y PCI adecuados.
En esta situación se utilizan NET net-ens214f1np1 y NET net-ens211f0np0.
Mediante el identificador MST o PCI identificado, verifique la configuración de NIC actual con uno de los siguientes comandos:
sudo mlxconfig -d 0000:<PCI_ID> -e q | grep 'INTERNAL_CPU_MODEL\|EXP_ROM_UEFI_ARM_ENABLE\|INTERNAL_CPU_OFFLOAD_ENGINE'
or
sudo mlxconfig -d /dev/<MST_DEVICE> -e q | grep 'INTERNAL_CPU_MODEL\|EXP_ROM_UEFI_ARM_ENABLE\|INTERNAL_CPU_OFFLOAD_ENGINE'
cisco-tac@C885A-M8:~$ sudo sudo mlxconfig -d dev/mst/mt41692_pciconf1 -e q | grep \ 'INTERNAL_CPU_MODEL\|EXP_ROM_UEFI_ARM_ENABLE\|INTERNAL_CPU_OFFLOAD_ENGINE'
Configurations: Default Current Next Boot
INTERNAL_CPU_MODEL EMBEDDED_CPU(1) EMBEDDED_CPU(1) EMBEDDED_CPU(1)
INTERNAL_CPU_OFFLOAD_ENGINE ENABLED(0) ENABLED(0) ENABLED(0)
EXP_ROM_UEFI_ARM_ENABLE True(1) True(1) True(1)
Nota: El modelo de CPU y las variables ARM UEFI enable nos confirman que la tarjeta es compatible con el modo DPU
En el ejemplo anterior:
INTERNAL_CPU_OFFLOAD_ENGINE se establece en ENABLED\(0\) para las configuraciones de arranque actual y siguiente.
Esto indica que la NIC está funcionando actualmente en modo DPU y debe convertirse al modo NIC para continuar con la configuración LACP.
Para convertir la NIC al modo NIC, ejecute el comando:
sudo mlxconfig -d 0000:<PCI_ID> s INTERNAL_CPU_OFFLOAD_ENGINE=0
cisco-tac@C885A-M8:~$ sudo mlxconfig -d 0000:45:00.0 s INTERNAL_CPU_OFFLOAD_ENGINE=0
Device #1:
----------
Device type: BlueField3
Name: 900-9D3B6-00SN-A_Ax
Description: NVIDIA BlueField-3 B3240 P-Series Dual-slot FHHL DPU; 400GbE / NDR IB (default mode); Dual-port QSFP112; PCIe Gen5.0 x16 with x16 PCIe extension option; 16 Arm cores; 32GB on-board DDR; integrated BMC; Crypto Disabled
Device: 0000:45:00.0
Configurations: Next Boot New
INTERNAL_CPU_OFFLOAD_ENGINE ENABLED(0) DISABLED(1)
Apply new Configuration? (y/n) [n] : y
Applying... Done!
-I- Please reboot machine to load new configurations.
cisco-tac@C885A-M8:~$ sudo init 0
Nota: Con sudo init 0, apaga el host para asegurarse de que la configuración se cargue correctamente.
Después de ejecutar el comando sudo init 0, el sistema host se va a apagar. Utilice el Controlador de administración de la placa base (BMC) para reiniciar el sistema operativo del host.
Una vez que el sistema vuelva a estar en línea, compruebe que los cambios de configuración se hayan aplicado correctamente ejecutando los mismos comandos de verificación que se muestran anteriormente:
sudo mlxconfig -d 0000:<PCI_ID> -e q | grep 'INTERNAL_CPU_MODEL\|EXP_ROM_UEFI_ARM_ENABLE\|INTERNAL_CPU_OFFLOAD_ENGINE'
or
sudo mlxconfig -d /dev/<MST_DEVICE> -e q | grep 'INTERNAL_CPU_MODEL\|EXP_ROM_UEFI_ARM_ENABLE\|INTERNAL_CPU_OFFLOAD_ENGINE'
Si la configuración se ha aplicado correctamente, puede continuar con la creación de la configuración de canal de puerto, enlace o LAG deseada.
El estándar actual para configurar interfaces en Ubuntu es Netplan. Para empezar, compruebe los archivos de configuración de Netplan YAML existentes ejecutando:
ls /etc/netplan/
De forma predeterminada, normalmente sólo hay un archivo YAML en el directorio /etc/netplan/. Los archivos de configuración de Netplan utilizan la convención de nomenclatura ##-<nombre relevante>.yaml, donde ## es un número entre 01 y 99. Tenga en cuenta que los archivos de configuración con números más bajos se sobrescriben con los archivos con números más altos si hay conflictos.
Para asegurarse de que los cambios son persistentes y organizados, se recomienda crear un nuevo archivo YAML en lugar de editar el archivo predeterminado. Si modifica el archivo predeterminado, existe el riesgo de que los cambios no persistan después de un reinicio. Para esta guía, vamos a crear un nuevo archivo llamado
51-lacp-config.yaml.
Para crear el nuevo archivo, utilice el comando:
sudo nano /etc/netplan/51-lacp-config.yaml
Asegúrese de que la numeración de los archivos no entra en conflicto con los archivos existentes y utilice la jerarquía adecuada para evitar comportamientos inesperados.
Este es un ejemplo de un archivo de configuración YAML de Netplan (51-lacp-config.yaml) para configurar LACP con VLAN.
cisco-tac@C885A-M8:~$ cat /etc/netplan/51-lacp-config.yaml
network:
ethernets:
ens211f0np0:
mtu: 9000
ens211f1np1:
mtu: 9000
bonds:
bond0:
mtu: 9000
dhcp4: false
dhcp6: false
interfaces:
- ens211f0np0
- ens211f1np1
parameters:
mode: 802.3ad
mii-monitor-interval: 100
vlans:
bond0.2001:
id: 2001
link: bond0
Valor | Consideración | Comentarios |
Configuración de MTU | Para ens211f0np0 y ens211f1np1, la MTU se establece en 9000. | Se recomienda establecer la MTU en el valor más alto necesario para evitar posibles problemas de MTU en el futuro. Especifique siempre la MTU cada vez que mencione una interfaz |
Modo LACP | El parámetro mode se establece en 802.3ad | Este es el modo requerido para el LACP. Existen otros modos de vinculación, pero no son adecuados para LACP |
Configuración de VLAN | La sección bond0.2001 crea una subinterfaz para enviar varias VLAN a través del enlace. El campo id especifica el ID de VLAN (en este caso, 2001). El campo link asocia la subinterfaz con la interfaz vinculada (bond0) |
Si tiene varios enlaces en el mismo archivo YAML, esto garantiza que se aplique la configuración correcta al enlace correcto |
Direcciones IP y rutas | El campo de direcciones especifica la dirección IP y la máscara de subred para la VLAN (por ejemplo, 10.10.200.33/27) | La sección de rutas le permite definir cualquier ruta que esta interfaz maneje. Aunque el ejemplo incluye la ruta para 10.10.200.32/27, es redundante en esta configuración de laboratorio pero demuestra cómo agregar varias rutas |
Servidores DNS | La sección nameservers permite especificar servidores DNS (direcciones) y dominios de búsqueda (búsqueda) | Necesita proporcionar detalles del servidor DNS basados en el entorno de trabajo. |
MTU para VLAN | El campo mtu en la configuración de VLAN se establece en 9000 | Si es necesario, puede configurar diferentes valores de MTU por VLAN |
Campo Versión | El campo de versión al final del archivo se puede incluir y establecer en 2 | Asegúrese de que se ha sangrado con dos espacios para mantener la sintaxis YAML |
Para aplicar la nueva configuración, ejecute:
sudo netplan apply
Si encuentra advertencias sobre permisos, ajuste los permisos de archivo:
sudo chmod 600 /etc/netplan/51-lacp-config.yaml
sudo netplan apply
cisco-tac@C885A-M8:~$ sudo netplan apply
** (generate:140701): WARNING **: 17:10:58.313: Permissions for /etc/netplan/51-lacp-config.yaml are too open. Netplan configuration should NOT be accessible by others.
cisco-tac@C885A-M8:~$ ls -l /etc/netplan/
total 16
-rw------- 1 root root 869 Apr 24 14:26 50-cloud-init.yaml
-rw-r--r-- 1 root root 586 Apr 25 17:10 51-lacp-config.yaml
cisco-tac@C885A-M8:~$ sudo chmod 600 /etc/netplan/51-lacp-config.yaml
cisco-tac@C885A-M8:~$ ls -l /etc/netplan/
total 16
-rw------- 1 root root 869 Apr 24 14:26 50-cloud-init.yaml
-rw------- 1 root root 586 Apr 25 17:10 51-lacp-config.yaml
cisco-tac@C885A-M8:~$ sudo netplan apply
Después de aplicar la configuración de Netplan y reiniciar el sistema, confirme que la configuración de LACP está funcionando como se esperaba mediante los comandos.
Utilice este comando para mostrar el estado de las interfaces de red:
cisco-tac@C885A-M8:~$ip link show
4: ens211f0np0: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 9000 qdisc mq master bond0 state UP mode DEFAULT group default qlen 1000
link/ether 86:a2:e3:01:3d:f2 brd ff:ff:ff:ff:ff:ff permaddr 5c:25:73:3a:9a:fc
altname enp69s0f0np0
5: ens211f1np1: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 9000 qdisc mq master bond0 state UP mode DEFAULT group default qlen 1000
link/ether 86:a2:e3:01:3d:f2 brd ff:ff:ff:ff:ff:ff permaddr 5c:25:73:3a:9a:fd
altname enp69s0f1np1
Asegúrese de que las interfaces (ens211f0np0 y ens211f1np1) muestran:
Utilice este comando para mostrar la configuración de vinculación y garantizar la funcionalidad adecuada de LACP:
cisco-tac@C885A-M8:~$cat /proc/net/bonding/bond0
Ethernet Channel Bonding Driver: v5.15.0-141-generic
Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2 (0)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
Peer Notification Delay (ms): 0
802.3ad info
LACP active: on
LACP rate: slow
Min links: 0
Aggregator selection policy (ad_select): stable
Slave Interface: ens211f1np1
MII Status: up
Speed: ****** Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 5c:25:73:3a:9a:fd
Slave queue ID: 0
Aggregator ID: 1
Actor Churn State: none
Partner Churn State: none
Actor Churned Count: 0
Partner Churned Count: 0
Slave Interface: ens211f0np0
MII Status: up
Speed: ****** Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 5c:25:73:3a:9a:fc
Slave queue ID: 0
Aggregator ID: 1
Actor Churn State: none
Partner Churn State: none
Actor Churned Count: 0
Partner Churned Count: 0
Asegúrese de que el modo de vinculación esté configurado en agregación dinámica de enlaces IEEE 802.3ad:
Si los resultados de la verificación no coinciden con las expectativas:
Revisión | Fecha de publicación | Comentarios |
---|---|---|
1.0 |
02-Jul-2025 |
Versión inicial |