Solución de problemas de reordenamiento de direcciones PCI de nodos HX

Introducción

Este documento describe el problema del reordenamiento de la tarjeta de interfaz de red (NIC) en varios adaptadores de tarjeta de interfaz virtual (VIC) de 3ª generación C. Se observa un cambio de comportamiento en relación con la ubicación de la tarjeta de interfaz de red virtual (VNIC)/adaptador de bus host virtual (vHBA), el orden del dispositivo, la enumeración de la interconexión de componentes periféricos (PCI) y la contribución a los problemas de repedido de PCI se observan desde varios sistemas operativos (OS).

Antecedentes

El problema se debe a:

• Adición/Eliminación de vNIC
• Reinicio del servidor
• Actualización del servidor

Los switches virtuales (vSwitches) que proporcionan comunicación de red al mundo exterior se configuran en función de los nombres de Virtual Machine Network Interface Controller (VMNIC). Si se cambia el nombre de todas las NIC, los vSwitches enrutan los paquetes a las interfaces que ya no existen.

  

Unified Computing System Manager (UCSM) sigue el algoritmo de equilibrio de carga estándar cuando trata con los puertos de host VIC13XX.

Tenga en cuenta que:

1. El número total de vNIC se distribuye proporcionalmente a su relación de capacidad relativa.
2. El sistema intenta colocar más vNIC en la tarjeta de adaptador con mayor capacidad vNIC y menos vNIC en la tarjeta de adaptador con menor capacidad. Como resultado, el sistema asigna correctamente la ubicación real a los vNIC que, a su vez, se asignan a la tarjeta adaptadora de enumeración de componentes periféricos (PCIe) deseada. Esta colocación se realiza en orden de su pedido real.
3. En el caso de la configuración mixta de Mezz, siempre y cuando todas las tarjetas de adaptador admitan la capacidad requerida, el algoritmo de distribución de carga garantiza que al menos una vNIC y un vHBA se colocarían en cada una de las tarjetas de adaptador.

Impacto del sistema del sistema operativo VMWare

La relación de numeración de la ID de PCI a VMNIC se determina en el momento del inicio y se ingresa automáticamente en el archivo esx.conf ubicado en /etc/vmware/ para la persistencia. El host ESX/ESXi primero analiza el número seg, luego el número bus, el número slot y finalmente el número de función. Este orden asegura que los puertos en la misma NIC multipuerto estén numerados secuencialmente.

Cuando se instala ESXi/ESX, el orden VMNIC es secuencial. Esto cambia con el tiempo a medida que se eliminan las NIC y se agregan otras NIC. Esto da como resultado un orden VMNIC que no es deseable y que no está sincronizado con la convención de nomenclatura en otros hosts ESX/ESXi.

ESXi no siempre sigue el orden de dirección PCI cuando enumera los dispositivos VMNIC y vHBA. En la instalación inicial, se sigue la dirección PCI. Sin embargo, a medida que se quitan y agregan dispositivos, existe un algoritmo específico que se encarga del pedido. Esto puede hacer que los pedidos de VNIC/vHBA sean incorrectos o estén fuera de sincronización entre el perfil de servicio y el sistema operativo.

Consulte VMware KB: http://kb.vmware.com/kb/2019871

ESXi 5.5 y 6.0 ha cambiado su algoritmo de orden, aunque estos síntomas continúan. Consulte: http://kb.vmware.com/kb/ 2091560

Resolución

En la instalación inicial, el nuevo esquema de nombres intenta asignar nombres en un orden predecible por una ubicación física. A partir de entonces, mantiene estable el nombre de un dispositivo incluso a través de la incorporación o eliminación de otros dispositivos al sistema. En el momento de la instalación, normalmente los dispositivos que se integran en la placa base del sistema reciben los nombres con número más bajo, en el orden en que sus puertos de salida están numerados en el caso del sistema, y los dispositivos que están en ranuras conectables reciben los siguientes nombres con número más alto, en el orden en que las ranuras se numeran en el caso. El lector debe tener en cuenta que este proceso ignora los dispositivos para los que no se encuentra ningún controlador.

Solución Aternativa

El problema se puede resolver con estas soluciones:

Paso 1. Reinstalación de ESXi.

Paso 2. Corrija manualmente el repedido desde ESXi Secure Shell (SSH).

Paso 3. Cree una política de ubicación vNIC/vHBA en UCSM.

Paso 2. Corrección Manual del Repedido desde ESXi SSH :

1. Obtenga la asignación de direcciones MAC desde la GUI de UCSM para el servidor como se muestra en la imagen:

 

2. Obtenga la asignación de direcciones MAC de ESXi CLI.

[root@ucs-116:~] esxcli network nic list

3. Verifique si las direcciones MAC de UCSM coinciden con el resultado de la lista nic de red esxcli.

En este resultado, las direcciones MAC no coinciden, vmnic2 y vmnic4 se intercambiaron. Esto se debe al problema de repedido del bus PCI.

4. Verifique el pedido del bus PCI en el esxcli.

localcli --plugin-dir /usr/lib/vmware/esxcli/int/ deviceInternal alias list | grep -i vmnic | sort -k3

El pedido de bus PCI entre vmnic2 y vmnic4 se intercambió.

5. Anote el número de bus PCI y utilice estos comandos para reparar el reordenamiento:

localcli --plugin-dir /usr/lib/vmware/esxcli/int/ deviceInternal alias store --alias 
vmnic2 --bus-address s00000000:05.00 --bus-type pci

localcli --plugin-dir /usr/lib/vmware/esxcli/int/ deviceInternal alias store --alias 
vmnic4 --bus-address s00000000:07.00 --bus-type pci

6. Reinicie y una vez que el host aparezca, verifique el pedido de PCI y la lista nic:

Ha corregido correctamente el reordenamiento de PCI. 

Paso 3. Cree una política de ubicación vNIC/vHBA en UCSM

En UCSM, navegue hasta Service Profile > Network > Modify vNIC/vHBA Placement.

1. Durante la instalación inicial: desplácese hasta Modificar la política de colocación de vNIC/vHBA como se muestra en la imagen.

2. En este momento verá Admin Host Port como ANY. Esto sería una asignación de ordenamiento cíclico, que pone vnic0 en el puerto host 1 y vnic1 en el puerto host 2. Si desea agregar dos vNIC adicionales al perfil de servicio, primero haga coincidir el puerto de host asignado de los vNIC que ya existen:

3. Luego, agregue cualquier vNIC nuevo solamente al puerto host 2. Esto mantendrá la dirección PCI de los vNIC anteriores y no causará ninguna reasignación:

Nota: Ahora tiene 1 vNIC en el puerto host 1 y 3 vNIC en el puerto host 2. El punto del balanceo de carga es para que la carga y el ancho de banda se distribuyan de manera uniforme. Si tiene una carga mayor en un puerto host, podría causar un impacto en el rendimiento/ancho de banda. Si se deben crear más de 2 vNIC adicionales, se recomienda que planee la reinstalación del sistema operativo para mantener los puertos host distribuidos uniformemente.

Defectos

• CSCut78943 - VIC1340/1380 con orden de ubicación de vNIC y vHBA incorrecto.
• CSCuv19605 - No se puede establecer el puerto de host para vNICs cuando se utiliza la política de conectividad.

Se ha registrado un defecto de mejora. El instalador de HX debe crear una política de ubicación de vNIC/vHBA para evitar el reordenamiento de NIC PCI.

Nota: Las modificaciones en la política de ubicación vCON, ya sea el vCON o el puerto host de administración, pueden dar lugar a cambios de enumeración PCIe diferentes. los vCON1 vNIC se enumeran antes de vCON2 vNIC.