Aperçu

Ce chapitre traite des sujets suivants :

Aperçu

Le nœud Cisco UCS  X580p PCIe (UCSX-580P) est le nœud PCIe de deuxième génération qui fait partie du système Cisco UCS X-Fabric.

Le nœud PCIe s’associe aux nœuds de traitement informatique Cisco UCS X-Series M8 et aux modules Cisco UCS X9516 X-Fabric pour prendre en charge des charges de travail exigeantes qui nécessitent une puissance de traitement GPU. Le nœud est conçu pour fonctionner avec le matériel connexe afin de simplifier l’ajout, le retrait ou la mise à niveau des GPU sur les nœuds de traitement informatique.

Le nœud PCIe prend en charge la connectivité PCIe pour une variété de GPU.

  • GPU : quatre cartes PCIe x16 FHFL à double logement (pleine hauteur, pleine longueur), avec zéro, un ou deux GPU par module GPU.


    Remarque

    Chaque nœud PCIe prend en charge les GPU au moyen de deux modules GPU. Chaque nœud PCIe peut être configuré avec différents types de GPU, mais chaque module GPU doit être configuré avec le même type de GPU. Par exemple, un nœud PCIe peut prendre en charge des GPU NVIDIA H200 et des GPU NVIDIA L40S, mais chaque type doit être installé dans le même module GPU. Pour les GPU pris en charge, consultez GPU pris en charge.

  • La connexion hôte entre la carte mezzanine PCIe (MEZZ) et le nœud PCIe est prise en charge par un connecteur PCIe Gen 5 (2 x16) dans le logement MEZZ arrière.

  • Option de module GPU : un maximum de deux modules GPU est pris en charge dans chaque nœud PCIe. Chaque module GPU prend en charge jusqu’à deux GPU FHFL à double logement.

Panneau avant

Le nœud Cisco UCS  X580p PCIe est un nœud unique qui occupe deux logements dans le châssis de serveur Cisco UCS X-Series. Chaque nœud se charge par l’avant; il est donc inséré et retiré par l’avant du châssis Cisco UCS X9508.

L’image suivante montre le panneau avant du nœud PCIe.

Vue du panneau avant du nœud PCIe affichant les logements de nœud PCIe 1 et 2, les poignées d’éjection de nœud PCIe, les logements de nœud PCIe 3 et 4, les voyants DEL d’état du nœud PCIe et un trou de montage pour des fonctionnalités physiques supplémentaires.

1

Logements 1 et 2 du nœud PCIe

2

Poignées d’éjection du nœud PCIe, 2

3

Logements 3 et 4 du nœud PCIe

4

Voyants DEL d’état du nœud PCIe.

Consultez Voyants DEL.

5

Trou de montage pour éléments physiques supplémentaires.

-

Identification du nœud

Chaque nœud Cisco UCS  X580p PCIe (UCSX-580P) comporte un code QR d’identification de produit dans le coin supérieur droit du nœud.

Vue avant du nœud PCIe indiquant l’emplacement du code QR d’identification du produit dans le coin supérieur droit du nœud.

Le code QR d’identification de nœud contient des renseignements qui identifient de façon unique le produit, tels que :

  • L’identifiant de produit (PID) ou l’identifiant virtuel (VID) de Cisco

  • Numéro de série du produit

Le code QR d’identification de nœud s’applique à l’ensemble du nœud PCIe, et non aux GPU individuels qui y sont installés.

Il vous sera utile de balayer le code QR pour que les renseignements soient disponibles si vous devez communiquer avec le personnel de Cisco.

Voyants DEL

Le panneau avant du nœud PCIe comporte les voyants DEL suivants.

Vue du panneau avant du nœud PCIe met en évidence le voyant DEL d’état et le DEL d’ID ou de localisateur.
Tableau 1. Voyants DEL du nœud PCIe

DEL

Couleur

Description

État du nœud PCIe

Voyants DEL d’état du nœud PCIe.

Désactivé

Le nœud PCIe n’est pas sous tension/initialisé.

Vert fixe

L’hôte est sous tension ou la zone est active.

Vert clignotant (1 Hz)

L’hôte est hors tension. Vous pouvez retirer le nœud PCIe en toute sécurité.

Jaune fixe

Il existe un avertissement ou une condition de défaillance, comme un problème de configuration ou d’inventaire du système ou du périphérique.

Orange clignotant (1 Hz)

Défaillance grave, comme une condition d’alimentation insuffisante.

Voyant DEL d’ID/Localisateur du nœud PCIe

Voyant DEL d’ID/Localisateur du nœud PCIe

Désactivé

Balisage non activé.

Bleu clignotant (1 Hz)

Localise un nœud PCIe sélectionné : si le voyant DEL ne clignote pas, le nœud PCIe n’est pas sélectionné.

Vous pouvez activer le voyant DEL dans UCS Intersight, ce qui permet de l’activer ou de le désactiver.

Options de module GPU

Chaque nœud PCIe contient un type de module GPU qui accepte un maximum de deux GPU FHFL à double logement au moyen de deux connecteurs PCIe x16 FHFL à double logement.

Chaque module GPU se fixe directement à la tôle du nœud PCIe. Les modules GPU sont identifiés par leur position A ou B lorsqu’ils sont installés sur le nœud PCIe. Le nœud comporte des étiquettes A ou Bsur le nœud PCIe, sous chaque module GPU, afin d’indiquer l’emplacement des modules.

L’alimentation et la signalisation sont prises en charge par des câbles qui relient chaque module GPU à la carte mezzanine arrière du nœud PCIe.

Si votre nœud PCIe n’est pas entièrement rempli, le module GPU vide doit être installé, et le module GPU lui-même doit comporter des caches de logement PCIe lorsqu’aucun GPU n’est présent. Par exemple, si vous avez un nœud PCIe avec deux GPU dans le module A, mais aucun GPU dans le module B, le module B doit contenir deux caches PCIe Cisco et être installé sur le nœud PCIe même s’il est vide.

Numérotation des logements

Les modules GPU et les logements GPU ont des identifiants spécifiques qui déterminent leur emplacement dans le nœud PCIe.

  • Pour le matériel, la numérotation des logements est composée de GPU_cage_Identifier/Slot.. Ainsi, par exemple, A/1 indique le module GPU A, logement 1.

  • Pour les logiciels de gestion Cisco, tels que Cisco Intersight Managed Mode (IMM), la numérotation des logements est composée de Cage [identifiant]-Logement [numéro]. Ainsi, par exemple, CageA-SLOT1 indique le module GPU A, logement 1.

Numérotation des modules GPU

Illustration 1. Numérotation des modules GPU
Illustration montrant la numérotation des modules GPU dans le nœud PCIe, identifiant le module GPU  A et le module GPU  B.

1

Module GPU A

Le module GPU A est contrôlé par CPU1 sur le nœud de traitement informatique Cisco UCS M8 jumelé au nœud PCIe.

2

Module GPU B

Le module GPU B est contrôlé par CPU2 sur le nœud de traitement informatique Cisco UCS M8 jumelé au nœud PCIe.

Numérotation des logements GPU

Illustration 2. Numérotation des logements GPU, affichage des nœuds
Illustration de la vue de nœud montrant la numérotation des logements GPU pour les logements 1 à 4 dans les modules GPU A et B.
Illustration 3. Numérotation des logements GPU, vue du panneau avant
Illustration de la vue du panneau avant indiquant la numérotation des logements de nœud PCIe pour les logements GPU 1 à 4.

Remarque

Les numéros de logement PCIe sont indiqués sur l’avant de chaque nœud PCIe X580p.

1

Logement 1 pour GPU à double logement FHFL

Le module GPU A (qui contient les logements 1 et 2) est contrôlé par CPU1 sur le nœud de traitement informatique Cisco UCS M8 jumelé au nœud PCIe.

2

Logement 2 pour GPU à double logement FHFL

3

 Logement 3 pour GPU à double logement FHFL.

Le module GPU B (qui contient les logements 3 et 4) est contrôlé par CPU2 sur le nœud de traitement informatique Cisco UCS M8 jumelé au nœud PCIe.

4

 Logement 4 pour GPU à double logement FHFL.

GPU pris en charge

Le tableau suivant présente les modèles et les facteurs de forme de GPU pris en charge par nœud Cisco UCS  X580p PCIe. Lors de la commande initiale du système, les GPU sont installés en usine, mais des GPU supplémentaires peuvent être commandés comme pièces de rechange à mesure que votre déploiement évolue. Lorsque des GPU supplémentaires sont commandés, chaque GPU répertorié dans le tableau suivant comprend un câble d’alimentation.

N’importe quel module GPU peut accepter tous les GPU pris en charge. Par exemple, le module A n’est pas « réservé » uniquement aux GPU H200.

Toutefois, gardez à l’esprit la considération suivante relative au mélange des GPU : les GPU peuvent être mélangés sur le nœud, mais pas dans les modules GPU. Par exemple, les GPU H200 NVL peuvent être installés dans le module A, et les GPU RTX PRO 6000 peuvent être installés dans le module B. Toutefois, vous ne pouvez pas installer un mélange de GPU H200 et RTX PRO 6000 dans le même module.

Tableau 2. GPU FHFL à double logement

GPU

PID de Cisco

NVIDIA L40S FHFL PCIe Gen 4

350 W, voies x16 (64 Gbit/s bidirectionnels), mémoire de 48 Go

UCSX-GPU-L40S=

NVIDIA H200 NVL à double logement, FHFL PCIe Gen 5

600 W, x16, 5x 8 ou 4x 16 voies, mémoire HBM3e de 141 Go

Pont NVLink bidirectionnel pour la prise en charge de l’interconnexion GPU point à point

UCSX-GPU-H200-NVL=

NVIDIA RTX PRO 6000 FHFL PCIe Gen 5

600 W, voies x16, mémoire de 141 Go

UCSX-GPU-RTXP6000=

Adaptateurs réseau pris en charge

Les adaptateurs réseau fournissent des connexions logiques, telles que la signalisation et les données, pour les nœuds PCIe.

Il est important de comprendre que les adaptateurs réseau pris en charge ne sont pas installés physiquement sur le nœud Cisco UCS  X580p PCIe, mais qu’ils sont nécessaires à la communication GPU à GPU entre les nœuds. Les adaptateurs réseau sont plutôt installés dans les modules UCS X9516 X-Fabric (XFM) présents dans le même châssis Cisco UCS X9508 que les nœuds PCIe. Pour en savoir plus sur le module Cisco UCS X9516 XFM, qui accepte les adaptateurs réseau, consultez la section X Fabric Modules dans le Guide d’installation et de service du châssis Cisco UCS X9508.

Les adaptateurs réseau suivants sont requis pour assurer la communication de bout en bout entre les nœuds PCIe et le reste du réseau.

Adaptateur pris en charge

PID de Cisco

Adaptateur réseau NVIDIA ConnectX-7, PCIe Gen 5

HHHL, port QSFP 1x400 Gbit/s, 66 W

Maximum de deux par module Cisco UCS X9516 X-Fabric (XFM).

UCSX-P-N7S400GFO

Adaptateur réseau NVIDIA ConnectX-7, PCIe Gen 5

HHHL, port QSFP 2x200 Gbit/s, 66 W

Maximum de deux par module Cisco UCS X9516 X-Fabric (XFM).

UCSX-P-N7D200GFO

Matériel requis

Le nœud Cisco UCS  X580p PCIe fait partie d’un système intégré qui fournit l’accélération GPU aux nœuds de traitement informatique Cisco UCS M8. Pour un système complet, le nœud PCIe nécessite les composants matériels suivants.

  • Un châssis de serveur X-Series, tel que le châssis de serveur Cisco UCS X9508, qui contient les nœuds de traitement informatique et PCIe jumelés ainsi que les modules Cisco X-Fabric. Pour en savoir plus, consultez le Guide d’installation du châssis du serveur Cisco UCS X9508.

  • Deux modules de commutation Cisco UCS X9516 X-Fabric PCIe Gen 5 (UCSX-FS-9516) pour le châssis Cisco UCS X9508, qui permettent de connecter les nœuds de traitement informatique Cisco UCS M8 au nœud Cisco UCS  X580p PCIe dans le châssis de serveur X-Series. Pour en savoir plus, consultez le Guide d’installation du châssis du serveur Cisco UCS X9508.

  • Nœuds de traitement informatique Cisco UCS jumelés au nœud Cisco UCS  X580p PCIe, notamment :

  • Carte mezzanine Cisco UCS PCIe Gen 5 pour X-Fabric (UCSX-V5-PCIME), qui est une carte mezzanine arrière requise sur chaque nœud de traitement informatique UCS M8 jumelé.

  • Le nœud Cisco UCS  X580p PCIe lui-même, jusqu’à deux par châssis Cisco UCS X9508, à jumeler avec les nœuds de traitement informatique M8.

  • Modules GPU conçus pour les GPU FHFL à double logement. Les modules GPU font partie de chaque nœud PCIe. Pour en savoir plus, consultez Options de module GPU.

  • Les GPU, qui fournissent le déchargement et l’accélération du traitement GPU. Pour en savoir plus, consultez GPU pris en charge.

Si vous avez besoin de matériel pour prendre en charge ou étendre votre prise en charge de nœuds PCIe, consultez Obtention du matériel.