各 OpenStack 制御ノードで、スケジューラを設定します。

1. NUMAToplogy フィルタと AggregateInstanceExtraSpec フィルタを含めるようにスケジューラフィルタを設定します。

   例:

   $ sudo vim /etc/nova/nova.conf
   ...
   scheduler_default_filters=RetryFilter,AvailabilityZoneFilter,RamFilter,ComputeFilter,
   ComputeCapabilitiesFilter,ImagePropertiesFilter,CoreFilter,NUMATopologyFilter,
   AggregateInstanceExtraSpecsFilter
     

2. nova スケジューラサービスを再起動します。

   例:

   $ sudo systemctl restart openstack-nova-scheduler.service
     

関連する各 OpenStack のコンピューティングノードで、どのハイパーバイザプロセスをゲストに使用し、どのハイパーバイザプロセスをゲストに使用しないようにするかを設定します。

1. ハイパーバイザプロセスがゲスト用に予約されているコアで実行されていないことを確認します。

   たとえば、ゲストにコア 2、3、6、および 7 を予約するには、grub ブートローダーを更新して再起動します。

   例:

   $ sudo grubby --update-kernel=ALL --args="isolcpus=2,3,6,7"
   $ sudo grub2-install /dev/sda
   $ sudo reboot
     

2. カーネルのコマンドラインに変更が反映されていることを確認します。

   例:

   $ cat /proc/cmdline
   ...  isolcpus=2,3,6,7 ...
     

3. ゲスト仮想マシンのインスタンスを設定して、特定のコアでの実行のみが許可され、ハイパーバイザプロセス用の RAM を予約するようにします。たとえば、コア 2、3、6、および 7 を使用し、ハイパーバイザプロセスに 512 MB を予約するには、次の手順を実行します。

   例:

   $ sudo vim /etc/nova/nova.conf
   ...
   vcpu_pin_set=2,3,6,7
   ...
   reserved_host_memory_mb=512
   ...
     

4. nova コンピューティングサービスを再起動します。

   例:

   $ sudo systemctl restart openstack-nova-compute.service
     

グローバルパラメータを設定します。

1. ピン接続要求を受信したホストに対して performance-pinned ホスト集約を作成し、その識別のために任意の属性 pinned=true を追加します。

   例:

   $ nova aggregate-create performance-pinned
   $ nova aggregate-set-metadata performance-pinned pinned=true
     

2. 他のすべてのホストに対して通常の集約を作成し、同じ任意の属性を追加しますが、それを識別するには、pinned=false を設定します。

   例:

   $ nova aggregate-create normal
   $ nova aggregate-set-metadata normal pinned=false
     

3. 以前に有効になっていたコンピューティングノードを、performance-pinned ホスト集約に追加し、他のすべてのコンピューティングノードを通常のホスト集約に追加します。

   例:

   $ nova aggregate-add-host normal             compute100.cloud.com
   $ nova aggregate-add-host normal             compute101.cloud.com
   $ nova aggregate-add-host normal             compute102.cloud.com
   $ nova aggregate-add-host performance-pinned compute103.cloud.com
   $ nova aggregate-add-host performance-pinned compute104.cloud.com
   $ nova aggregate-add-host performance-pinned compute105.cloud.com
     

Cisco ESC ノースバウンド API を使用してフレーバー属性を設定します。

1. フレーバー属性を設定します。

   • hw:cpu_policy=dedicated

   • aggregate_instance_extra_specs:pinned=true

   このフレーバーを使用して作成されたすべてのインスタンスは、集約メタデータ内のピン接続された pinned=true を使用して、ホスト集約のホストに送信されます。

   例:

    version='1.0' encoding='ASCII'?>
   <esc_datamodel xmlns="http://www.cisco.com/esc/esc">
     <flavors>
       <flavor>
         <name>testfl6</name>
         <vcpus>1</vcpus>
         <memory_mb>2048</memory_mb>
         <root_disk_mb>10240</root_disk_mb>
         <ephemeral_disk_mb>0</ephemeral_disk_mb>
         <swap_disk_mb>0</swap_disk_mb>
         <properties>
           <property>
             <name>hw:cpu_policy</name><value>dedicated</value>
             <name>aggregate_instance_extra_specs:pinned</name><value>true</value>
           </property>
         </properties>
       </flavor>
     </flavors>
   </esc_datamodel>
     

2. 追加の仕様が通常の集約のコンピューティングホストと一致するように、他のすべてのフレーバーを更新します。

   例:

   $ nova flavor-key <flavor_Id> set aggregate_instance_extra_specs:pinned=false
     

3. 確認するには、変更されたフレーバーを使用して VM インスタンスを起動し、VM インスタンスが開始されたコンピューティングノードを検索します。

   例:

   $ nova boot --image <test-image> --flavor <modified-flavor> test-instance
   $ nova show test-instance | egrep 'OS-EXT-SRV-ATTR:hypervisor_hostname|OS-EXT-SRV-ATTR:instance_name'
   | OS-EXT-SRV-ATTR:hypervisor_hostname  | compute3.cloud.com
   | OS-EXT-SRV-ATTR:instance_name        | instance-00000cee
     

4. 返されたコンピューティングノードにログインし、virsh ツールを使用して、返されたインスタンスの XML を抽出します。

   例:

   $ ssh compute3.cloud.com
   ...
   $ sudo virsh dumpxml instance-00000cee
   ...
     <vcpu placement='static' cpuset='2-3,6-7'>1</vcpu>
     

ページ数を設定するには、/etc/sysctrl.conf を編集します。

vm.nr_hugepages = 32768
  

ページサイズを設定するには、/proc/meminfo を編集します。

Hugepagesize: 2048 kB
  

Cisco ESC ノースバウンド API を使用して、hw: mem_page_size = 2048 のフレーバを作成します。

<?xml version='1.0' encoding='ASCII'?>
<esc_datamodel xmlns="http://www.cisco.com/esc/esc">
  <flavors>
    <flavor>
      <name>testfl6</name>
      <vcpus>1</vcpus>
      <memory_mb>2048</memory_mb>
      <root_disk_mb>10240</root_disk_mb>
      <ephemeral_disk_mb>0</ephemeral_disk_mb>
      <swap_disk_mb>0</swap_disk_mb>
      <properties>
        <property>
          <name>hw:mem_page_size</name><value>2048</value>
        </property>
      </properties>
    </flavor>
  </flavors>
</esc_datamodel>
  

Red hat Enterprise Linux で VT-d サポートを有効にします。

1. 「/etc/default/grub」を編集し、行の末尾に「intel_iommu = on」を追加します。GRUB_CMDLINE_LINUX

   例:

   GRUB_TIMEOUT=5
   GRUB_DEFAULT=saved
   GRUB_DISABLE_SUBMENU=true
   GRUB_TERMINAL_OUTPUT="console"
   GRUB_CMDLINE_LINUX="rd.lvm.lv=rhel/swap crashkernel=auto rd.lvm.lv=rhel/root rhgb quiet intel_iommu=on"
   GRUB_DISABLE_RECOVERY="true"
     

2. grub2-mkconfig コマンドを実行して、grub.conf を再生成し、サーバを再起動します。

   例:

   grub2-mkconfig -o /boot/grub2/grub.cfg on BIOS systems
     

   または

   grub2-mkconfig -o /boot/efi/EFI/redhat/grub.cfg on UEFI systems
     

3. コマンドを実行して、IOMMU がアクティブになっていることを確認します。dmesg | grep -iE "dmar|iommu"

   例:

   IOMMU が有効になっている dmesg コマンドの出力例：

   [ 0.000000] Kernel command line: BOOT_IMAGE=/vmlinuz-3.10.0-229.el7.x86_64 root=/dev/mapper/rhel-root 
   ro rd.lvm.lv=rhel/swap crashkernel=auto rd.lvm.lv=rhel/root rhgb quiet intel_iommu=on
   [ 0.000000] Intel-IOMMU: enabled

Linux カーネルからデバイスをアンバインドします。

1. PCI パススルーが機能するには、デバイスが Linux カーネルドライバからアンバインドされている必要があります。これを実現するには pci_stub モジュールを使用します。

   例:

   Load pci_stub module "modprobe pci_stub"
     

2. PCI パススルーに使用するネットワークアダプタを見つけます。lspci を実行し、目的のネットワークカードの PCI アドレスをメモします。

   例:

   この例では、PCI パススルーに PCI デバイス 15: 00.0 を使用する必要があります。

   12:00.0 Ethernet controller: Cisco Systems Inc VIC Ethernet NIC (rev a2)
   13:00.0 Ethernet controller: Cisco Systems Inc VIC Ethernet NIC (rev a2)
   14:00.0 Ethernet controller: Cisco Systems Inc VIC Ethernet NIC (rev a2)
   15:00.0 Ethernet controller: Cisco Systems Inc VIC Ethernet NIC (rev a2)
     

3. ベンダー ID とデバイス ID を特定します。lspci -n の実行

   例:

   この部分的な出力では、ベンダー ID 1137 とデバイス ID 0071 が識別されます。

   11:00.0 0c04: 1137:0071 (rev a2)
   12:00.0 0200: 1137:0071 (rev a2)
   13:00.0 0200: 1137:0071 (rev a2)
   14:00.0 0200: 1137:0071 (rev a2)
   15:00.0 0200: 1137:0071 (rev a2)
     

4. この設定を使用して、目的のデバイスを Linux カーネルドライバからアンバインドします。

   強調表示されたテキストは、デバイス情報に合わせて変更する必要があります。

   例:

   echo "1137 0071" > /sys/bus/pci/drivers/pci-stub/new_id
   echo 0000:15:00.0 > /sys/bus/pci/devices/0000:15:00.0/driver/unbind
   echo 0000:15:00.0 > /sys/bus/pci/drivers/pci-stub/bind
     

5. dmesg | grep stub を実行して、これらのコマンドが成功したことを確認します。

   例:

   [ 276.705315] pci-stub 0000:15:00.0: claimed by stub
     

6. 変更を永続的にするには、pci-stub.ids を grub CMDLINE に追加し、grub を更新して、ホストを再起動します。

   （注）	このコードは、指定されたベンダー/デバイス ID を持つすべての vNIC（この例では 1137:0071）に適用されます。

   例:

   edit /etc/default/grub 
   GRUB_CMDLINE_LINUX="..pci-stub.ids=1137:0071"
   grub2-mkconfig -o /boot/grub2/grub.cfg
   reboot  
     

OpenStack で nova を設定します。

1. （VendorID、productID）の組み合わせを使用して、（vendorID、productid）の組み合わせを使用した PCI デバイスの通過を許可するか、または通過を許可するデバイスの PCI アドレスを指定することにより、PCI パススルーに使用できる PCI デバイスを指定します。

   pci_passthrough_whitelist={"vendor_id": "1137", "product_id": "0071"}
     

   または

   pci_passthrough_whitelist = [ {"address": "01:00.1"}, {"address": "02:00.1"} ]
     

2. PCI エイリアスと（製品 ID、ベンダー ID）の組み合わせマッピングを指定します。この設定では現在 PCI アドレスがサポートされていないため、ホワイトリストの PCI デバイスはすべて同じ名前になっています。

   例:

   pci_alias={"vendor_id":"1137", "product_id":"0071", "name":"nic1"}
     

3. nova.conf に次の追加の変更を加えます。

   例:

   scheduler_driver=nova.scheduler.filter_scheduler.FilterScheduler
   scheduler_available_filters=nova.scheduler.filters.all_filters
   scheduler_available_filters=nova.scheduler.filters.pci_passthrough_filter.PciPassthroughFilter
   scheduler_default_filters=RamFilter,ComputeFilter,AvailabilityZoneFilter,ComputeCapabilitiesFilter,ImagePropertiesFilter
     

4. nova を再起動します。

   例:

   openstack-service restart nova
     

属性 pci_passthrough を使用してフレーバーを作成します。エイリアスは <PCI_DEVICE_ALIAS>:<NUM_DEVICES_REQUESTED> に設定されています。PCI_DEVICE_ALIAS は、/etc/nova/nova.conf の pci_alias 設定から値を参照します。

$ cat fl.xml
<?xml version='1.0' encoding='ASCII'?>
<esc_datamodel xmlns="http://www.cisco.com/esc/esc">
    <flavors>
        <flavor>
            <name>testfl6</name>
              <vcpus>1</vcpus>
              <memory_mb>2048</memory_mb>
              <root_disk_mb>10240</root_disk_mb>
              <ephemeral_disk_mb>0</ephemeral_disk_mb>
              <swap_disk_mb>0</swap_disk_mb>
              <properties><property>
                  <name>pci_passthrough:alias</name><value>nic1g:1</value>
              </property></properties>
        </flavor>
    </flavors>
</esc_datamodel>
$ sudo /opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli edit-config ./fl.xml