ファームウェアのトラブルシューティング

アップグレード中のファブリック インターコネクトの回復

1 つまたは両方のファブリック インターコネクトがフェールオーバーまたはファームウェア アップグレード中に失敗した場合は、次のいずれかのアプローチを使用してこれらのファブリック インターコネクトを回復できます。

  • ファブリック インターコネクトに稼動中のイメージがない場合にファブリック インターコネクトを回復する。

  • ファブリック インターコネクトに稼動中のイメージがある場合にファブリック インターコネクトを回復する。

  • アップグレードまたはフェールオーバー中に無応答のファブリック インターコネクトを回復する。

  • 自動インストール によるアップグレード中に障害が発生した FSM からファブリック インターコネクトを回復する。

ファブリック インターコネクトまたはブートフラッシュに稼動中のイメージがない場合のファブリック インターコネクトの回復

両方または一方のファブリック インターコネクトがファームウェア アップグレード中にダウンし、リブートされ、ローダー プロンプトで停止した場合、かつファブリック インターコネクトに稼動中のイメージがない場合は、次の手順を実行できます。

手順


ステップ 1

スイッチをリブートし、コンソールで Ctrl+L キーを押して、起動時にローダー プロンプトを表示させます。

(注)  

 

ローダー プロンプトを画面に表示するには、選択したキーの組み合わせを複数回押さなければならない場合があります。

例:

loader>

ステップ 2

TFTP を通じてキックスタート イメージを受信するようにインターフェイスを設定します。

  1. [loader] > [prompt] でシステムのローカル IP アドレスとサブネット マスクを入力して、Enter を押します。

    例:

    loader> set ip 10.104.105.136 255.255.255.0
    
    
  2. デフォルト ゲートウェイの IP アドレスを指定します。

    例:

    loader> set gw 10.104.105.1
    
    
  3. 必要なサーバからキックスタート イメージ ファイルを起動します。

    例:

    loader> boot tftp://10.104.105.22/tftpboot/Images.3.0.2/ucs-6300-k9-kickstart.5.0.2.N1.3.02d56.bin
    switch(boot)#
    
    

(注)  

 

ブートフラッシュにキックスタート イメージがある場合は、このステップは不要です。

ステップ 3

switch(boot)# プロンプトで init system コマンドを入力します。

このコマンドによって、ファブリック インターコネクトが再フォーマットされます。

例:

switch(boot)# init system

ステップ 4

管理インターフェイスを設定します。

  1. 設定モードに変更し、mgmt0 インターフェイスの IP アドレスを設定します

    例:

    switch(boot)# config t
    switch(boot)(config)# interface mgmt0
    
    
  2. ip address コマンドを入力して、システムのローカル IP アドレスとサブネット マスクを設定します。

    例:

    switch(boot)(config-if)# ip address 10.104.105.136 255.255.255.0
    
    
  3. システムの mgmt0 インターフェイスを有効にするためにno shutdownコマンドを入力して下さい。

    例:

    switch(boot)(config-if)# no shutdown
    
    
  4. ip default-gateway コマンドを入力して、デフォルト ゲートウェイの IP アドレスを設定します。

    例:

    switch(boot)(config-if)# exit
    switch(boot)(config)# ip default-gateway 10.104.105.1
    
    
  5. exit を入力して、EXEC モードを終了します。

    例:

    switch(boot)(config)# exit
    
    

ステップ 5

キックスタート、システム、および Cisco UCS Manager 管理イメージを TFTP サーバからブートフラッシュにコピーします。

例:

switch(boot)# copy scp://<username>@10.104.105.22/tftpboot/Images.3.0.2/ucs-6300-k9-kickstart.5.0.2.N1.3.02d56.bin bootflash://
switch(boot)# copy scp://<username>@10.104.105.22/tftpboot/Images.3.0.2/ucs-6300-k9-system.5.0.2.N1.3.02d56.bin bootflash://
switch(boot)# copy scp://<username>@10.104.105.22/tftpboot/Images.3.0.2/ucs-manager-k9.3.0.2d56.bin bootflash:// 

ステップ 6

ブートフラッシュに installables および installables/switch ディレクトリを個別に作成します。

例:

switch(boot)# mkdir bootflash:installables
switch(boot)# mkdir bootflash:installables/switch

ステップ 7

キックスタート、システム、および Cisco UCS Manager イメージを installables/switch ディレクトリにコピーします。

例:

switch(boot)# copy ucs-6300-k9-kickstart.5.0.2.N1.3.02d56.bin bootflash:installables/switch/
switch(boot)# copy ucs-6300-k9-system.5.0.2.N1.3.02d56.bin bootflash:installables/switch/
switch(boot)# copy ucs-manager-k9.3.02d56.bin bootflash:installables/switch/

ステップ 8

管理イメージが nuova-sim-mgmt-nsg.0.1.0.001.bin にリンクされていることを確認します。

nuova-sim-mgmt-nsg.0.1.0.001.bin は予約済みシステム イメージが使用し、管理イメージを Cisco UCS Manager 準拠にするための名前です。

例:

switch(boot)# copy bootflash:installables/switch/ucs-manager-k9.3.02d56.bin nuova-sim-mgmt-nsg.0.1.0.001.bin

ステップ 9

スイッチをリロードします。

例:

switch(boot)# reload
This command will reboot this supervisor module. (y/n) ? y

ステップ 10

キックスタート イメージから起動します。

例:

loader> dir
nuova-sim-mgmt-nsg.0.1.0.001.bin
ucs-6300-k9-kickstart.5.0.2.N1.3.02d56.bin
ucs-6300-k9-system.5.0.2.N1.3.02d56.bin
ucs-manager-k9.3.02d56.bin
loader> boot ucs-6300-k9-kickstart.5.0.2.N1.3.02d56.bin
switch(boot)#

ステップ 11

システム イメージをロードします。

システム イメージが完全にロードされたら、[Basic System Configuration Dialog] ウィザードが表示されます。このウィザードを使用してファブリック インターコネクトを設定します。

例:

switch(boot)# load ucs-6300-k9-system.5.0.2.N1.3.02d56.bin
Uncompressing system image: bootflash:/ucs-6300-k9-system.5.0.2.N1.3.02d56.bin

...

---- Basic System Configuration Dialog ----

  This setup utility will guide you through the basic configuration of
  the system. Only minimal configuration including IP connectivity to
  the Fabric interconnect and its clustering mode is performed through these steps.

...

Apply and save the configuration (select 'no' if you want to re-enter)? (yes/no): yes
Applying configuration. Please wait.

Configuration file - Ok

ステップ 12

Cisco UCS Manager にログインし、ファームウェアをダウンロードします。

例:


UCS-A# scope firmware
UCS-A /firmware # download image scp://<username>@<server ip>//<downloaded image location>/<infra bundle name>
Password:
UCS-A /firmware # download image scp://<username>@<server ip>//<downloaded image location>/<b-series bundle name>
Password:
UCS-A /firmware # download image scp://<username>@<server ip>//<downloaded image location>/<c-series bundle name>
Password:
UCS-A /firmware # show download-task
Download task:
    File Name Protocol Server          Userid          State
    --------- -------- --------------- --------------- -----
    ucs-k9-bundle-b-series.3.0.2.B.bin
       	      Scp      10.104.105.22   abcdefgh        Downloading
    ucs-k9-bundle-c-series.3.0.2.C.bin
       	      Scp      10.104.105.22   abcdefgh        Downloading
    ucs-k9-bundle-infra.3.0.2.A.bin
       	      Scp      10.104.105.22   abcdefgh        Downloading
UCS-A /firmware # 

ステップ 13

ファームウェアのダウンロードが完了したら、ファブリック インターコネクト ファームウェアと Cisco UCS Manager ファームウェアをアクティブ化します。

このステップにより、Cisco UCS Manager およびファブリック インターコネクトが目的のバージョンに更新されてリブートされます。

例:

UCS-A# scope fabric-interconnect a
UCS-A /fabric-interconnect* # activate firmware kernel-version 5.0(2)N1(3.02d56) ignorecompcheck 
Warning: When committed this command will reset the end-point
UCS-A /fabric-interconnect* # activate firmware system-version 5.0(2)N1(3.02d56) ignorecompcheck
Warning: When committed this command will reset the end-point
UCS-A /fabric-interconnect* # commit-buffer 
UCS-A /fabric-interconnect # exit

UCS-A# scope system 
UCS-A /system # show image 

Name                                          Type                 Version
--------------------------------------------- -------------------- -------
ucs-manager-k9.3.02d56.bin                    System               3.0(2d)
UCS-A /system # activate firmware 3.0(2d) ignorecompcheck 
The version specified is the same as the running version
UCS-A /system # activate firmware 3.0(2d) ignorecompcheck 
The version specified is the same as the running version
UCS-A /system # 


ブートフラッシュに稼動中のイメージがある場合のアップグレード中のファブリック インターコネクトの回復

次の手順は、両方または一方のファブリック インターコネクトがファームウェア アップグレード中にダウンし、リブートされ、ローダー プロンプトで停止した場合に実行できます。

始める前に

次の手順を実行するには、ブートフラッシュに稼動中のイメージが存在する必要があります。

手順


ステップ 1

スイッチをリブートし、コンソールで Ctrl+L キーを押して、起動時にローダー プロンプトを表示させます。

(注)  

 

ローダー プロンプトを画面に表示するには、選択したキーの組み合わせを複数回押さなければならない場合があります。

例:

loader>

ステップ 2

dir コマンドを実行します。

ブートフラッシュ内の使用可能なカーネル、システム、および Cisco UCS Manager イメージのリストが表示されます。

例:

loader> dir
nuova-sim-mgmt-nsg.0.1.0.001.bin
ucs-6300-k9-kickstart.5.0.2.N1.3.02d56.bin
ucs-6300-k9-system.5.0.2.N1.3.02d56.bin
ucs-manager-k9.3.02d56.bin

ステップ 3

ブートフラッシュからカーネル ファームウェア バージョンを起動します。

(注)  

 

ここで使用できるカーネル イメージが、起動できる稼動イメージです。

例:

loader> boot ucs-6300-k9-kickstart.5.0.2.N1.3.02d56.bin

ステップ 4

管理イメージが nuova-sim-mgmt-nsg.0.1.0.001.bin にリンクされていることを確認します。

nuova-sim-mgmt-nsg.0.1.0.001.bin は予約済みシステム イメージが使用し、管理イメージを Cisco UCS Manager 準拠にするための名前です。

例:

switch(boot)# copy ucs-manager-k9.1.4.1k.bin nuova-sim-mgmt-nsg.0.1.0.001.bin

ステップ 5

システム イメージをロードします。

例:

switch(boot)# load ucs-6300-k9-system.5.0.2.N1.3.02d56.bin

ステップ 6

Cisco UCS Manager にログインし、ファブリック インターコネクトと Cisco UCS Manager ソフトウェアを必要なバージョンにアップデートします。


アップグレードまたはフェールオーバー中の無応答のファブリック インターコネクトの回復

アップグレードまたはフェールオーバー中は、新たなリスクを避けるため、次のタスクを実行しないでください。

  • Pmon の停止と開始

  • FI のリブート(電源の再投入または CLI)

  • HA フェールオーバー

手順


ステップ 1

CSCup70756 で説明されているように httpd_cimc.sh プロセスが失われた場合、KVM にアクセスできなくなります。フェールオーバーを続けるか、Cisco テクニカル サポートに連絡します。

ステップ 2

プライマリ側で KVM にアクセスできなくなった場合は、フェールオーバーを続行して問題を解決します。

ステップ 3

セカンダリ側で KVM が必要であるか、またはダウンしている場合は、デバッグ プラグインを使用してそのサービスのみを開始します。デバッグ イメージを実行するには、TAC にお問い合わせください。

ステップ 4

CSCuo50049 で説明されている /dev/null 問題が発生した場合は、必要に応じて両方のステップでデバッグ プラグインを使用して権限を 666 に修正します。Cisco テクニカル サポートに連絡してデバッグ コマンドを実行します。

ステップ 5

CSCup70756 および CSCuo50049 の両方が発生した場合、VIP が失われる可能性があります。VIP が失われた場合は、次の手順を実行します。

  1. GUI からプライマリ物理アドレスにアクセスし、GUI を使用して、回復するすべての IO モジュールのバックプレーン ポートを確認します。

  2. GUI がダウンしている場合、NXOS show fex detail コマンドを使用して、IO モジュールのバックプレーン ポートを確認します。

  3. 回避策を実行し、両方のファブリック インターコネクトのクラスタの状態が UP になっていることを確認します。

  4. 両方のファブリック インターコネクトのクラスタの状態が UP になっている場合は、SSH CLI 構文を使用してプライマリ ファブリック インターコネクトのリブートを再確認して、アップグレードを続行します。

    
    UCS-A# scope firmware
    UCS-A /firmware # scope auto-install
    UCS-A /firmware/auto-install # acknowledge primary fabric-interconnect reboot 
    UCS-A /firmware/auto-install* # commit-buffer
    UCS-A /firmware/auto-install #
    
    

自動インストール によるアップグレード中に障害が発生した FSM からのファブリック インターコネクトの回復

次の状態が発生した場合には、いずれに対しても、これらの手順が実行できます。

  • ファブリック インターコネクトにサービス パックがインストールされている状態で、Cisco UCS Manager リリース 3.1(2) からリリース 3.1(3) に 自動インストール を使用してファームウェアをアップグレードまたはダウングレードしている。

  • FSM の DeployPollActivate の段階で複数回再試行したか、FSM の障害のために、ファブリック インターコネクトの両方またはいずれかがダウンしている。

手順


ステップ 1

下位のファブリック インターコネクト上の FSM の DeployPollActivate 段階で複数の再試行が確認された場合、または FSM に障害が発生した場合には、次の操作を行います。

  1. デフォルトのインフラストラクチャ パックおよびサービス パックのスタートアップ バージョンをクリアします。

    例:

    UCS-A# scope org
    UCS-A /org # scope fw-infra-pack default
    UCS-A /org/fw-infra-pack # set infra-bundle-version ""
    UCS-A /org/fw-infra-pack* # commit-buffer
  2. 下位のファブリック インターコネクトからサービス パックを削除します。

    例:

    UCS-A# scope fabric-interconnect b
    UCS-A# /fabric-interconnect # remove service-pack security
    UCS-A# /fabric-interconnect* # commit-buffer

ステップ 2

自動インストール 経由で強制オプションを使用してインフラストラクチャ ファームウェアをアップグレードします。

例:

UCS-A# scope firmware
UCS-A /firmware # scope auto-install
UCS-A /firmware/auto-install # install infra infra-vers 3.1(3a)A force
This operation upgrades firmware on UCS Infrastructure Components
(UCS manager, Fabric Interconnects and IOMs).
Here is the checklist of things that are recommended before starting Auto-Install
(1) Review current critical/major faults
(2) Initiate a configuration backup
(3) Check if Management Interface Monitoring Policy is enabled
(4) Check if there is a pending Fabric Interconnect Reboot activitiy
(5) Ensure NTP is configured
(6) Check if any hardware (fabric interconnects, io-modules, servers or adapters) is
unsupported in the target release
Do you want to proceed? (yes/no): yes
Triggering Install-Infra with:
Infrastructure Pack Version: 3.1(3a)A

ステップ 3

プライマリ ファブリック インターコネクトのリブートを承認します。

例:

UCS-A /firmware/auto-install # acknowledge primary fabric-interconnect reboot
UCS-A /firmware/auto-install* # commit-buffer
UCS-A /firmware/auto-install #

ステップ 4

現在の下位のファブリック インターコネクト上の FSM の DeployPollActivate 段階で複数の再試行が確認された場合、または FSM に障害が発生した場合には、次の操作を行います。

  1. デフォルトのインフラストラクチャ パックおよびサービス パックのスタートアップ バージョンをクリアします。

    例:

    UCS-A# scope org
    UCS-A /org # scope fw-infra-pack default
    UCS-A /org/fw-infra-pack # set infra-bundle-version ""
    UCS-A /org/fw-infra-pack* # commit-buffer
  2. 現在の下位のファブリック インターコネクトからサービス パックを削除します。

    例:

    UCS-A# scope fabric-interconnect a
    UCS-A# /fabric-interconnect # remove service-pack security
    UCS-A# /fabric-interconnect* # commit-buffer

両方のファブリック インターコネクトには、リリース 3.1(3) ファームウェアと、実行バージョンおよびスタートアップ バージョンのデフォルトのサービス パックが反映されます。

ファームウェア アップグレード中の IO モジュールの回復

ファームウェアのアップグレード中に IO モジュールを回復するには、ピア IO モジュールからその IO モジュールをリセットします。リセット後に、その IO モジュールはファブリック インターコネクトから設定を取得できます。

ピア I/O モジュールからの I/O モジュールのリセット

I/O モジュールのアップグレードが失敗したり、メモリ リークにより Cisco UCS Manager から I/O モジュールにアクセスできなくなったりする場合があります。このような場合でも、アクセスできない I/O モジュールをそのピア I/O モジュールからリブートできます。

I/O モジュールをリセットすると、I/O モジュールが工場出荷時の設定に復元され、すべてのキャッシュ ファイルと一時ファイルが削除されますが、サイズ制限付きの OBFL ファイルは保持されます。

手順


ステップ 1

[ナビゲーション]ペインで、[機器]をクリックします。

ステップ 2

[機器(Equipment)] > [シャーシ(Chassis)] > [シャーシ番号(Chassis Number)] > [IO モジュール(IO Modules)] の順に展開します。

ステップ 3

リセットする I/O モジュールのピア I/O モジュールを選択します。

ステップ 4

[Work] ペインで、[General] タブをクリックします。

ステップ 5

[Actions] 領域で、[Reset Peer IO Module] をクリックします。