Nexus 9800モジュラスイッチのデュアルスーパーバイザへの移行

はじめに

このドキュメントでは、Nexus 9800モジュラスイッチのデュアルスーパーバイザに移行する方法について説明します。

前提条件

要件

両方のスーパーバイザへのコンソールアクセスが必要です。

Nexus 9000スイッチのアップグレードに関する基本的な知識があることが推奨されます。

詳細については、次のドキュメントを参照してください。

Cisco Nexus 9000シリーズNX-OSソフトウェアアップグレード/ダウングレードガイドリリース10.4(x)

Nexus 9000スイッチのハイアベイラビリティの基本を理解しておくことをお勧めします。

詳細については、次のドキュメントを参照してください。

Cisco Nexus 9000シリーズNX-OSハイアベイラビリティおよび冗長性ガイド、リリース10.4(x)

使用するコンポーネント

このドキュメントの情報は、2つのN9K-C9800-SUP-Aスーパーバイザモジュールを搭載し、NX-OSソフトウェアリリース10.4(3)Fを実行しているNexus 9808に基づいています。

このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、クリアな（デフォルト）設定で作業を開始しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。

背景説明

Cisco Nexus 9000シリーズスイッチは、冗長ハードウェアコンポーネントによるハードウェアまたはソフトウェアの障害の影響から保護されています。

デュアルスーパーバイザは、コントロールプレーンと管理プレーンに冗長性を提供します。2つのスーパーバイザはアクティブ/スタンバイの容量で動作し、常に一方のスーパーバイザモジュールだけがアクティブで、もう一方はスタンバイバックアップとして動作します。2つのスーパーバイザは、アクティブ側のスーパーバイザモジュールに障害が発生した場合に、ほとんどのサービスに対してシームレスでステートフルなスイッチオーバーを提供するために、状態と設定を常に同期しています。

デュアルスーパーバイザのサポートは、10.4(1)FのNexus 9808スイッチと10.4(2)FのNexus 9804スイッチにそれぞれ導入されました。

初期のプラットフォーム導入では、最初は単一のスーパーバイザを含めることができ、次にデュアルスーパーバイザに移行できます。

このプラットフォームでデュアルスーパーバイザに正しく移行する方法を理解することが重要です。

このドキュメント全体を通じて参照される出力例は、NX-OSソフトウェアリリース10.4(3)Fを実行するNexus 9808から取得したものです。
この内容は、Nexus 9804にも適用されます。

このドキュメントでは、「セカンダリスーパーバイザ」と「スタンバイスーパーバイザ」という用語が使用されています。

セカンダリスーパーバイザは、シャーシに物理的にインストールされている2番目のスーパーバイザを指しますが、必ずしもアクティブスーパーバイザと同期しているわけではありません。

スタンバイスーパーバイザは、シャーシに物理的にインストールされている2番目のスーパーバイザを指し、HAスタンバイ状態のアクティブスーパーバイザと同期しています。

始める前に

まず、前のセクションで説明したように、シングルスーパバイザを搭載したNexus 9800スイッチを、デュアルスーパバイザをサポートするNX-OSソフトウェアリリースバージョンにアップグレードします。

10.4(x)でのみサポートされる機能を導入する場合は、『Cisco Nexus 9000シリーズスイッチ用のCisco NX-OSの推奨リリース』に記載されている入手可能な最新リリースの10.4(x)にアップグレードすることをお勧めします。

セカンダリスーパバイザの挿入

Nexus 9800のスーパーバイザスロット28へのセカンダリスーパーバイザの挿入に進みます。
コンソールケーブルをセカンダリスーパーバイザに挿入し、ターミナルセッションを開いてブートプロセスを監視します。

10.4(x)リリースのセカンダリ

10.4(x)リリースがプリインストールされたセカンダリスーパーバイザは、それ自体をスタンバイスーパーバイザ、スロット27スーパーバイザをアクティブスーパーバイザとして認識します。
セカンダリスーパーバイザは、アクティブスーパーバイザとの同期を開始します。同期は、ブートイメージから開始されます。

Cisco N9800(R)シリーズBIOSバージョン1.11プライマリ
Intel(R) Xeon(R) CPU D-1530 @ 2.40GHz
ボードタイプ0x220 PID N9K-C9808シリアルFOX2739PFU4
Chipguardの初期化
TAMライブラリバージョン： 3.4.26
合気道バージョン： 5.0.13
合気道チップのシリアル番号：
006FE1619905AB2897EB0DE352DFEFF300000000000000000000000000000000
Aikido FPGA Version: 0x120
Aikidoチップ認証に成功しました
Aikido KEY形式：UEFI
Cisco PKキー
Ciscoキーキー
Cisco DBXキー
Cisco OSリリースキー
Cisco OS開発キー

ボードタイプ5
IOFPGA @ 0xb2400000
SLOT_ID @ 0x1c

NXOSのGrub
ウォッチドッグの無効化
ファイルシステムタイプが不明です。パーティションタイプ0x83
check_bootmode: grub: grubを続行します。
(hd0,4)から設定ファイル/boot/grub/menu.lst.localを読み取ろうとしています。
ファイルシステムタイプはext2fs、パーティションタイプは0x83です。

bootflash:/nxos64-cs.10.4.3.F.binをブートしています…
bootflash:/nxos64-cs.10.4.3.F.binをブートします<<
ディスクブートを試みています
ファイルシステムタイプはext2fs、パーティションタイプは0x83です。
イメージは有効です


イメージ署名の検証に成功しました。

ブート時間： 8/5/2024 17:41:4
mount: /newroot/usrにオーバーレイをマウントします。
klm_card_indexのインストール
done
nativebootの設定
n9k mando SSDパーティションをリンクしています…
作成，フラッシュデバイスBOOT_DEV= sda
INIT：バージョン2.88ブート
ata_piixモジュールをインストールしています…完了しました。
kheadersモジュールをインストールしています…完了しました。
rootfsの圧縮を解除しています…
ブートフラッシュに必要な合計サイズは158780です
ブートフラッシュの確認：OK
ブートフラッシュに必要な合計サイズは55644です
ブートフラッシュの確認：OK
8250シリアルドライバスプリアスINTの有効化の回避策
isan procfsのインストールが完了しました。
is_lxc: is_titan_eor: is_stby：サフィックス： klm_ftrace: /isanboot/lib/modules/klm_ftrace.o
非lxcモードでのftraceのインストール完了
カードインデックス21213でSSEモジュールをインストールしています…完了しました。
SSEデバイスノード243を作成中…完了
/etc/rc.d/rcS.d/S06exablaze startの実行
/etc/rc.d/rcS.d/S06exablaze startの実行
MKR mando set cpa libs（MKRコマンドによるCPAライブラリの設定）
MANDO RP CPAセットアップが完了しました
I2Cドライバをロードしています…完了しました。
Need_GE[ 16.676681]を使用せずにcard_type 132用のCCTRLドライバをインストールするトップレベルRP割り込みを有効にする
M ... [ 16.682862] 28スタンバイ27がアクティブになるまで待機<<<
[18.689037]今は続いています…
done.

同じリリースイメージ

両方のスーパーバイザのブートイメージが同じ場合、セカンダリスーパーバイザはブートプロセスを完了し、アクティブスーパーバイザとのハイアベイラビリティスタンバイ状態(ha-standby)を確立します。

User Access Verification
N9K-C9808（スタンバイ）ログイン： 2024 8月5日17:43:17 stark %$ VDC-1 %$ %KERN-0-SYSTEM_MSG: [ 16.676681]トップレベルRP割り込みを有効にする – カーネル
2024年8月5日17:43:17 stark %$ VDC-1 %$ %KERN-0-SYSTEM_MSG: [ 16.682862] 28 Stdby waiting for 27 to become active - kernel
2024年8月5日17:43:17 stark %$ VDC-1 %$ %KERN-0-SYSTEM_MSG: [ 18.689037]続行しています…-kernel
2024年8月5日17:43:17 stark %$ VDC-1 %$ %KERN-0-SYSTEM_MSG: [ 53.624182] Initializing panic NMI - kernel
2024年8月5日17:43:17 stark %$ VDC-1 %$ %KERN-0-SYSTEM_MSG: [ 53.656637] fpga_setup_probe – カーネル
2024年8月5日17:43:17 stark %$ VDC-1 %$ %KERN-0-SYSTEM_MSG: [ 85.571069]初期化遅延作業 – カーネル
2024年8月5日17:43:17 stark %$ VDC-1 %$ %KERN-0-SYSTEM_MSG: [ 85.575323] Finished INIT function for lfm - kernel
2024年8月5日17:43:17 stark %$ VDC-1 %$ %KERN-0-SYSTEM_MSG: [ 94.522919] MANDO RDN : register_rdn_int - kernel
2024年8月5日17:43:17 stark %$ VDC-1 %$ %KERN-0-SYSTEM_MSG: [ 94.527406] register_rdn_int : Sent First Heartbeat - kernel
2024年8月5日17:43:18 stark %$ VDC-1 %$ %USER-2-SYSTEM_MSG: <<%USBHSD-2-MOUNT>> logflash：オンライン – usbhsd
2024年8月5日17:43:43 stark %$ VDC-1 %$ %USER-2-SYSTEM_MSG: Installing thirdparty RPMs - /thirdparty_install.py
2024年8月5日17:43:46 stark %$ VDC-1 %$ %USER-2-SYSTEM_MSG: ssnmgr_app_initがssnmgrで呼び出されました – aclmgr
2024年8月5日17:43:47 stark %$ VDC-1 %$ %USER-1-SYSTEM_MSG: VP aclqos tah stats get - pltfm_config
2024年8月5日17:44:11 stark %$ VDC-1 %$ %USER-1-SYSTEM_MSG: ASSERT@../utils/usd/libusd/usd_drv.c:3332 - s1hal_supe
2024年8月5日17:44:16 stark %$ VDC-1 %$ %USER-1-SYSTEM_MSG: ASSERT@../utils/usd/libusd/usd_drv.c:3332 - s1hal_supe （メッセージが1回繰り返される）
2024年8月5日17:44:16 stark %$ VDC-1 %$ %USER-0-SYSTEM_MSG：デフォルトポリサーの終了 – copp
2024年8月5日17:44:36 stark %$ VDC-1 %$ %CARDCLIENT-2-FPGA_BOOT_PRIMARY: IOFPGAがプライマリからブート
2024年8月5日17:44:36 stark %$ VDC-1 %$ %CARDCLIENT-2-FPGA_BOOT_PRIMARY: TMFPGAがプライマリからブート

N9K-C9808# show module
Mod Portsモジュールタイプモデルのステータス
— ----- ------------------------------------------------ --------------------- --------
27 0スーパーバイザモジュールN9K-C9800-SUP-Aアクティブ*
28 0スーパーバイザモジュールN9K-C9800-SUP-A ha-standby <<

異なるリリースイメージ

両方のスーパーバイザのブートイメージのリリースが異なる 10.4(x)の場合、セカンダリスーパーバイザはリブートされ、NetBootが強制的に実行されて、アクティブスーパーバイザのブートイメージがセカンダリスーパーバイザにダウンロードされます。

この例では、アクティブ側のスーパーバイザでは10.4(3)Fが稼働していますが、セカンダリ側のスーパーバイザでは10.4(1)Fがブートされています。

Cisco N9800(R)シリーズBIOSバージョン1.11プライマリ
Intel(R) Xeon(R) CPU D-1530 @ 2.40GHz
ボードタイプ0x220 PID N9K-C9808シリアルFOX2739PFU4
Chipguardの初期化
TAMライブラリバージョン： 3.4.26
合気道バージョン： 5.0.13
合気道チップのシリアル番号：
006FE1619905AB2897EB0DE352DFEFF300000000000000000000000000000000
Aikido FPGA Version: 0x120
Aikidoチップ認証に成功しました
Aikido KEY形式：UEFI
Cisco PKキー
Ciscoキーキー
Cisco DBXキー
Cisco OSリリースキー
Cisco OS開発キー

ボードタイプ5
IOFPGA @ 0xb2400000
SLOT_ID @ 0x1c

NXOSのGrub
ウォッチドッグの無効化
ファイルシステムタイプが不明です。パーティションタイプ0x83
check_bootmode: grub: grubを続行します。
(hd0,4)から設定ファイル/boot/grub/menu.lst.localを読み取ろうとしています。
ファイルシステムタイプはext2fs、パーティションタイプは0x83です。

bootflash:/nxos64-cs.10.4.1.F.binをブートしています…
bootflash:/nxos64-cs.10.4.1.F.binをブートします<<
ディスクブートを試みています
ファイルシステムタイプはext2fs、パーティションタイプは0x83です。
イメージは有効です

<...>

[ 93.294604] MANDO RDN : register_rdn_int
[ 93.299095] register_rdn_int ：最初のハートビートを送信しました

< NetBootプロセスへの再起動>

Cisco N9800(R)シリーズBIOSバージョン1.11プライマリ
Intel(R) Xeon(R) CPU D-1530 @ 2.40GHz
ボードタイプ0x220 PID N9K-C9808シリアルFOX2739PFU4
Chipguardの初期化
TAMライブラリバージョン： 3.4.26
合気道バージョン： 5.0.13
合気道チップのシリアル番号：
006FE1619905AB2897EB0DE352DFEFF300000000000000000000000000000000
Aikido FPGA Version: 0x120
Aikidoチップ認証に成功しました
Aikido KEY形式：UEFI
Cisco PKキー
Ciscoキーキー
Cisco DBXキー
Cisco OSリリースキー
Cisco OS開発キー

ボードタイプ5
IOFPGA @ 0xb2400000
SLOT_ID @ 0x1c

NXOSのGrub
ウォッチドッグの無効化
NICベンダー8086デバイス15abのドライバを検索しています
i210デバイスid = 1537
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
NICベンダー8086デバイス15ab用のxチェックドライバ
nicベンダー8086デバイス15ab用内部ドライバ
pci_base_addres 0= b2c0000c ioaddr= 0
マスクの問題
デバイス8086:15abはioaddr 1000、membase b2c00000は4:0で検出されました。
プローブ中…
intelxプローブ

eobc MACアドレス00000000:00000000:00000000:0000001c:00000000:00000000

board_type=5（オプション）
ネットワークの準備ができました。
bp_op = 1
bp_htype = 1
bp_hlen = 6
bp_xid = -160883712
bp_hwaddr = 00:00:00:1C:00:00
bp_hops = 0
bp_secs = 2132726648
*retry 1 currticks 27126 timeout = 720（再試行回数1回）
* 再試行回数2 27684タイムアウト= 720
bp_op = 1
bp_htype = 1
bp_hlen = 6
bp_xid = -160883712
bp_hwaddr = 00:00:00:1C:00:00
bp_hops = 0
bp_secs = 2132726648
エラー番号= 0
reqretry = 0
*2再試行回数2回27684タイムアウト= 720
ファイル名：/img-sync/curr-ks.img

board_type=5（オプション）

board_type=5（オプション）
アドレス：127.1.1.28
ネットマスク：255.255.0.0
サーバ：127.1.1.27
ゲートウェイ：0.0.0.0
ファイルシステムタイプはtftpで、ディスク全体を使用
.....................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................イメージは有効です

イメージ署名の検証に成功しました。

ダウンロードが完了すると、セカンダリスーパーバイザは新しいイメージでブートし、アクティブスーパーバイザで「ha-standby」状態に移行します。

N9K-C9808# show module
Mod Portsモジュールタイプモデルのステータス
— ----- ------------------------------------------------ --------------------- --------
27 0スーパーバイザモジュールN9K-C9800-SUP-Aアクティブ*
28 0スーパーバイザモジュールN9K-C9800-SUP-A ha-standby

Mod Sw Hwスロット
— ----------------------- ------ ----
27 10.4(3) 1.0 SUP1
28 10.4(3) 1.0 SUP2

10.3(x)リリースのセカンダリ

10.3(x)リリースが事前にインストールされたセカンダリスーパーバイザの場合、挿入後に次のイベントのいずれかが発生する可能性があります。
1. ブートループ。
2. 独立したスーパーバイザとしてブートします。
3. loader >プロンプトでブートします。

セカンダリスーパーバイザがイベント1または2の状態の場合は、ブートアッププロセス中に「NXOS Grub」でCtrl-Cを入力して、loader >プロンプトに分割する必要があります。
Cisco N9800(R)シリーズBIOSバージョン1.11プライマリ
Intel(R) Xeon(R) CPU D-1530 @ 2.40GHz
ボードタイプ0x220 PID N9K-C9808シリアルFOX2633PCKJ
Chipguardの初期化
TAMライブラリバージョン： 3.4.26
合気道バージョン： 5.0.13
合気道チップのシリアル番号：
3E772D0F6E8FC7406CEC11BBA5B2A84C00000000000000000000000000000000
Aikido FPGAバージョン：0x11B
Aikidoチップ認証に成功しました
Aikido KEY形式：UEFI
Cisco PKキー
Ciscoキーキー
Cisco DBXキー
Cisco OSリリースキー
Cisco OS開発キー

ボードタイプ5
IOFPGA @ 0xb2400000
SLOT_ID @ 0x1b

NXOS Grub <<<< Ctrl+Cをここに挿入
ウォッチドッグの無効化
構成ファイルの読み取りと自動ブートを中止しています
自動ブートが実行されないか、自動ブートに失敗しました。ローダーに移動します

Loaderバージョン1.12

loader>

この例では、セカンダリスーパーバイザは10.3(2)Fからブートを開始し、自身をスタンバイスーパーバイザとして認識して、loader >プロンプトでリブートしました。
Cisco N9800(R)シリーズBIOSバージョン1.11プライマリ
Intel(R) Xeon(R) CPU D-1530 @ 2.40GHz
ボードタイプ0x220 PID N9K-C9808シリアルFOX2739PFU9
Chipguardの初期化
TAMライブラリバージョン： 3.4.26
合気道バージョン： 5.0.13
合気道チップのシリアル番号：
006FE1619905AB2897EB0DE352DFEFF300000000000000000000000000000000
Aikido FPGA Version: 0x120
Aikidoチップ認証に成功しました
Aikido KEY形式：UEFI
Cisco PKキー
Ciscoキーキー
Cisco DBXキー
Cisco OSリリースキー
Cisco OS開発キー

ボードタイプ5
IOFPGA @ 0xb2400000
SLOT_ID @ 0x1c

NXOSのGrub
ウォッチドッグの無効化
ファイルシステムタイプが不明です。パーティションタイプ0x83
check_bootmode: grub: grubを続行します。
(hd0,4)から設定ファイル/boot/grub/menu.lst.localを読み取ろうとしています。
ファイルシステムタイプはext2fs、パーティションタイプは0x83です。

bootflash:/nxos64-cs.10.3.2.F.binをブートしています…
ブートフラッシュ：/nxos64-cs.10.3.2.F.binの起動<<
ディスクブートを試みています
ファイルシステムタイプはext2fs、パーティションタイプは0x83です。
イメージは有効です

イメージ署名の検証に成功しました。

ブート時間： 7/23/2024 22:49:10
mount: /newroot/usrにオーバーレイをマウントします。
klm_card_indexのインストール
done
nativebootの設定
n9k mando SSDパーティションをリンクしています…
作成，フラッシュデバイスBOOT_DEV= sda
INIT：バージョン2.88ブート
ata_piixモジュールをインストールしています…完了しました。
kheadersモジュールをインストールしています…完了しました。
rootfsの圧縮を解除しています…
ブートフラッシュに必要な合計サイズは153632です
ブートフラッシュの確認：OK
ブートフラッシュに必要な合計サイズは54464です
ブートフラッシュの確認：OK
8250シリアルドライバスプリアスINTの有効化の回避策
isan procfsのインストールが完了しました。
is_lxc: is_titan_eor: is_stby：サフィックス： klm_ftrace: /isanboot/lib/modules/klm_ftrace.o
非lxcモードでのftraceのインストール完了
カードインデックス21213でSSEモジュールをインストールしています…完了しました。
SSEデバイスノード243を作成中…完了
/etc/rc.d/rcS.d/S06exablaze startの実行
/etc/rc.d/rcS.d/S06exablaze startの実行
Mando SUPでctrli_liteを使用…
I2Cドライバをロードしています…完了しました。
NEED_GEMを使用せずにcard_type 132用のCCTRLドライバをインストールしています…完了しました。
IGBドライバをロードしています…
Mando用のIntel igbドライバをロードしています…14.81: \nInstalling klm_ins_ixgbe for Mando... card_index=21213

klm_ins_ixgbeのインストールが完了しました。
Micron SSDではない…

すべてのファイルシステムをチェックします。
イメージからrpmを抽出しています…
/
MANDO RP CPAセットアップが完了しました
SPROMドライバをインストール21213ています… IS_N9Kが完了しました。
@@@マンド – RP
pfmsvcsモジュールをインストールしています…完了しました。
NVRAMモジュールをインストール中…完了。
ポートモード6のif_indexモジュールをインストールしています…完了しました。
fcfwdのインストール
RNI lcndのインストールが完了しました。
lcndのインストールが完了しました。
\n S090setup-eth sup_start
autonegは未変更、無視
中断パラメータが変更されていないため、中断しています
autonegは未変更、無視
中断パラメータが変更されていないため、中断しています
psdevをインストールしています…
veobcモジュールをインストールしています…完了しました。
RTNETLINK応答：ファイルが存在します
tmpディレクトリにある以前のpcapファイルをクリーンアップします。
SRカードの確認
カードインデックスは21213
48.15: obfl & mtd spiドライバを挿入しています…
旧データ：0新データ：9f000000
古いデータ： 0新しいデータ： 0
旧データ：20907001新データ：a0901406
[ 48.207892] fpga_setup_probe
48.26：完了…obfl & mtd spiドライバを挿入しています…
OBFLキャラクタデバイスの作成
旧データ：c000000新データ：9f000000
古いデータ：10c0000新しいデータ：0
旧データ：989040新データ：a0901406
n9k用マウントプラッグ！
48.31: N9k用マウントポグ！
48.32: N9k用のPLOGをマウントしました！
n9kのリカバリをマウントしています！
48.33: N9kのリカバリをマウントします。
mtd用OBFLストアのマウント
kernel_servicesモジュールの挿入が完了しました。
kernel_servicesキャラクタデバイスの作成
cgroupsが初期化されました
update-alternatives: /usr/bin/unshare.util-linuxへの/usr/bin/unshareのリンク
cgroups-initのシステムスタートアップリンクを削除しています…
/etc/init.d/cgroups-initのシステムスタートアップを追加しています。
groupaddコマンドを実行しています…
注： docker-ce: [ -r docker]でgroupaddを実行します。
update-alternatives: /usr/bin/vim.tinyへの/bin/viのリンク
update-alternatives: /usr/bin/vim.tinyへの/usr/bin/vimのリンク
bootvarを削除してRP(standby)をローダープロンプトにするRP(standby)のブートを許可するには、cmdline enable_standbyを使用できます
INIT: Switching/isan/etc/rc.cleanup inittab呼び出しを無視します
サードパーティデーモンの停止
すべてのプロセスにTERMシグナルを送信しています…
すべてのプロセスにKILLシグナルを送信しています…
ファイルシステムをマウント解除しています…

Cisco N9800(R)シリーズBIOSバージョン1.11プライマリ
Intel(R) Xeon(R) CPU D-1530 @ 2.40GHz
ボードタイプ0x220 PID N9K-C9808シリアルFOX2739PFU9
Chipguardの初期化
TAMライブラリバージョン： 3.4.26
合気道バージョン： 5.0.13
合気道チップのシリアル番号：
006FE1619905AB2897EB0DE352DFEFF300000000000000000000000000000000
Aikido FPGA Version: 0x120
Aikidoチップ認証に成功しました
Aikido KEY形式：UEFI
Cisco PKキー
Ciscoキーキー
Cisco DBXキー
Cisco OSリリースキー
Cisco OS開発キー

ボードタイプ5
IOFPGA @ 0xb2400000
SLOT_ID @ 0x1c

NXOSのGrub
ウォッチドッグの無効化
ファイルシステムタイプが不明です。パーティションタイプ0x83
check_bootmode: grub: grubを続行します。
(hd0,4)から設定ファイル/boot/grub/menu.lst.localを読み取ろうとしています。
ファイルシステムタイプはext2fs、パーティションタイプは0x83です。
(hd0,5)から設定ファイル/boot/grub/menu.lst.localを読み取ろうとしています。
ファイルシステムタイプはext2fs、パーティションタイプは0x83です。
自動ブートが実行されないか、自動ブートに失敗しました。ローダーに移動します

Loaderバージョン1.11

loader>

HAを確立するためにアクティブスーパーバイザとイメージの同期を開始するには、BIOSバージョンに応じて2つの方法を使用できます。

イメージの同期

BIOSバージョン

セカンダリスーパーバイザの現在のBIOSバージョンを確認する必要があります。
現在のバージョンは、スーパーバイザの挿入時、およびリブート後のloader >プロンプトの前の最初の出力の1行目にあります。

Cisco N9800(R)シリーズBIOSバージョン1.11プライマリ<<<
Intel(R) Xeon(R) CPU D-1530 @ 2.40GHz
ボードタイプ0x220 PID N9K-C9808シリアルFOX2739PFU9
Chipguardの初期化
TAMライブラリバージョン： 3.4.26
合気道バージョン： 5.0.13
合気道チップのシリアル番号：
006FE1619905AB2897EB0DE352DFEFF300000000000000000000000000000000
Aikido FPGA Version: 0x120
Aikidoチップ認証に成功しました
Aikido KEY形式：UEFI
Cisco PKキー
Ciscoキーキー
Cisco DBXキー
Cisco OSリリースキー
Cisco OS開発キー
ボードタイプ5
IOFPGA @ 0xb2400000
SLOT_ID @ 0x1c
NXOSのGrub

アクティブから強制的にダウンロード

インストールされているBIOSバージョンが1.11以降の場合は、reload module 28 force-dnldコマンドを使用して、アクティブ側スーパーバイザからセカンダリ側スーパーバイザに対してイメージの同期を手動で開始できます。

このコマンドを実行する際には、セカンダリスーパーバイザがloader >プロンプトにある必要があります。

「別のリリースイメージ」セクションと同様に、セカンダリスーパーバイザはNetBootを強制するためにリブートされ、アクティブスーパーバイザのブートイメージがセカンダリスーパーバイザにダウンロードされます。

アクティブ側スーパーバイザから –

N9K-C9808# reload module 28 force-dnld
N9K-C9808# 2024 7月23日22:59:15 N9K-C9808 %$ VDC-1 %$ %PLATFORM-2-PFM_MODULE_RESET: Manual restart of Module 28 from Command Line Interface

セカンダリスーパバイザから –

Loaderバージョン1.11

loader>

< Reload Initiated by Active - Reboots into NetBoot process >（アクティブによって開始されたリロード – NetBootプロセスに再起動します）
Cisco N9800(R)シリーズBIOSバージョン1.11プライマリ
Intel(R) Xeon(R) CPU D-1530 @ 2.40GHz
ボードタイプ0x220 PID N9K-C9808シリアルFOX2739PFU4
Chipguardの初期化
TAMライブラリバージョン： 3.4.26
合気道バージョン： 5.0.13
合気道チップのシリアル番号：
006FE1619905AB2897EB0DE352DFEFF300000000000000000000000000000000
Aikido FPGA Version: 0x120
Aikidoチップ認証に成功しました
Aikido KEY形式：UEFI
Cisco PKキー
Ciscoキーキー
Cisco DBXキー
Cisco OSリリースキー
Cisco OS開発キー
ボードタイプ5
IOFPGA @ 0xb2400000
SLOT_ID @ 0x1c
NXOSのGrub
ウォッチドッグの無効化
NICベンダー8086デバイス15abのドライバを検索しています
i210デバイスid = 1537
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
NICベンダー8086デバイス15ab用のxチェックドライバ
nicベンダー8086デバイス15ab用内部ドライバ
pci_base_addres 0= b2c0000c ioaddr= 0
マスクの問題
デバイス8086:15abはioaddr 1000、membase b2c00000は4:0で検出されました。
プローブ中…
intelxプローブ
eobc MACアドレス00000000:00000000:00000000:0000001c:00000000:00000000
board_type=5（オプション）
ネットワークの準備ができました。
bp_op = 1
bp_htype = 1
bp_hlen = 6
bp_xid = -160883712
bp_hwaddr = 00:00:00:1C:00:00
bp_hops = 0
bp_secs = 2132726648
*retry 1 currticks 27126 timeout = 720（再試行回数1回）
* 再試行回数2 27684タイムアウト= 720
bp_op = 1
bp_htype = 1
bp_hlen = 6
bp_xid = -160883712
bp_hwaddr = 00:00:00:1C:00:00
bp_hops = 0
bp_secs = 2132726648
エラー番号= 0
reqretry = 0
*2再試行回数2回27684タイムアウト= 720
ファイル名：/img-sync/curr-ks.img
board_type=5（オプション）
board_type=5（オプション）
アドレス：127.1.1.28
ネットマスク：255.255.0.0
サーバ：127.1.1.27
ゲートウェイ：0.0.0.0
ファイルシステムタイプはtftpで、ディスク全体を使用
.....................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................イメージは有効です

イメージ署名の検証に成功しました。

ダウンロードが完了すると、セカンダリスーパーバイザは新しいイメージでブートした後、アクティブスーパーバイザで「ha-standby」状態に移行します。

N9K-C9808# show module
Mod Portsモジュールタイプモデルのステータス
— ----- ------------------------------------------------ --------------------- --------
27 0スーパーバイザモジュールN9K-C9800-SUP-Aアクティブ*
28 0スーパーバイザモジュールN9K-C9800-SUP-A ha-standby

Mod Sw Hwスロット
— ----------------------- ------ ----
27 10.4(3) 1.0 SUP1
28 10.4(3) 1.0 SUP2

EOBCブートセカンダリスーパーバイザ

インストールされているBIOSのバージョンが1.11よりも低い場合は、セカンダリスーパーバイザがloader >プロンプトからeobcコマンドを使用して、手動でのみイメージの同期を開始できます。

これにより、スイッチはアクティブ側スーパーバイザからTFTPブートを実行した後、同期されます。

loader > ?
?コマンドリストを印刷する
ブートブートイメージ
ブートモード：現在のブートモードの表示/変更
dirデバイス上のファイルの内容を一覧表示する
eobcチャネルを介したアクティブsupからのeobcブートイメージ
keyinfo BIOS KEY情報
ヘルプコマンド一覧または特定のコマンドの使用方法を印刷します。
ip IPアドレスまたはゲートウェイアドレスの設定
rebootシステムをリブートします。
シリアルシリアルコンソール設定
setネットワーク構成
show loaderの設定

ローダ> eobc
NICベンダー8086デバイス15abのドライバを検索しています
i210デバイスid = 1537
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
NICベンダー8086デバイス15ab用のxチェックドライバ
nicベンダー8086デバイス15ab用内部ドライバ
pci_base_addres 0= b2c0000c ioaddr= 0
マスクの問題
デバイス8086:15abはioaddr 1000、membase b2c00000は4:0で検出されました。
プローブ中…
intelxプローブ

<数分後にスーパーバイザがTFTPブートプロセスを開始>

アドレス：127.1.1.27
ネットマスク：255.255.0.0
サーバ：127.1.1.28
ゲートウェイ：0.0.0.0
ファイルシステムタイプはtftpで、ディスク全体を使用
................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................イメージは有効です

< TFTPブートプロセスが完了し、イメージ同期プロセスが開始されます。 >

img-syncのイメージを保存中…
ブートフラッシュに十分な空きディスク領域がある

<同期プロセスの進行状況が表示されず、時間がかかる場合があります。>

/bootflash/curr-ks.img ....のMd5チェックサムの確認
OKを確認する!!

<その直後に、スーパーバイザがブートおよび同期プロセスを正常に完了し、スタンバイスーパーバイザとして起動します。>

イーサネットスイッチングモード（金） 6月21日15:46:14 UTC 2024
span CLIの準備
[ 666.302971] MANDO RDN : register_rdn_int
[ 666.307460] register_rdn_int ：最初のハートビートを送信しました

User Access Verification
N9K-C9808（スタンバイ）ログイン：

ブートと同期のプロセス全体は、15分以上かかる場合があります。
コンソールから監視できます。

アクティブスーパーバイザでは、セカンダリスーパーバイザのステータスが「ha-standby」であることを確認できます。

N9K-C9808# show module
Mod Portsモジュールタイプモデルのステータス
— ----- ------------------------------------------------ --------------------- --------
27 0スーパーバイザモジュールN9K-C9800-SUP-Aアクティブ*
28 0スーパーバイザモジュールN9K-C9800-SUP-A ha-standby

Mod Sw Hwスロット
— ----------------------- ------ ----
27 10.4(3) 1.0 SUP1
28 10.4(3) 1.0 SUP2

記載されたいずれかの方法を実行する必要があるのは、1回だけです。

スタンバイスーパーバイザのブートフラッシュから10.3(x)リリースを削除し、10.4(x)リリースは残しておくことをお勧めします。

スタンバイスーパーバイザのBIOSのアップグレード

install all nxosを実行するサポートされているアップグレードをアクティブスーパーバイザで実行した場合、アクティブスーパーバイザはすでに最新のBIOSバージョンになっています。

さまざまなリリースイメージ、アクティブからの強制ダウンロード、およびEOBCブートセカンダリスーパーバイザに示されているプロセスでは、スタンバイスーパーバイザのBIOSはアップグレードされません。

次のステップでは、スタンバイスーパーバイザのBIOSをアップグレードして、アクティブ側と一致させます。

アップグレード対象がスタンバイスーパーバイザBIOSだけである場合は、リロードする必要はありません。

N9K-C9808# install all nxos bootflash:nxos64-cs.10.4.3.F.bin
インストーラは最初に互換性チェックを実行します。Please wait.
インストーラは強制的に中断されます

ブート変数「nxos」のイメージbootflash:/nxos64-cs.10.4.3.F.binを確認します。
[####################] 100% – 成功

イメージの種類を確認しています。
[####################] 100% – 成功

イメージbootflash:/nxos64-cs.10.4.3.F.binを使用して「nxos」バージョン情報を準備します。
[####################] 100% – 成功

イメージbootflash:/nxos64-cs.10.4.3.F.binを使用して「bios」バージョン情報を準備します。
[####################] 100% – 成功

モジュールサポートチェックを実行しています。
[####################] 100% – 成功

システムアップグレードに関するサービスを通知しています。
[####################] 100% – 成功

互換性チェックが行われます。
モジュールの起動可能な影響のインストールタイプの理由
------ -------- -------------- ------------ ------
27はい。コピーのみのデフォルトの無停止アップグレードは中断なし
28はい中断なしデフォルトのアップグレードは中断なし

イメージは次の表に従ってアップグレードされます。
Module Image Running-Version(pri:alt)新しいバージョンアップグレードが必要
------ ---------- ---------------------------------------- -------------------- ------------
27 nxos 10.4(3) 10.4(3) no
27 bios v01.09(12/19/2022):v01.03(12/29/2021) v01.12(11/28/2023)はい
28 nxos 10.4(3) 10.4(3) no
28 bios v01.12(11/28/2023):v01.03(12/29/2021) v01.12(11/28/2023) no

スイッチがリロードされ、アップグレードが中断されます。
インストールを続行しますか(y/n)?  [n] y

インストールが進行中です。お待ちください。

ランタイムチェックを実行しています。
[####################] 100% – 成功

イメージbootflash:/nxos64-cs.10.4.3.F.binをスタンバイに同期しています。
[####################] 100% – 成功

ブート変数を設定します。
[####################] 100% – 成功

構成のコピーを実行しています。
[####################] 100% – 成功

モジュール20：コンパクトフラッシュをリフレッシュし、bios/loader/bootromをアップグレードします。
警告：この時点では、モジュールを取り外したり、電源をオフにしたりしないでください。
[####################] 100% – 成功

モジュール22：コンパクトフラッシュを更新し、bios/loader/bootromをアップグレードする。
警告：この時点では、モジュールを取り外したり、電源をオフにしたりしないでください。
[####################] 100% – 成功

モジュール24：コンパクトフラッシュを更新し、bios/loader/bootromをアップグレードする。
警告：この時点では、モジュールを取り外したり、電源をオフにしたりしないでください。
[####################] 100% – 成功

モジュール26：コンパクトフラッシュを更新し、bios/loader/bootromをアップグレードする。
警告：この時点では、モジュールを取り外したり、電源をオフにしたりしないでください。
[####################] 100% – 成功

モジュール27：コンパクトフラッシュを更新し、bios/loader/bootromをアップグレードする。
警告：この時点では、モジュールを取り外したり、電源をオフにしたりしないでください。
[####################] 100% – 成功

モジュール28：コンパクトフラッシュを更新し、bios/loader/bootromをアップグレードする。
警告：この時点では、モジュールを取り外したり、電源をオフにしたりしないでください。
[####################] 100% – 成功

インストールが正常に完了しました。

スタンバイ側スーパーバイザとアクティブ側スーパーバイザの両方でBIOSバージョンが一致していますが、EPLDバージョンが一致していません。
N9K-C9808（スタンバイ）# show hardware internal dev-version
-------------------------------------------------------------------
名前InstanceNumバージョン日付
-------------------------------------------------------------------
IO FPGA 0 0x1001b
TM FPGA 0 0x10006
BIOSバージョンv01.12(11/28/2023)
代替BIOSバージョンv01.03（2021年12月29日）

N9K-C9808# show hardware internal dev-version
-------------------------------------------------------------------
名前InstanceNumバージョン日付
-------------------------------------------------------------------
IO FPGA 0 0x10017
TM FPGA 0 0x10002
FM Module-20 FPGA 1 0x10000
FM Module-22 FPGA 3 0x10000
FM Module-24 FPGA 5 0x10000
FM Module-26 FPGA 7 0x10000
BIOSバージョンv01.12(11/28/2023)
代替BIOSバージョンv01.03（2021年12月29日）

スーパーバイザのEPLDのアップグレード

『Cisco Nexus 9000 Series NX-OS High Availability and Redundancy Guide, Release 10.4(x)』で説明されているように、Nexus 9800デュアルスーパーバイザの導入ではEPLDのアップグレードを実行することが必須要件です。

Cisco Bug ID CSCwk42621でさらに詳しく説明されているように、 次の表に、HAが完全に機能するための、スーパバイザ上の最小EPLDバージョンを示します。

個々のモジュールまたはシャーシ全体を一度にアップグレードできます。
アップグレードするモジュールによっては、この手順によって中断が発生する可能性があります。

可能であれば、すべてのモジュールをアップグレードすることを推奨します。

アップグレードされるモジュールの数は、アップグレード全体にかかる時間に影響します。

中断の可能性を最小限に抑えるために、メンテナンスの時間帯にEPLDアップグレードを実行することをお勧めします。

N9K-C9808# install epld bootflash:n9000-epld.10.4.3.F.img module ?
WORD Xまたはx-y （最大サイズ5）
allすべてのモジュールをインストール

N9K-C9808# install epld bootflash:n9000-epld.10.4.3.F.img module all
互換性チェック：
モジュールの種類のアップグレード可能な影響の理由
------ ----------------- ---------- ---------- ------
20 FM Yes中断を伴うモジュールアップグレード可能
22 FM Yes中断モードでのモジュールアップグレードが可能
24 FM Yes中断モードでのモジュールアップグレードが可能
26 FM Yes中断モードでのモジュールアップグレードが可能
27 SUP Yes中断を伴わないモジュールアップグレード可能
28 SUP Yes中断を伴わないモジュールアップグレード可能

EPLDバージョンを取得しています....Please wait.
イメージは次の表に従ってアップグレードされます。
モジュールタイプEPLD実行バージョン新バージョンアップグレードが必要
------ ---- ------------- --------------- ----------- ------------
20 FM MI FPGA 0x10000 0x10002あり
22 FM MI FPGA 0x10000 0x10002あり
24 FM MI FPGA 0x10000 0x10002あり
26 FM MI FPGA 0x10000 0x10002あり
27 SUP TM FPGA 0x10006 0x10006いいえ
27 SUP IO FPGA 0x1001b 0x10020はい
28 SUP TM FPGA 0x10002 0x10006あり
28 SUP IO FPGA 0x10017 0x10020はい
上記のモジュールはアップグレードが必要です。
続行しますか(y/n)?  [n] y

アクティブスーパーバイザをアップグレードしますか？  [n] y

モジュールのアップグレードに進みます。

モジュールのアップグレードに進みます。

モジュール20 EPLDアップグレードの開始
モジュール20:MI FPGA [プログラミング]:0.00%（64セクタ中0）
モジュール20:MI FPGA [プログラミング]:100.00%（64セクタ中64）
モジュール20のEPLDアップグレードが成功しました。

モジュール20のEPLDのアップグレードが成功しました。

モジュール22 EPLDアップグレードの開始
モジュール22:MI FPGA [プログラミング]:100.00%（64セクタ中64）
モジュール22のEPLDアップグレードが成功しました。

モジュール22のEPLDのアップグレードが成功しました。

モジュール24 EPLDアップグレードの開始
モジュール24:MI FPGA [プログラミング]:100.00%（64セクタ中64）
モジュール24のEPLDアップグレードが成功しました。

モジュール24のEPLDのアップグレードが成功しました。

モジュール26 EPLDアップグレードの開始
モジュール26:MI FPGA [プログラミング]:100.00%（64セクタ中64セクタ）
モジュール26のEPLDアップグレードが成功しました。

モジュール26のEPLDのアップグレードが成功しました。

モジュール27:IO FPGA [プログラミング] :0.00%（全64セクタ中0）
モジュール27:IO FPGA [プログラミング]:100.00%（全64セクタ中64%）
モジュール27のEPLDのアップグレードが成功しました。

モジュール28 EPLDアップグレードの開始
モジュール28:IO FPGA [プログラミング]:100.00%（64セクタ中64）
モジュール28のEPLDアップグレードが成功しました。
モジュールの種類のアップグレード結果
------ ------------------ --------------
27 SUP成功
28 SUP成功

EPLDのアップグレード。スイッチオーバーを実行しています。

モジュール28のEPLDのアップグレードが成功しました。

シャーシをリロードしています…
スタンバイSUP（モジュール27）FPGAのリセットPlease wait...
モジュール27がリロードします。
モジュール20のFPGAをリセットします。Please wait...
モジュール20がリロードします。
モジュール22のFPGAをリセットします。Please wait...
モジュール22がリロードします。
モジュール24のFPGAをリセットします。Please wait...
モジュール24がリロードします。
モジュール26のFPGAをリセットします。Please wait...
モジュール26がリロードします。
アクティブsupのリセットを処理しています…
アクティブなSUP（モジュール28）FPGAをリセットしています。Please wait...
10秒後にリロードする.....
モジュール20のFPGAをリセットします。Please wait...
モジュール20がリロードします。

EPLDのアップグレードとリロードの後で、アクティブ側スーパーバイザとスタンバイ側スーパーバイザのロールを切り替えることができます。
N9K-C9808# show module
Mod Portsモジュールタイプモデルのステータス
— ----- ------------------------------------------------ --------------------- --------
27 0スーパーバイザモジュールN9K-C9800-SUP-Aアクティブ*
28 0スーパーバイザモジュールN9K-C9800-SUP-A ha-standby

アクティブ側スーパーバイザを変更するには、「system switchover」コマンドを使用してアクティブ側スーパーバイザをリロードし、スタンバイ側スーパーバイザをアクティブにします。
アクティブスーパーバイザから：
N9K-C9808#システムスイッチオーバー

スタンバイ側スーパーバイザがアクティブになるときのスタンバイ側スーパーバイザ：
N9K-C9808（スタンバイ）ログイン：[ 784.909143] Got RP P2PM intr, Becoming Active !!

User Access Verification
N9K-C9808ログイン：admin
パスワード：

Cisco Nexusオペレーティングシステム(NX-OS)ソフトウェア
TAC Support:http://www.cisco.com/tac
著作権(C) 2002-2024、シスコおよびその関連会社
All rights reserved.
このソフトウェアに含まれる特定の著作物の著作権は、
他の第三者が所有し、自己の下で使用され、配布される
ライセンス（オープンソースなど）本ソフトウェアは、以下の場合を除き「現状のまま」提供されます
明示的または暗示的な保証はなく、保証の対象には含まれますが、そうではありません
商品性および特定の目的への適合性の保証に限定されます。
このソフトウェアの一部のコンポーネントは、
GNU General Public License(GPL)バージョン2.0または
GNU General Public License(GPL)バージョン3.0またはGNU
Lesser General Public License(LGPL)バージョン2.1または
Lesser General Public License(LGPL)バージョン2.0
各ライセンスのコピーは、次のURLで入手できます。
http://www.opensource.org/licenses/gpl-2.0.phpおよび
http://opensource.org/licenses/gpl-3.0.htmlおよび
http://www.opensource.org/licenses/lgpl-2.1.phpおよび
http://www.gnu.org/licenses/old-licenses/library.txt にアクセスしてください。
N9K-C9808# show module
Mod Portsモジュールタイプモデルのステータス
— ----- ------------------------------------------------ --------------------- --------
27 0スーパーバイザモジュールの電源オン
28 0スーパーバイザモジュールN9K-C9800-SUP-Aアクティブ*

要約

1. セカンダリスーパーバイザのインストール

2. プリインストールされたリリースに応じて、アクティブなスーパーバイザとセカンダリをイメージ同期するプロセスを実行します。

3. スタンバイスーパーバイザでのBIOSのアップグレード

4. すべてのモジュールのEPLDのアップグレード