断続的または無応答のN7Kコントロールプレーン/ハードウェア障害のトラブルシューティング

概要

このドキュメントでは、Nexus 7000のハードウェアモジュールが応答しない、または断続的な場合のトラブルシューティング方法について説明します。

断続的または無応答のN7Kコントロールプレーンのトラブルシューティング

1.断続的な問題は、特定のサイクルで発生しますか。

ステップ 1：さまざまなSNMP V3ユーザIDやSNMP V2コミュニティストリングに対してsnmpwalkを実行します（つまり、ホスト名mibをwalkします）。

これを連続ループで行います。

• snmpwalkが問題なく一貫して応答する場合、これは問題ではない可能性が高いです。
• snmpwalkが30秒間一貫して応答した後、突然の停止が発生し、さらに30秒間断続的になってサイクルを繰り返す場合 – これは深刻な兆候です

ステップ2：ステップ1のホスト名に対して断続的に応答しないsnmpwalkがある、問題のVDCにsshで接続します。

• snmpwalkがホスト名で応答しないのと同じ正確な時間に、sshウィンドウでshow running-configurationを実行します。
• 「running-configuration is paused」と表示された場合、これは重大な兆候です

手順1.と手順2.の両方が同じ60秒サイクルで同時に影響を受けている場合、N7Kではハードウェア診断のヘルスチェックが一貫して実行されるため、N7Kコントロールプレーン内部のハードウェア障害と考えられます。30秒間の応答性、30秒間の非応答性の後にサイクルが繰り返される場合、これはハードウェア診断ヘルスチェックがすべてのハードウェアをスキャンしていることを明確に示しています。30秒の応答性は正常なハードウェアのスキャンであり、30秒の無応答性は障害が発生したハードウェアです。

ステップ 3：手順2.でハードウェア障害が明確に示されている場合は、次の手順を実行します。

• すべてのアクティブなVDCでshow moduleを実行し、失敗した診断テストを表示する
• 最も重要なことは、admin VDC-1（つまりVDC-1）でのみ、show logging logging log fileを実行してEOBCエラーを探すことです（つまり、EOBCエラーはadmin VDC-1でのみログに記録されます）

注:EOBCは、N7KがSUP/ファブリックモジュール/ラインカード間の通信に使用する内部コントロールプレーンプロセスです。このEOBCプロセスが何らかの影響を受ける場合、管理VDC-1ログファイルに示されている関連モジュールが、前のテストで確認された断続的な応答の原因である可能性が高くなります。これは、SUPが管理VDC-1ログファイルに示されている関連モジュールと100 %一致する通信を失い、回復または通信を試みているために、他のコントロールプレーンプロセスで断続的な応答が原因になっているためです。

以下に例を挙げます。

lab-sw01-admin-vdc-1# show logging logfile | inc EOBC
2022 Feb 22 19:46:15 lab-sw01-admin-vdc-1 %MODULE-4-MOD_WARNING: Module 8 (Serial number: JAA00000000) reported warning 8/1-8/0 due to EOBC heartbeat failure on standby sup in device DEV_EOBC_MAC (device error 0xc0a0504f)
2022 Feb 22 19:46:15 lab-sw01-admin-vdc-1 %MODULE-4-MOD_WARNING: Module 8 (Serial number: JAA00000000) reported warning 8/1-8/0 due to EOBC heartbeat failure in device DEV_EOBC_MAC (device error 0xc0a0514d)
2022 Feb 22 19:46:16 lab-sw01-admin-vdc-1 %MODULE-4-MOD_WARNING: Module 8 (Serial number: JAA00000000) reported warning 8/1-8/0 due to EOBC heartbeat failure on standby sup in device DEV_EOBC_MAC (device error 0xc0a0504f)
2022 Feb 22 19:46:16 lab-sw01-admin-vdc-1 %MODULE-4-MOD_WARNING: Module 8 (Serial number: JAA00000000) reported warning 8/1-8/0 due to EOBC heartbeat failure in device DEV_EOBC_MAC (device error 0xc0a0514d)
2022 Feb 22 19:46:21 lab-sw01-admin-vdc-1 %MODULE-4-MOD_WARNING: Module 8 (Serial number: JAA00000000) reported warning 8/1-8/0 due to EOBC heartbeat failure in device DEV_EOBC_MAC (device error 0xc0a0514d)
2022 Feb 22 19:46:21 lab-sw01-admin-vdc-1 %MODULE-4-MOD_WARNING: Module 8 (Serial number: JAA00000000) reported warning 8/1-8/0 due to EOBC heartbeat failure on standby sup in device DEV_EOBC_MAC (device error 0xc0a0504f)
2022 Feb 22 19:46:22 lab-sw01-admin-vdc-1 %MODULE-4-MOD_WARNING: Module 8 (Serial number: JAA00000000) reported warning 8/1-8/0 due to EOBC heartbeat failure in device DEV_EOBC_MAC (device error 0xc0a0514d)
2022 Feb 22 19:46:23 lab-sw01-admin-vdc-1 %MODULE-4-MOD_WARNING: Module 8 (Serial number: JAA00000000) reported warning 8/1-8/0 due to EOBC heartbeat failure on standby sup in device DEV_EOBC_MAC (device error 0xc0a0504f)
2022 Feb 22 19:46:23 lab-sw01-admin-vdc-1 %MODULE-4-MOD_WARNING: Module 8 (Serial number: JAA00000000) reported warning 8/1-8/0 due to EOBC heartbeat failure in device DEV_EOBC_MAC (device error 0xc0a0514d)
2022 Feb 22 19:46:24 lab-sw01-admin-vdc-1 %MODULE-4-MOD_WARNING: Module 8 (Serial number: JAA00000000) reported warning 8/1-8/0 due to EOBC heartbeat failure on standby sup in device DEV_EOBC_MAC (device error 0xc0a0504f)
2022 Feb 22 19:46:24 lab-sw01-admin-vdc-1 %MODULE-4-MOD_WARNING: Module 8 (Serial number: JAA00000000) reported warning 8/1-8/0 due to EOBC heartbeat failure in device DEV_EOBC_MAC (device error 0xc0a0514d)
2022 Feb 22 19:46:26 lab-sw01-admin-vdc-1 %MODULE-4-MOD_WARNING: Module 8 (Serial number: JAA00000000) reported warning 8/1-8/0 due to EOBC heartbeat failure on standby sup in device DEV_EOBC_MAC (device error 0xc0a0504f)
2022 Feb 22 19:46:26 lab-sw01-admin-vdc-1 %MODULE-4-MOD_WARNING: Module 8 (Serial number: JAA00000000) reported warning 8/1-8/0 due to EOBC heartbeat failure in device DEV_EOBC_MAC (device error 0xc0a0514d)

このログ出力は、モジュール8でスタンバイSUPとのEOBCハートビート障害が発生し、異常状態にあり、ただちにアクションが必要であることを明確に示しています。

2.この問題を解決する方法

ステップ 1：show moduleを実行し、参照用にデータをキャプチャします。

lab-sw01-admin-vdc-1# show module 
Mod Ports Module-Type Model Status
--- ----- ----------------------------------- ------------------ ----------
1 12 100 Gbps Ethernet Module N77-F312CK-26 ok
2 12 100 Gbps Ethernet Module N77-F312CK-26 ok
3 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
4 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
5 0 Supervisor Module-2 N77-SUP2E active *
6 0 Supervisor Module-2 N77-SUP2E ha-standby
7 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok
8 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok

Mod Sw Hw
--- --------------- ------
1 8.4(4) 1.5 
2 8.4(4) 1.5 
3 8.4(4) 1.9 
4 8.4(4) 1.9 
5 8.4(4) 1.3 
6 8.4(4) 1.3 
7 8.4(4) 1.2 
8 8.4(4) 1.2

注：すべてのモジュールがオンライン(ie ok)で、モジュール5がアクティブ(ie active *)SUPで、モジュール6がハイアベイラビリティスタンバイ(ie ha-standby)SUPです。 管理VDCログファイルにモジュール8に関するEOBC警告が存在する場合でも、この出力ではモジュール8がOKとして示されています。

ステップ 2：スイッチのリロードまたはスーパーバイザのスイッチオーバーを実行します（つまり、両方ともadmin VDC内で）。

lab-sw01-admin-vdc-1# reload

- system (ie supervisor) switchover - 

NOTE: preferred method as this is a non-impacting procedure to the box with regards to active data flows

lab-sw01-admin-vdc-1# system switchover

注：いずれの場合も、リロードまたはシステムスイッチオーバーを実行する前に、両方のスーパーバイザコンソールが表示されていることを確認してください。そうすれば、スーパーバイザの出力をすべて直接確認できます。

ステップ 3：モジュール8が問題の原因である可能性が高い場合は、システム（スーパーバイザ）のスイッチオーバー時にコンソールモジュール8のエラー「out」が表示される可能性があります。

lab-sw01-admin-vdc-1(standby) login: 2022 Feb 23 02:09:45 lab-sw01-admin-vdc-1 %$ VDC-1 %$ %KERN-2-SYSTEM_MSG: [12392164.927835] Switchover started by redundancy driver - kernel
2022 Feb 23 02:09:45 lab-sw01-admin-vdc-1 %$ VDC-1 %$ %SYSMGR-2-HASWITCHOVER_PRE_START: This supervisor is becoming active (pre-start phase).
2022 Feb 23 02:09:45 lab-sw01-admin-vdc-1 %$ VDC-1 %$ %SYSMGR-2-HASWITCHOVER_START: Supervisor 6 is becoming active.
2022 Feb 23 02:09:46 lab-sw01-vdc-2 %$ VDC-2 %$ %ELTM-2-ELTM_INTF_TO_LTL: Failed to get LTL for interface lc-eth0/8 return status No card found in slot 
2022 Feb 23 02:09:46 lab-sw01-admin-vdc-1 %$ VDC-1 %$ %SYSMGR-2-SWITCHOVER_OVER: Switchover completed.
2022 Feb 23 02:09:47 lab-sw01-admin-vdc-1 %$ VDC-1 %$ %PLATFORM-1-PFM_ALERT: Disabling ejector based shutdown on sup in slot 6 
2022 Feb 23 02:09:46 lab-sw01-vdc-2 %$ VDC-2 %$ %ELTM-2-ELTM_INTF_TO_LTL: Failed to get LTL for interface lc-eth1/8 return status No card found in slot 
2022 Feb 23 02:09:46 lab-sw01-vdc-2 %$ VDC-2 %$ %ELTM-2-ELTM_INTF_TO_LTL: Failed to get LTL for interface lc-eth2/8 return status No card found in slot 
2022 Feb 23 02:09:46 lab-sw01-vdc-2 %$ VDC-2 %$ %ELTM-2-ELTM_INTF_TO_LTL: Failed to get LTL for interface lc-eth3/8 return status No card found in slot 
2022 Feb 23 02:09:46 lab-sw01-vdc-2 %$ VDC-2 %$ %ELTM-2-ELTM_INTF_TO_LTL: Failed to get LTL for interface lc-eth4/8 return status No card found in slot 
2022 Feb 23 02:09:46 lab-sw01-vdc-2 %$ VDC-2 %$ %ELTM-2-ELTM_INTF_TO_LTL: Failed to get LTL for interface lc-eth5/8 return status No card found in slot 
2022 Feb 23 02:09:46 lab-sw01-vdc-2 %$ VDC-2 %$ %ELTM-2-ELTM_INTF_TO_LTL: Failed to get LTL for interface lc-eth6/8 return status No card found in slot 
2022 Feb 23 02:09:46 lab-sw01-vdc-2 %$ VDC-2 %$ %ELTM-2-ELTM_INTF_TO_LTL: Failed to get LTL for interface lc-eth7/8 return status No card found in slot 
2022 Feb 23 02:09:46 lab-sw01-vdc-2 %$ VDC-2 %$ %ELTM-2-ELTM_INTF_TO_LTL: Failed to get LTL for interface lc-eth8/8 return status No card found in slot 
2022 Feb 23 02:09:46 lab-sw01-vdc-2 %$ VDC-2 %$ %ELTM-2-ELTM_INTF_TO_LTL: Failed to get LTL for interface lc-eth9/8 return status No card found in slot 
2022 Feb 23 02:09:46 lab-sw01-vdc-2 %$ VDC-2 %$ %ELTM-2-ELTM_INTF_TO_LTL: Failed to get LTL for interface lc-eth10/8 return status No card found in slot 
2022 Feb 23 02:09:46 lab-sw01-vdc-2 %$ VDC-2 %$ %ELTM-2-ELTM_INTF_TO_LTL: Failed to get LTL for interface lc-eth11/8 return status No card found in slot

ステップ 4：複数のshow modulesを実行し、モジュール8がオンラインに戻るかどうか、またいつ戻るかを確認します。

Module 5 dropped out and is powered-up:
Module 8 dropped out and is powered-up:

lab-sw01-admin-vdc-1# show module 
Mod Ports Module-Type Model Status
--- ----- ----------------------------------- ------------------ ----------
1 12 100 Gbps Ethernet Module N77-F312CK-26 ok
2 12 100 Gbps Ethernet Module N77-F312CK-26 ok
3 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
4 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
5 0 Supervisor Module-2 powered-up
6 0 Supervisor Module-2 N77-SUP2E active *
7 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok
8 24 10/40 Gbps Ethernet Module powered-up

Mod Power-Status Reason 
--- ------------ ---------------------------
8 powered-up Unknown. Issue show system reset mod ...

Mod Sw Hw
--- --------------- ------
1 8.4(4) 1.5 
2 8.4(4) 1.5 
3 8.4(4) 1.9 
4 8.4(4) 1.9 
6 8.4(4) 1.3 
7 8.4(4) 1.2

lab-sw01-admin-vdc-1# 2022 Feb 23 02:11:11 lab-sw01-vdc-2 %$ VDC-2 %$ %PLATFORM-2-MOD_DETECT: Module 8 detected (Serial number JAA00000000) Module-Type 10/40 Gbps Ethernet Module Model N77-F324FQ-25
2022 Feb 23 02:11:11 lab-sw01-vdc-2 %$ VDC-2 %$ %PLATFORM-2-MOD_PWRUP: Module 8 powered up (Serial number JAA00000000)
2022 Feb 23 02:11:11 lab-sw01-admin-vdc-1 %$ VDC-1 %$ %PLATFORM-2-MOD_DETECT: Module 8 detected (Serial number JAA00000000) Module-Type 10/40 Gbps Ethernet Module Model N77-F324FQ-25
2022 Feb 23 02:11:11 lab-sw01-admin-vdc-1 %$ VDC-1 %$ %PLATFORM-2-MOD_PWRUP: Module 8 powered up (Serial number JAA00000000)

Module 8 is pwr-cycled:

lab-sw01-admin-vdc-1# show module 
Mod Ports Module-Type Model Status
--- ----- ----------------------------------- ------------------ ----------
1 12 100 Gbps Ethernet Module N77-F312CK-26 ok
2 12 100 Gbps Ethernet Module N77-F312CK-26 ok
3 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
4 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
5 0 Supervisor Module-2 powered-up
6 0 Supervisor Module-2 N77-SUP2E active *
7 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok
8 24 10/40 Gbps Ethernet Module pwr-cycld

Mod Power-Status Reason 
--- ------------ ---------------------------
8 pwr-cycld Unknown. Issue show system reset mod ...

Mod Sw Hw
--- --------------- ------
1 8.4(4) 1.5 
2 8.4(4) 1.5 
3 8.4(4) 1.9 
4 8.4(4) 1.9 
6 8.4(4) 1.3 
7 8.4(4) 1.2

lab-sw01-admin-vdc-1# show module 
Mod Ports Module-Type Model Status
--- ----- ----------------------------------- ------------------ ----------
1 12 100 Gbps Ethernet Module N77-F312CK-26 ok
2 12 100 Gbps Ethernet Module N77-F312CK-26 ok
3 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
4 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
5 0 Supervisor Module-2 powered-up
6 0 Supervisor Module-2 N77-SUP2E active *
7 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok
8 24 10/40 Gbps Ethernet Module N77-F324FQ-25 powered-up

Mod Sw Hw
--- --------------- ------
1 8.4(4) 1.5 
2 8.4(4) 1.5 
3 8.4(4) 1.9 
4 8.4(4) 1.9 
6 8.4(4) 1.3 
7 8.4(4) 1.2 
8 8.4(4) 1.2

Module 8 is checked by epld auto-upgrade and is good to go:

lab-sw01-admin-vdc-1# 2022 Feb 23 02:13:06 lab-sw01-admin-vdc-1 %$ VDC-1 %$ %USER-2-SYSTEM_MSG: <<%EPLD_AUTO-2-AUTO_UPGRADE_CHECK>> Automatic EPLD upgrade check for module 8: EPLD versions are up to date. - epld_auto

lab-sw01-admin-vdc-1# show module 
Mod Ports Module-Type Model Status
--- ----- ----------------------------------- ------------------ ----------
1 12 100 Gbps Ethernet Module N77-F312CK-26 ok
2 12 100 Gbps Ethernet Module N77-F312CK-26 ok
3 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
4 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
5 0 Supervisor Module-2 powered-up
6 0 Supervisor Module-2 N77-SUP2E active *
7 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok
8 24 10/40 Gbps Ethernet Module N77-F324FQ-25 powered-up

Mod Sw Hw
--- --------------- ------
1 8.4(4) 1.5 
2 8.4(4) 1.5 
3 8.4(4) 1.9 
4 8.4(4) 1.9 
6 8.4(4) 1.3 
7 8.4(4) 1.2 
8 8.4(4) 1.2

Module 8 moves to testing by the hardware diagnostics:

lab-sw01-admin-vdc-1# show module 
Mod Ports Module-Type Model Status
--- ----- ----------------------------------- ------------------ ----------
1 12 100 Gbps Ethernet Module N77-F312CK-26 ok
2 12 100 Gbps Ethernet Module N77-F312CK-26 ok
3 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
4 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
5 0 Supervisor Module-2 powered-up
6 0 Supervisor Module-2 N77-SUP2E active *
7 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok
8 24 10/40 Gbps Ethernet Module N77-F324FQ-25 testing

Mod Sw Hw
--- --------------- ------
1 8.4(4) 1.5 
2 8.4(4) 1.5 
3 8.4(4) 1.9 
4 8.4(4) 1.9 
6 8.4(4) 1.3 
7 8.4(4) 1.2 
8 8.4(4) 1.2

Module 8 moves to initializing after passing hardware diagnostics:

lab-sw01-admin-vdc-1# show module 
Mod Ports Module-Type Model Status
--- ----- ----------------------------------- ------------------ ----------
1 12 100 Gbps Ethernet Module N77-F312CK-26 ok
2 12 100 Gbps Ethernet Module N77-F312CK-26 ok
3 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
4 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
5 0 Supervisor Module-2 powered-up
6 0 Supervisor Module-2 N77-SUP2E active *
7 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok
8 24 10/40 Gbps Ethernet Module N77-F324FQ-25 initializing

Mod Sw Hw
--- --------------- ------
1 8.4(4) 1.5 
2 8.4(4) 1.5 
3 8.4(4) 1.9 
4 8.4(4) 1.9 
6 8.4(4) 1.3 
7 8.4(4) 1.2 
8 8.4(4) 1.2

Module 8 comes online:

lab-sw01-admin-vdc-1# show module 
Mod Ports Module-Type Model Status
--- ----- ----------------------------------- ------------------ ----------
1 12 100 Gbps Ethernet Module N77-F312CK-26 ok
2 12 100 Gbps Ethernet Module N77-F312CK-26 ok
3 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
4 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
5 0 Supervisor Module-2 powered-up
6 0 Supervisor Module-2 N77-SUP2E active *
7 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok
8 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok

Mod Sw Hw
--- --------------- ------
1 8.4(4) 1.5 
2 8.4(4) 1.5 
3 8.4(4) 1.9 
4 8.4(4) 1.9 
6 8.4(4) 1.3 
7 8.4(4) 1.2 
8 8.4(4) 1.2

Module 5 SUP going active:

lab-sw01-admin-vdc-1# show module 
Mod Ports Module-Type Model Status
--- ----- ----------------------------------- ------------------ ----------
1 12 100 Gbps Ethernet Module N77-F312CK-26 ok
2 12 100 Gbps Ethernet Module N77-F312CK-26 ok
3 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
4 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
5 0 Supervisor Module-2 N77-SUP2E inserted
6 0 Supervisor Module-2 N77-SUP2E active *
7 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok
8 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok

Mod Sw Hw
--- --------------- ------
1 8.4(4) 1.5 
2 8.4(4) 1.5 
3 8.4(4) 1.9 
4 8.4(4) 1.9 
5 8.4(4) 1.3 
6 8.4(4) 1.3 
7 8.4(4) 1.2 
8 8.4(4) 1.2

Module 5 SUP becomes ha-standby:

2022 Feb 23 02:16:38 lab-sw01-admin-vdc-1 %$ VDC-1 %$ %PLATFORM-1-PFM_ALERT: Enabling ejector based shutdown on sup in slot 6 
lab-sw01-admin-vdc-1# show module 
Mod Ports Module-Type Model Status
--- ----- ----------------------------------- ------------------ ----------
1 12 100 Gbps Ethernet Module N77-F312CK-26 ok
2 12 100 Gbps Ethernet Module N77-F312CK-26 ok
3 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
4 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
5 0 Supervisor Module-2 N77-SUP2E ha-standby
6 0 Supervisor Module-2 N77-SUP2E active *
7 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok
8 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok

Mod Sw Hw
--- --------------- ------
1 8.4(4) 1.5 
2 8.4(4) 1.5 
3 8.4(4) 1.9 
4 8.4(4) 1.9 
5 8.4(4) 1.3 
6 8.4(4) 1.3 
7 8.4(4) 1.2 
8 8.4(4) 1.2

2022 Feb 23 02:15:44 lab-sw01-admin-vdc-1 %MODULE-5-MOD_OK: Module 8 is online (Serial number: JAA00000000)
2022 Feb 23 02:15:43 lab-sw01-admin-vdc-1 %SYSMGR-SLOT8-5-MODULE_ONLINE: System Manager has received notification of local module becoming online.
2022 Feb 23 02:15:44 lab-sw01-admin-vdc-1 %PLATFORM-5-MOD_STATUS: Module 8 current-status is MOD_STATUS_ONLINE/OK
2022 Feb 23 02:16:38 lab-sw01-admin-vdc-1 %MODULE-5-STANDBY_SUP_OK: Supervisor 5 is standby

注：すべてのモジュールがオンライン（正常）であり、モジュール6がアクティブ（アクティブ*）SUPで、モジュール5がハイアベイラビリティスタンバイ(ha-standby)SUPです。

ステップ 5：すべてのモジュールがオンラインになったら、ステップ1を繰り返し、すべての接続が正規化されていることを確認します。