Expressway Clusterとは何ですか。どのように動作するか

概要

このドキュメントでは、ExpresswayクラスタがExpresswayのインストールの復元力と容量を拡張するように設計されている方法について説明します。  

背景説明

容量。Expresswayクラスタは、単一のExpresswayと比較して、Expressway展開のキャパシティを最大4倍に増やすことができます。クラスタ内のExpresswayピアは、帯域幅の使用量だけでなく、ルーティング、ゾーン、FindMeなどの設定も共有します。

復元力。Expresswayクラスタは、Expresswayがメンテナンスモードの間、またはネットワークや停電などの理由でアクセス不能になった場合に冗長性を提供できます。エンドポイントは、クラスタ内の任意のピアに登録できます。エンドポイントが初期ピアへの接続を失った場合は、クラスタ内の別のピアに再登録できます。

仕様

Expresswayは、最大6つのExpresswayのクラスタに含めることができます。クラスタを作成する場合、1つのピアをプライマリとして指定し、その設定が他のピアに複製されます。クラスタ内のすべてのExpresswayピアに同じルーティング機能が必要です。Expresswayがコールを宛先にルーティングできる場合、そのクラスタ内のすべてのExpresswayピアがその宛先にコールをルーティングできると想定されます。

容量

4つのピアの後にキャパシティの増加はありません。したがって、たとえば6ピアクラスタでは、5番目と6番目のExpresswayはクラスタに追加コール容量を追加しません。追加ピアでは復元力が向上するが、容量は向上しない。

• Small Virtual Machines(VM)の場合、クラスタは冗長性のためだけに使用され、拡張用ではなく、クラスタからの容量の増加はありません。
• 次の図に、4つのピアクラスタ構成に基づく容量を示します。

重要なページ要素

要件

• セキュアシェル(SSH)の基礎知識
• クラスタには、Expressway-Cノードのみ、またはExpressway-Eノードのみを含める必要があります。
• すべてのピアで同じソフトウェアバージョンを使用する必要があります。
• すべてのピアは、同等の機能を持つハードウェアプラットフォーム、アプライアンス、または仮想マシン(VM)を使用します。
• Expresswayは、最大80ミリ秒のラウンドトリップ遅延をサポートします。
• 各ピアでH323モードが有効になっている。
• すべてのピアに同じオプションキーのセットがインストールされていますが、次の例外があります。

• Video Control Server(VCS)の場合：トラバーサルおよび非トラバーサルコールライセンス
• Expresswayの場合：リッチメディアセッション
• Expresswayの場合：会議室システムおよびデスクトップシステム登録ライセンス

他のすべてのライセンスキーは、各ピアで同一である必要があります。

• クラスタピア間にネットワークアドレス変換(NAT)が存在しない。

注：Expressway-Eが単一のネットワークインターフェイスコントローラ(NIC)を使用している場合は、パブリックIPを使用する必要があります。Expressway-EがデュアルNICを使用する場合、クラスタの構築には内部インターフェイスを使用する必要があります。

• IPアドレス、ドメインネームサービス(DNS)、およびネットワークタイムプロトコル(NTP)を設定する必要があります。 

クラスタ接続とポート

設定

新しいクラスタの作成

1. Expressway Webインターフェイスを開きます。
2. [System] > [Clustering]に移動します。
3. 次の値を入力します。

注：他のピアを追加する前に、最初に1つの（プライマリ）ピアのクラスタを作成し、プライマリを再起動する必要があります。1つのクラスタを確立した後で、ピアを追加できます。

設定プライマリ：1

クラスタIPバージョン：ネットワークアドレス方式と一致させるには、[IPv4]または[IPv6]を選択します。

TLS検証モードオプション：[許可(Permissive)]（デフォルト）または[強制(Enforce)]。

       Permissiveは、クラスタ内Transport Layer Security(TLS)接続が確立された場合に、ピアが互いの証明書を検証しないことを意味します。

       Enforceはより安全ですが、各ピアに有効な証明書があり、認証局(CA)が他のすべてのピアによって信頼されている必要があります。

ピア1アドレス：このExpressway（プライマリピア）のアドレスを入力します。 TLS検証モードが[Enforce]に設定されている場合は、サブジェクトの共通名(CN)またはサブジェクトの代替名(SAN)と一致する完全修飾ドメイン名(FQDN)をこのピアの証明書に入力する必要があります。

4. [Save] を選択します。
5. サーバを再起動します。
6. [メンテナンス] > [再起動オプション]に移動し、[再起動]を選択して[OK]を確認します。
7. 次の図に示すように、証明書が有効であることを確認します。

クラスタへの追加ピアの追加

 

ピアを追加するには、次の手順を実行します。

1. プライマリExpresswayで[System] > [Clustering]に移動します。
2. 最初の空のフィールドに、新しいExpresswayピアのアドレスを入力します。
3. [Save] を選択します。
4. ピア1はThis systemを示す必要があります。新しいピアはUnknownを示す必要があり、更新を行う場合はFailedを示す必要があります。これは、クラスタにまだ完全に参加していないためです。
5. クラスタ内に既に存在する下位ピアの1つで、[システム(System)] > [クラスタリング(Clustering)]に移動し、次のフィールドを編集します。
   
   
   
   
6. クラスタ内に既に存在する下位ピアごとに、前の手順を繰り返します。
7. [Save] を選択します。
8. Expresswayがクラスタ通信障害アラームを起動します。必要な再起動後にアラームがクリアされます。
9. Expresswayを再起動します。
10. 再起動後、約2分間待機します。これは、プライマリから設定がコピーされる頻度です。
11. クラスタデータベースの状態を確認します。
    
    
12. 設定がサブルートピアで複製されていることを確認します。

TLS検証の実施

注意：先に進む前に、証明書SANの[Peer N address]フィールドに含まれているFQDNが含まれていることを確認します。続行する前に、クラスタリングおよび証明書の緑色のステータスメッセージが各アドレスフィールドの横に表示されている必要があります。  

1. プライマリピアで、TLS検証モードを[Enforce]に設定します。

注意：証明書が無効で、強制TLS検証モードでクラスタが正常に動作しない場合は、警告が表示されます。

2. 新しいTLS検証モードがクラスタ全体に複製されます。
3. TLS検証モードが相互ピアで適用されていることを確認してください。
4. [Save]を選択し、プライマリピアを再起動します。
5. プライマリピアがオンラインに戻ったら、各ピアを1つずつ再起動します。
6. クラスタが安定するまで待ち、すべてのピアでクラスタリングと証明書のステータスが緑色であることを確認します。

プライマリピアの変更

注：このプロセスは、現在のプライマリピアにアクセスできない場合でも実行できます。

1. 新しいプライマリアExpresswayで、[System] > [Clustering]に移動します。
2. [Configuration primary]ドロップダウンメニューから、[This system]というピアエントリのID番号を選択します。
3. [Save] を選択します。

注：このプロセスの実行中は、Expressway上でクラスタのプライマリミスマッチまたはクラスタのレプリケーションエラーを報告するアラームをすべて無視してください。

4. 他のすべてのExpresswayピアでは、古いプライマリピアから開始します（アクセス可能な場合）。
5. [System] > [Clustering]に移動します。
6. [Configuration primary]ドロップダウンメニューから、新しいプライマリExpresswayのID番号を選択します。
7. [Save] を選択します。
8. 構成プライマリへの変更が受け入れられたことを確認し、[System] > [Clustering]に移動して、ページを更新します。
9. 変更を受け入れていないExpresswayがある場合は、同じ手順を繰り返します。
10. クラスタデータベースの状態がアクティブとして報告されていることを確認します。

FQDNを使用するためのクラスタの変更

注：この手順を実行すると、ピア間の通信が一時的に影響を受けます。つまり、変更が完了し、クラスタが新しいアドレスに一致するまで、アラームが持続することが予想されます。

1. すべてのクラスタピアにサインインし、[System] > [Clustering]に移動します。
2. 変更するピアアドレスを選択します。最初のアドレスはPeer 1アドレスであることを推奨します。
3. クラスタ内のすべてのピアで、次の手順に従います。
4. 選択したピアアドレスフィールドをIPアドレスからFQDNに変更します。
5. [Save] を選択します。
6. 変更したピアアドレスで識別されるピアに切り替え、サーバを再起動します。
7. 一時的なクラスタアラームが解決するまで待ちます。
8. 変更する次のピアアドレスを選択し、手順3 ～ 7を繰り返します。
9. すべてのピアアドレスを変更して、すべてのピアを再起動するまで、この手順を繰り返します。

Expressway-Eのクラスタアドレスマッピング

モバイルおよびリモートアクセス(MRA)などのセキュアな展開では、各Expressway-Eピアには、パブリックFQDNを含むSANを持つ証明書が必要です。FQDNはパブリックDNSでExpressway-EのパブリックIPアドレスにマッピングされます。

注：Cisco Expressway-Eピアを単純にクラスタ化し、その間でTLS検証を行う必要がない場合は、ノードのプライベートIPアドレスでクラスタを形成できます。クラスタアドレスマッピングは必要ありません。

クラスタアドレスマッピングはFQDN:IPペアで、クラスタの周囲で共有され、各ピアに1ペアずつ割り当てられます。ピアはDNSを照会する前にマッピングテーブルを参照し、一致するエントリが見つかった場合はDNSを照会しません。

TLSを適用する場合、ピアは互いの証明書のSANフィールドから名前を読み取り、マッピングのFQDN側に対して各名前をチェックする必要があります。

プライマリピアにマッピングを入力することを強く推奨します。アドレスマッピングは、クラスタを通じて動的に複製されます。アドレスマッピングを設定するには、次の手順に従います。

1. プライマリピアで[System] > [Clustering]に移動し、[Cluster address mapping enabled]ドロップダウンを[On](デフォルトは[Off])に変更します。 クラスタアドレスマッピングフィールドが表示されます。
2. Expressway-EピアのパブリックFQDNが内部NICのIPアドレスに対応するように、マッピングを編集します。
3. [Save] を選択します。

注意：パブリックDNSを使用してピアのパブリックFQDNをプライベートIPアドレスにマッピングしないでください。この操作は外部接続を切断する可能性があります。  

単一のNICによるクラスタ

クラスタ内のExpressway-Eピアが証明書を使用して互いのIDを確認する場合は、DNSを使用してクラスタピアのFQDNをパブリックIPアドレスに解決することを許可できます。これは、Expressway-Eノードに次がある場合にクラスタを形成する完全に受け入れ可能な方法です。

• 1つのNICのみ
• スタティックNATが設定されていない
• ルーティング可能なIPアドレス

トラブルシューティング

工場出荷時のリセットをトリガーする要因

クラスタリングページからすべてのピアアドレスフィールドをクリアして、設定を保存すると、Expresswayはデフォルトで、次回の再起動の際に工場出荷時設定をリセットします。これは、ローカルエリアネットワーク1(LAN1)インターフェイスの基本的なネットワーク設定を除き、すべての設定が削除されることを意味します。この設定には、フィールドをクリアし、次に再起動した後に実行されるすべての設定が含まれます。

ヒント：工場出荷時のリセットを回避する必要がある場合は、クラスタピアアドレスフィールドを復元します。元のピアアドレスを同じ順序で置き換え、設定を保存してバナーをクリアします。

ピアが再起動すると、工場出荷時のリセットが自動的にトリガーされ、機密データとクラスタ設定が削除されます。リセットは、次の基本的なネットワーク情報を除くすべての設定をクリアします。

注：デュアルNICオプションを使用する場合は、リセットによってLAN2構成が完全に削除されることに注意してください。

• IPアドレス・管理者およびルートアカウントとパスワード
• SSHキー
• オプションキー
• ハイパーテキスト転送プロトコルセキュア(HTTPS)アクセスが有効
• SSHアクセスが有効

注：バージョンX12.6では、工場出荷時のリセットにより、サーバ証明書、関連付けられた秘密キー、およびCA信頼ストアの設定がピアから削除されます。以前のExpresswayソフトウェアバージョンでは、これらの設定は保持されます。

工場出荷時設定リセットの失敗

工場出荷時のリセットが失敗する可能性があります。これは、Expresswayが新規インストールのOpen Virtualization Appliance(OVA)であり、アップグレードされていない場合に発生する可能性があります。 

この問題を解決するには、次のいずれかのオプションに従ってください。

• すべてのノードをtar.gzファイルを使用して同じソフトウェア・バージョンにアップグレードしてください。アップグレードプロセスが終了したら、サーバを再起動し、工場出荷時のリセットをトリガーします。
• WinSCP(/mnt/harddisk/factory-reset/)を使用して、tar.gzファイルを工場出荷時のリセットフォルダに直接アップロードします。 次に、を再起動して工場出荷時のリセットを開始するか、CLIから工場出荷時のリセットを発行します。

注：アップグレード、証明書の変更、または工場出荷時のリセット警告が表示される場合は、必ず適切なバックアップを取ってください。

再起動シーケンス

クラスタまたはピアの再起動が必要な場合は、次の手順に従います。

1. プライマリピアを再起動し、Webインターフェイス経由でアクセスできるようになるまで待ちます。
2. プライマリおよび全ピアのステータスでクラスタレプリケーションのステータスを検証します。数分待ってから、ピアのWebインターフェイスを頻繁に更新します。
3. 必要に応じて、他のピアを1つずつ再起動します。毎回、アクセス可能になってから数分待ってから、レプリケーションのステータスを確認します。

注：Expresswayピアが正常なステータスを報告する前に、クラスタの変更を行ってから約5分間待つ必要があります。

アラームと警告

クラスタエラーのアラームは、次の形式で表示されます。クラスターのレプリケーションエラー：（詳細）設定の手動同期が必要です。次に例を示します。

• クラスターのレプリケーションエラー：設定の手動同期が必要です。
• クラスターのレプリケーションエラー：プライマリまたはこの下位のピア設定ファイルが見つかりません。設定の手動同期が必要です。
• クラスターのレプリケーションエラー：設定のプライマリIDに一貫性がないため、手動で設定を同期する必要があります。
• クラスターのレプリケーションエラー：このピアの設定はプライマリの設定と競合するため、設定の手動同期が必要です。

下位のExpresswayから前述のアラームが報告された場合は、次の手順に従います。

1. SSHまたはその他のCLIインターフェイスにadminとしてログインします。
2. 次のコマンドを実行します。xcommand ForceConfigUpdate

注：アップグレード、証明書の変更、または工場出荷時のリセット警告が表示される場合は、必ず適切なバックアップを取ってください。

3. このコマンドは、下位のExpressway設定を削除し、プライマリExpresswayから強制的に設定を更新します。

問題が解決しない場合は、クラスタピアごとの暗号キーに関連している可能性があります。通常、ピアが誤った順序でアップグレードされると、下位層ピアはプライマリと同期されません。したがって、xcommand forceconfigupdateが動作しない場合は、次の手順に従ってください。

1. プライマリピアにサインインし、正常な状態であることを確認します。
2. クラスタ設定でこのピアがプライマリであることが示されていることを確認します。
3. プライマリを再度アップグレードします。アップグレードに最初に使用したものと同じパッケージを使用します。

プライマリピアのアップグレードとリブートが完了すると、レプリケーションアラームがクリアされます。これは通常、リブート後10分以内に発生しますが、リブート後20分まで発生する可能性があります。

共通アラーム

無効なクラスタリング構成：H.323モードをオンにする必要があります。クラスタリングでは、ピア間でH.323通信を使用します。

このアラームをクリアするには、H.323モードがオンになっていることを確認し、[Configuration] > [Protocols] > [H.323]に移動します。

Expresswayデータベースの障害：シスコのサポート担当者にお問い合わせください。

この種のアラームをトラブルシューティングするには、次の手順を実行します。

1. システムスナップショットを取り、サポート担当者に提供します。
2. クラスタからExpresswayを削除します。
3. Expresswayのデータベースを、そのExpresswayで以前に実行したバックアップから復元します。
4. Expresswayをクラスタに戻します。

データベースが回復しない場合は、2番目の方法を使用できます。

1. システムスナップショットを作成し、Technical Assistance Center(TAC)に提供します。
2. クラスタからExpresswayを削除します。
3. rootとしてログインし、次のコマンドclusterdb_destroy_and_purge_data.shを実行します。
4. Expresswayのデータベースを、そのExpresswayで以前に実行したバックアップから復元します。
5. Expresswayをクラスタに戻します。 

注：アップグレード、証明書の変更、または工場出荷時のリセット警告が表示される場合は、必ず適切なバックアップを取ってください。

注意：clusterdb_destroy_and_purge_data.shは、音と同じくらい危険です。

システムキー関連の問題

注：次の情報は、バージョンX14以降に適用されます。

キーファイルアラームの更新に失敗した場合は、単一ノードのシナリオでExpresswayでアラームが発生します。

次の手順に従って、この種のアラームをトラブルシューティングします。

1. CLIを使用してadminとしてログインします（デフォルトではSSHを使用し、ハードウェアバージョンのシリアルポートを使用します）。
2. 次のコマンドxCommand ForceSystemKeyUpdateを実行します。

Failed to update key file alarmsは、クラスタシナリオのExpresswayで発生します。

次の手順に従って、この種のアラームをトラブルシューティングします。

1. このアラームが発生しない場合は、CLI（デフォルトではSSHを介して、およびハードウェアバージョンのシリアルポートを介して使用可能）からadminとしてノードにログインします。
2. 次のコマンドxCommand ForceSystemKeyUpdateを実行します。

ログの詳細

Expresswayの他のログと同様に、TCPダンプを使用して診断ログを有効にできます。

マスターノードの通常状態のDB同期は、次の出力としてログに表示されます。

2020-07-21T15:16:50.321-05:00 expc01 replication: UTCTime="2020-07-21 20:16:50,321" Module="developer.replication" Level="INFO" CodeLocation="clusterconfigurationsynchroniser(270)" Detail="Starting synchronisation"
2020-07-21T15:16:50.330-05:00 expc01 replication: UTCTime="2020-07-21 20:16:50,330" Module="developer.replication" Level="INFO" CodeLocation="clusterconfigurationutils(750)" AlternateIPAddresses="[u'(10.15.13.15 expc01)', u'(10.15.13.16 expc02)']" ConfigurationMasterIndex="0" LocalPeerIndex="0" 
2020-07-21T15:16:50.433-05:00 expc01 replication: UTCTime="2020-07-21 20:16:50,433" Module="developer.replication" Level="INFO" CodeLocation="clusterconfigurationsynchroniser(257)" Detail="This peer is the cluster master, local configuration has already been replicated to the other peers"
2020-07-21T15:16:50.437-05:00 expc01 replication: UTCTime="2020-07-21 20:16:50,437" Module="developer.replication" Level="INFO" CodeLocation="clusterconfigurationsynchroniser(336)" Detail="Synchronisation completed successfully"

ピアノードの観点から、次の出力として表示されます。

2020-07-21T15:16:46.900-05:00 expc02 replication: UTCTime="2020-07-21 20:16:46,899" Module="developer.replication" Level="INFO" CodeLocation="clusterconfigurationsynchroniser(270)" Detail="Starting synchronisation"
2020-07-21T15:16:46.908-05:00 expc02 replication: UTCTime="2020-07-21 20:16:46,908" Module="developer.replication" Level="INFO" CodeLocation="clusterconfigurationutils(750)" AlternateIPAddresses="[u'(10.15.13.15 expc01)', u'(10.15.13.16 expc02)']" ConfigurationMasterIndex="0" LocalPeerIndex="1" 
2020-07-21T15:16:46.947-05:00 expc02 replication: UTCTime="2020-07-21 20:16:46,946" Module="developer.replication" Level="INFO" CodeLocation="clusterconfigurationsynchroniser(254)" Detail="This peer is not the cluster master, local configuration is already up to date"
2020-07-21T15:16:46.950-05:00 expc02 replication: UTCTime="2020-07-21 20:16:46,950" Module="developer.replication" Level="INFO" CodeLocation="clusterconfigurationsynchroniser(336)" Detail="Synchronisation completed successfully"

次の出力では、ピアの切断が示されています。

2020-08-12T14:57:43.353-05:00 expc01 UTCTime="2020-08-12 19:57:43,353" Module="developer.clusterdb.cdb" Level="INFO" Node="clusterdb@expc01.apolo.local" PID="<0.159.0>" Detail="Processed mnesia_down event from accessible node" Node="clusterdb@expc02.apolo.local"
2020-08-12T14:57:43.354-05:00 expc01 UTCTime="2020-08-12 19:57:43,353" Module="developer.clusterdb.cdb" Level="ERROR" Node="clusterdb@expc01.apolo.local" PID="<0.159.0>" Detail="Inconsistent Database" Context="from mnesia system - mnesia down" Node="clusterdb@expc02.apolo.local"
2020-08-12T14:57:43.354-05:00 expc01 UTCTime="2020-08-12 19:57:43,354" Module="developer.clusterdb.cdb" Level="INFO" Node="clusterdb@expc01.apolo.local" PID="<0.159.0>" Detail="Connecting database on mnesia running_partitioned_network event" Node="clusterdb@expc02.apolo.local"
2020-08-12T14:57:43.354-05:00 expc01 UTCTime="2020-08-12 19:57:43,354" Module="developer.clusterdb.cdb" Level="INFO" Node="clusterdb@expc01.apolo.local" PID="<0.14215.425>" Detail="Ready to perform node connection transaction" Node="clusterdb@expc02.apolo.local"
2020-08-12T14:57:43.354-05:00 expc01 UTCTime="2020-08-12 19:57:43,354" Module="developer.clusterdb.cdb" Level="INFO" Node="clusterdb@expc01.apolo.local" PID="<0.14215.425>" Detail="Running node connection transaction" Node="clusterdb@expc02.apolo.local"
2020-08-12T14:57:43.354-05:00 expc01 UTCTime="2020-08-12 19:57:43,354" Module="developer.clusterdb.synchronise" Level="WARN" Node="clusterdb@expc01.apolo.local" PID="<0.14215.425>" Detail="Failed connecting to node" Node="clusterdb@expc02.apolo.local" Reason="{ badrpc, { EXIT, { aborted, { noproc, { gen_server, call, [ kernel_safe_sup, { start_child, { dets_sup, { dets_sup, start_link,  }, permanent, 1000, supervisor, [ dets_sup ] } }, infinity ] } } } } }"
2020-08-12T14:57:43.524-05:00 expc01 alarm: Level="WARN" Event="Alarm Raised" Id="20006" UUID="0f96695e-d954-4f6f-85c1-2ef1eae6f764" Severity="warning" Detail="Cluster database communication failure: The database is unable to replicate with one or more of the cluster peers" UTCTime="2020-08-12 19:57:43,524"
2020-08-12T14:57:43.771-05:00 expc01 alarm: Level="WARN" Event="Alarm Raised" Id="20004" UUID="3bca6888-f622-11df-93be-07cc953d7b99" Severity="warning" Detail="Cluster communication failure: The system is unable to communicate with one or more of the cluster peers" UTCTime="2020-08-12 19:57:43,771"

2020-08-12T14:57:53.872-05:00 expc01 tvcs: UTCTime="2020-08-12 19:57:53,871" Module="network.h323" Level="INFO":  Action="Sent" Dst-ip="10.15.13.16" Dst-port="1719" Detail="Sending RAS SCI  SeqNum=52319 Retransmit=True"
2020-08-12T14:57:54.872-05:00 expc01 tvcs: UTCTime="2020-08-12 19:57:54,871" Module="network.h323" Level="INFO":  Action="Sent" Dst-ip="10.15.13.16" Dst-port="1719" Detail="Sending RAS LRQ  SeqNum=52320 Retransmit=True"
2020-08-12T14:57:56.872-05:00 expc01 tvcs: UTCTime="2020-08-12 19:57:56,871" Module="network.h323" Level="INFO":  Action="Sent" Dst-ip="10.15.13.16" Dst-port="1719" Detail="Sending RAS LRQ  SeqNum=52320 Retransmit=True"
2020-08-12T14:57:57.871-05:00 expc01 tvcs: UTCTime="2020-08-12 19:57:57,871" Module="network.h323" Level="INFO":  Action="Sent" Dst-ip="10.15.13.16" Dst-port="1719" Detail="Sending RAS SCI  SeqNum=52319 Retransmit=True"
2020-08-12T14:57:58.871-05:00 expc01 tvcs: Event="External Server Communications Failure" Reason="gatekeeper timed out" Service="NeighbourGatekeeper" Detail="name:10.15.13.16:1719" Level="1" UTCTime="2020-08-12 19:57:58,871"
2020-08-12T14:57:58.871-05:00 expc01 tvcs: UTCTime="2020-08-12 19:57:58,871" Module="network.h323" Level="INFO":  Action="Sent" Dst-ip="10.15.13.16" Dst-port="1719" Detail="Sending RAS LRQ  SeqNum=52320 Timeout=True"
2020-08-12T14:57:59.601-05:00 expc01 UTCTime="2020-08-12 19:57:59,601" Module="developer.clusterdb.peernameresolver" Level="INFO" Node="clusterdb@expc01.apolo.local" PID="<0.145.0>" Detail="Triggering forced peer update of peers which failed DNS and queueing next run" Queue-Time-ms="300000"
2020-08-12T14:58:01.871-05:00 expc01 tvcs: UTCTime="2020-08-12 19:58:01,871" Module="network.h323" Level="INFO":  Action="Sent" Dst-ip="10.15.13.16" Dst-port="1719" Detail="Sending RAS SCI  SeqNum=52319 Timeout=True"

マスターノードでのTLS適用に対する変更を次の出力に示します。

2020-08-12T15:13:24.970-05:00 expc01 UTCTime="2020-08-12 20:13:24,969" Module="developer.cdbtable.cdb.clusterConfiguration" Level="DEBUG" Node="clusterdb@expc01.apolo.local" PID="<0.345.0>" Detail="Inserting into table" TableName="clusterConfiguration"
2020-08-12T15:13:24.976-05:00 expc01 UTCTime="2020-08-12 20:13:24,975" Event="System Configuration Changed" Node="clusterdb@expc01.apolo.local" PID="<0.345.0>" Detail="xconfiguration clusterConfiguration tls_verify - changed from: Permissive to: Enforcing"
2020-08-12T15:13:24.976-05:00 expc01 httpd[15060]: web: Event="System Configuration Changed" Detail="configuration/cluster/tls_verify - changed from: 'Permissive' to: 'Enforcing'" Src-ip="10.15.13.30" Src-port="53155" User="admin" Level="1" UTCTime="2020-08-12 20:13:24" 
2020-08-12T15:13:24.979-05:00 expc01 management: UTCTime="2020-08-12 20:13:24,978" Module="developer.management.databasemanager" Level="INFO" CodeLocation="databasemanager(312)" Detail="Cluster configuration change detected"
2020-08-12T15:13:24.980-05:00 expc01 UTCTime="2020-08-12 20:13:24,980" Module="developer.cdbtable.cdb.clusterConfiguration" Level="DEBUG" Node="clusterdb@expc01.apolo.local" PID="<0.345.0>" Detail="Inserting into table" TableName="clusterConfiguration"
2020-08-12T15:13:24.986-05:00 expc01 management: UTCTime="2020-08-12 20:13:24,986" Module="developer.management.databasemanager" Level="INFO" CodeLocation="databasemanager(405)" Detail="TLS Verify change status" Startup="False" New="True"
2020-08-12T15:13:25.022-05:00 expc01 UTCTime="2020-08-12 20:13:25,022" Event="System Configuration Changed" Node="clusterdb@expc01.apolo.local" PID="<0.557.0>" Detail="xconfiguration alternatesConfiguration - Changed"
2020-08-12T15:13:25.022-05:00 expc01 UTCTime="2020-08-12 20:13:25,022" Module="developer.clusterdb.peernameresolver" Level="INFO" Node="clusterdb@expc01.apolo.local" PID="<0.145.0>" Detail="Notifying databasemanager (Management Framework)"
2020-08-12T15:13:25.022-05:00 expc01 UTCTime="2020-08-12 20:13:25,022" Module="developer.clusterdb.alternatesmanager" Level="INFO" Node="clusterdb@expc01.apolo.local" PID="<0.142.0>" Detail="alternate peer changed info recieved"
2020-08-12T15:13:25.031-05:00 expc01 UTCTime="2020-08-12 20:13:25,031" Event="System Configuration Changed" Node="clusterdb@expc01.apolo.local" PID="<0.557.0>" Detail="xconfiguration alternatesConfiguration - Changed" 
2020-08-12T15:13:25.192-05:00 expc01 management: UTCTime="2020-08-12 20:13:25,192" Module="developer.diagnostics.alarmmanager" Level="INFO" CodeLocation="alarmmanager(173)" Detail="Raising alarm" UUID="e2b8e3d1-b731-4d7d-b606-4682a8f0c2e6" Parameters="null"
2020-08-12T15:13:25.195-05:00 expc01 management: Level="WARN" Event="Alarm Raised" Id="20007" UUID="e2b8e3d1-b731-4d7d-b606-4682a8f0c2e6" Severity="warning" Detail="Restart required: Cluster configuration has been changed, however a restart is required for this to take effect" UTCTime="2020-08-12 20:13:25,194"

ピアノードの観点から、次の出力に示されます。

2020-08-12T15:13:24.976-05:00 expc02 UTCTime="2020-08-12 20:13:24,976" Event="System Configuration Changed" Node="clusterdb@expc02.apolo.local" PID="<0.390.0>" Detail="xconfiguration clusterConfiguration tls_verify - changed from: Permissive to: Enforcing"
2020-08-12T15:13:24.979-05:00 expc02 management: UTCTime="2020-08-12 20:13:24,978" Module="developer.management.databasemanager" Level="INFO" CodeLocation="databasemanager(312)" Detail="Cluster configuration change detected"
2020-08-12T15:13:24.982-05:00 expc02 management: UTCTime="2020-08-12 20:13:24,982" Module="developer.management.databasemanager" Level="INFO" CodeLocation="databasemanager(405)" Detail="TLS Verify change status" Startup="False" New="True"
2020-08-12T15:13:25.040-05:00 expc02 UTCTime="2020-08-12 20:13:25,040" Module="developer.clusterdb.peernameresolver" Level="INFO" Node="clusterdb@expc02.apolo.local" PID="<0.136.0>" Detail="Notifying databasemanager (Management Framework)"
2020-08-12T15:13:25.040-05:00 expc02 UTCTime="2020-08-12 20:13:25,040" Module="developer.clusterdb.alternatesmanager" Level="INFO" Node="clusterdb@expc02.apolo.local" PID="<0.143.0>" Detail="alternate peer changed info recieved"
2020-08-12T15:13:25.041-05:00 expc02 UTCTime="2020-08-12 20:13:25,041" Event="System Configuration Changed" Node="clusterdb@expc02.apolo.local" PID="<0.543.0>" Detail="xconfiguration alternatesConfiguration - Changed"
2020-08-12T15:13:25.042-05:00 expc02 UTCTime="2020-08-12 20:13:25,042" Event="System Configuration Changed" Node="clusterdb@expc02.apolo.local" PID="<0.543.0>" Detail="xconfiguration alternatesConfiguration - Changed"
2020-08-12T15:13:25.046-05:00 expc02 UTCTime="2020-08-12 20:13:25,046" Module="developer.clusterdb.alternatesmanager" Level="INFO" Node="clusterdb@expc02.apolo.local" PID="<0.143.0>" Detail="alternate peer changed info recieved"
2020-08-12T15:13:25.047-05:00 expc02 UTCTime="2020-08-12 20:13:25,046" Module="developer.clusterdb.peernameresolver" Level="INFO" Node="clusterdb@expc02.apolo.local" PID="<0.136.0>" Detail="Notifying databasemanager (Management Framework)"
2020-08-12T15:13:25.047-05:00 expc02 UTCTime="2020-08-12 20:13:25,047" Event="System Configuration Changed" Node="clusterdb@expc02.apolo.local" PID="<0.543.0>" Detail="xconfiguration alternatesConfiguration - Changed"
2020-08-12T15:13:25.049-05:00 expc02 UTCTime="2020-08-12 20:13:25,049" Event="System Configuration Changed" Node="clusterdb@expc02.apolo.local" PID="<0.543.0>" Detail="xconfiguration alternatesConfiguration - Changed"
 2020-08-12T15:13:25.136-05:00 expc02 management: UTCTime="2020-08-12 20:13:25,136" Module="developer.diagnostics.alarmmanager" Level="INFO" CodeLocation="alarmmanager(173)" Detail="Raising alarm" UUID="e2b8e3d1-b731-4d7d-b606-4682a8f0c2e6" Parameters="null"
2020-08-12T15:13:25.139-05:00 expc02 management: Level="WARN" Event="Alarm Raised" Id="20007" UUID="e2b8e3d1-b731-4d7d-b606-4682a8f0c2e6" Severity="warning" Detail="Restart required: Cluster configuration has been changed, however a restart is required for this to take effect" UTCTime="2020-08-12 20:13:25,139"

ビデオ

次の図は便利です。

Expresswayクラスタにピアを作成および追加する方法

Expresswayクラスタからのピアの削除

Expresswayレプリケーションエラー「ピアの設定がプライマリと競合しています」を修正しています

Expresswayクラスタの再起動手順

Expresswayクラスタをアップグレードする方法MRA/クラスタ化ExpresswayのCSRの生成