ACIテクニカルサポートとTACの要求出力ガイドの収集

はじめに

このドキュメントでは、ACIのTACと連携する場合のトラブルシューティングに必要なさまざまなログと出力について説明します。

背景説明

TACケースをオープンする前に収集するデータの概要については、表1を参照してください。

表1：ログ/Show tech収集マトリックス

問題	収集対象	注意事項
アップグレードの問題	アップグレードの問題のあるノードからのオンデマンド テクニカルサポート. すべての APIC からのオンデマンド テクニカルサポート. TacOutput を介した追加の障害、イベント、監査.	APICが異なり、オンデマンドのtechsupport収集が失敗する場合は、Techsupport Localを収集します。
ランダム接続の問題	srcノード（srcエンドポイントが接続されている）からのオンデマンドTechsupport。 dstノード（dstendpointが接続されている場所）からのオンデマンドTechsupport。 TacOutput を介した追加の障害、イベント、監査
接続の完全な消失	リーフからのオンデマンド テクニカルサポート（src および dst） スパインからのオンデマンド テクニカルサポート APIC からのオンデマンド テクニカルサポート TacOutput を介した追加の障害、イベント、監査	継続的な停止については、TAC に連絡してライブデバッグを依頼してください。 何らかの理由でノードを再起動する必要があるときに RCA が要求される場合は、リロードする前にログを収集します。
クラスタリングの問題	すべての APIC からのオンデマンド テクニカルサポート TacOutput を介した追加の障害、イベント、監査	APICが異なり、オンデマンドのtechsupport収集が失敗する場合は、Techsupport Localを収集します。
ルーティングの問題	ルーティングの問題のあるノードからのオンデマンド テクニカルサポート. TacOutput を介した追加の障害、イベント、監査
ノードのクラッシュ/予期しないリロード	クラッシュしたノードからのオンデマンド テクニカルサポート. クラッシュしたノードのクラッシュ/コアファイル。 TacOutput を介した追加の障害、イベント、監査
APIC アプリの問題	すべての APIC からのオンデマンド テクニカルサポート. 影響を受けるアプリの APIC アプリテクニカルサポート.

ACI APIC とスイッチ

オンデマンド テクニカルサポート

トリガーし、APIC経由でIntersightにアップロード – Nexus Insights Cloud Connectorアプリケーション

この方法を使用するには、「ACIファブリックは、APIC:Nexus Insights Cloud Connectorアプリケーション経由でIntersightに接続され、要求される必要がある」を参照してください。

1. 移動： APIC > Apps > Installed Apps > open NCC app > TAC Assist > click Begin
2. ノードを選択して、Collect Logsをクリックします。
3. ジョブステータスがCOMPLETEになったら、View Detailsをクリックします。
4. Job DetailsページのLogsテーブルの下に、Cloud Columnというファイルがあります。 
5. 各デバイスのテクニカルサポートバンドルのUploadをクリックします。

トリガーし、NDからIntersightにアップロード：Nexus Dashboard Insights

この方法を使用するには、「ACIファブリックは、Nexusダッシュボード経由でIntersightに接続され、要求される必要がある：Nexus Dashboard Insights」を参照してください。

1. Nexus Dashboard > Admin Console > Services > Open Nexus Dashboard Insights > Troubleshoot > Log Collectorの順に移動します。
2. New Log Collectionをクリックします。
   1. ログ収集に名前を付けます。
   2. サイトを選択します。 
   3. 自動アップロードログファイルのチェックボックスをオンにします。
   4. Select Nodesをクリックし、ノードを選択します。
   5. Start Collectionをクリックします。
   6. TechSupportファイルはintersight.comにアップロードされます。  
3. アップロードが完了したら、ファイルがIntersightにアップロードされたことをTACに通知します。 
4. TACエンジニアは、分析のためにintersightからTACケースにファイルを移動できます。 

APIC UI を介したトリガー

オンデマンド テクニカルサポート ポリシーの作成

注：TACから明示的な指示がない限り、テクニカルサポートの時間範囲は指定しないでください。過剰なログ変更があると、ログが失われる可能性があります。これは、タイムリーなRCAを提供するTACの機能に重大な影響を与えます。Techsupport Time Rangeを指定すると、ログファイル自体のタイムスタンプではなく、ファイルの最終変更タイムスタンプに基づいてログが削除されます。

1. メニューバーで、Admin > Import/Export > Export Policies > On-demand TechSupportを右クリック> Create On-demand TechSupportの順にクリックします。
2. [Create On-demand TechSupport] ダイアログボックスのフィールドに適切な値を入力します。
   • リモートロケーションが利用できない場合は、[Export to Controller] をオンにします。生成されたTechsupportは、生成後にGUIのOperationalタブからダウンロードできます。
   • [Include All Controllers in TechSupport] をオンにして、APIC テクニカルサポートを生成します。
   • Source Nodesフィールドでは、Techsupportを生成するスイッチノードを指定できます。
3. [Submit] をクリックして、オンデマンド テクニカルサポート ポリシーを作成します。

オンデマンドTechsupportを生成します。

1. 既存のオンデマンド テクニカルサポート ポリシーに移動します。作成したポリシーは、Admin > Import/Export > Export Policies > On-demand TechSupport > On-demand TechSupportフォルダを展開> On-demand TechSupportフォルダを展開>使用するポリシーを右クリック> Collect Tech Supportにあります。
   
   • または、オンデマンドTechsupportポリシーをクリックしてメインペインに表示し、Wrench/HammerアイコンをクリックしてCollect Tech Supportsを選択します。
2. [Yes] を選択して、テクニカルサポート情報の収集を開始します。

生成されたTechsupportを収集します。

1. Techsupportの生成時に[Export to Controller] （コントローラへのエクスポート）が有効になっていない場合は、すべてのtechsupportファイルの[Export Destination] （エクスポート先） （リモートの場所）を確認できます。
2. [Export to Controller] が有効になっている場合は、テクニカルサポートが生成されたオンデマンド テクニカルサポート ポリシーに移動します。作成したポリシーは、Admin > Import/Export > Export Policies > On-demand TechSupportにあります。
   • 生成されたテクニカルサポートは、オンデマンド テクニカルサポート ポリシーの [Operational] タブ内にあります。各ファイルには、http/https経由でダウンロードするためのリンクがあります。各ノードには3つのリンクがあり、1つのリンクが各ファイルに結び付けられています。

注：バージョンが2.2より前の場合は、ローカルの管理者ユーザアカウントを使用して、UIからTechsupportsをダウンロードする必要があります。 それ以外の場合は、管理者権限を持つ他のローカルアカウントを使用します。リモートユーザは、UIを介してtechsupportをダウンロードできません。代わりに、sftpまたは別の方法を使用して、対応するAPICの/data/techsupport/ディレクトリからtechsupportファイルを取得できます。

注：テクニカルサポートバンドルの URL 内にある番号は、ファイルが存在する APIC を示しています。たとえば、files/2/techsupport.tgzは、この特定のバンドルがAPIC 2の/data/techsupport/ディレクトリにあることを示します。

オンデマンド テクニカルサポート ファイルの説明

テクニカルサポートが [Export to Controller] オプションを使用して生成された場合、GUI には ACI ノード（APIC ノードまたはスイッチノード）ごとに 3 つの URL が表示されます。URL ごとにログファイルのタイプが異なり、固有の情報が含まれています。TACでは通常、完全な分析のためにすべてのロギングを取得するために、ノードごとに3つのファイルすべてをアップロードする必要があります。

各 URL は、次の 3 つのファイルタイプのいずれかにマップされます。

[Category]	典型的なサフィックス	便利な用途	ファイル サイズ
エクスポート	_1of3.tgz	監査/障害ログ	小から中
ログ	_logs_3of3.tgz	プロセスログ	最大
DB	_db_2of3.tgz	MO ダンプ	小

注：コントローラへのエクスポートの代わりにエクスポート先を選択した場合、定義されたリモートロケーションは、ノードごとに3つのファイルを含むフォルダを作成します。

ブラウザリンクを使用してテクニカルサポートをダウンロードするときに問題が発生する場合は、scpまたはsftpクライアント（WinSCPやFileZillaなど）を使用してAPICストレージから直接ファイルをダウンロードします。

1. 各 APIC に接続（sftp）します。収集されたtech-supportファイルは、使用可能なすべてのAPICに格納されるため、収集されたtech-supportファイルについて各APICを確認することが重要です。

2. 接続された APIC の /data/techsupport フォルダに移動します（すべての APIC コントローラでこの手順を繰り返します）。

オンデマンドTechSupportポリシー名を含む名前のファイル（この例ではABCTECH）を探し、それらのファイルをコンピュータにダウンロードします。

テクニカルサポートローカル

オンデマンドTechsupportの方がより詳しい情報を提供するため、オンデマンドTechsupportは常にtechsupportローカルよりも推奨されます。 ただし、収集はポリシーによってトリガーされるため、完全に適合した APIC クラスタに依存しています。

テクニカルサポートローカルのシナリオ

• APICは完全には適合しません。
• ACIスイッチは、まだAPICによって検出されていません。
• ACIスイッチとAPICとの通信が失われました。
• 内部プロセスの誤動作により、オンデマンドTechsupportの動作が妨げられる（まれ）。

APIC CLI を介したトリガー

1. admin ログイン情報を使用して APIC との SSH セッションを開きます。
   • 管理者クレデンシャルを使用してログインできない場合は、ユーザ名rescue-userを使用します。パスワードは、adminローカルユーザと同じにすることができます。
2. bash -c "techsupport local"コマンドを実行します。

   Using username "admin".
   Application Policy Infrastructure Controller
   
   apic1# bash -c "techsupport local"
   This command is being deprecated on APIC controller, please use NXOS-style equivalent command
   Running bash commands
   Completed 1 of 10 commands
   ...
   Completed 10 of 10 commands
   Starting data compression
   Techsupport collected at /data/techsupport/local_apic1_2018-05-29T08-17.tgz . Please remove the file once done.
   

3. ローカルのテクニカルサポートをダウンロードします。
   
   • オプションA:SCPを使用してtechsupportファイルをダウンロードします。
     • WinSCP または pscp.exe（Windows ユーザー）
     • ネイティブ SCP クライアント（MAC ユーザー）
   • オプションB:HTTPSを使用してtechsupportファイルをダウンロードします。
     1. Chrome または Firefox などのブラウザを開きます。
     2. https://<aci.apic.ip.addr>/files/<apic#>/techsupport/<ts_filename>に移動します。
        • 例： https://a.p.i.c/files/1/techsupport/local_apic1_2018-05-29T08-17.tgz
     3. admin ログイン情報を使用してログインします。
     4. プロンプトが表示されたら、ブラウザのダウンロードプロンプトで [Save File] を選択します。

スイッチ CLI を介したトリガー

1. admin ログイン情報を使用して ACI スイッチとの SSH セッションを開きます。
   • スイッチがAPICによってまだ検出されていない場合は、ユーザ名adminを使用します。
2. "techsupport local"コマンドを実行します。

fab5-leaf1# techsupport local
Running bash commands
Completed 1 of 9 commands
...
Completed 9 of 9 commands
Starting data compression
Techsupport collected at /data/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz . Please remove the file once done

3. ローカルのテクニカルサポートをダウンロードします。

• オプションA:SCPを使用してACIスイッチからtechsupportファイルをダウンロードします。
  • WinSCP または pscp.exe（Windows ユーザー）
  • ネイティブ SCP クライアント（MAC ユーザー）
• オプションB:APIC経由でHTTPSを使用してtechsupportファイルをダウンロードします。
  
  1. APIC CLIにログインします（ステップ4で使用するAPICに注意してください）。
  2. 次のコマンドを使用して、ACIスイッチからAPICにtechsupportファイルを転送します。
     • scp <ノード名>:/data/techsupport/<ts_filename> /data/techsupport
     • 例：apic1# scp fab5-leaf1:/data/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz /data/techsupport
  3. Chrome または Firefox などのブラウザを開きます。
  4. https://<aci.apic.ip.addr>/files/<apic#>/techsupport/<ts_filename>に移動します。
     • 例： https://a.p.i.c/files/1/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz
  5. admin ログイン情報を使用してログインします。
  6. プロンプトが表示されたら、ブラウザのダウンロードプロンプトで [Save File] を選択します。

CIMC テクニカルサポート

CIMC UI を介したトリガー

APIC CIMCからTechsupportを収集して、APICシャーシに関連するログを確認できます。CIMC show techは、CIMC AdminタブのUtilitiesセクションでローカルにキャプチャしたり、リモートロケーションに送信したりできます。 

CIMC CLIを介したトリガー

APIC CIMC CLI で、次のように入力します。

~ # scope cimc
~ /cimc # scope tech-support
~ /cimc/tech-support # set tftp-ip 192.168.1.1
~ /cimc/tech-support *# set path \techsupport\showtech
~ /cimc/tech-support *# commit
~ /cimc/tech-support *# start 

CIMC Techsupportsの解析

次に、show techコマンドの主要フィールドの一部を示します。

Techsupファイル/場所	説明
var/	すべての監視対象サービスの詳細なログとステータスが含まれます。また、SOL および IPMI センサー アラームの設定など、サービス情報ファイルも含みます。
var/log（可変/ログ）	ローリング揮発性ログメッセージを含みます。
obfl/	ローリング不揮発性ログメッセージを含みます。
会議/	不揮発性設定およびSEL
mp/	show tech-supportテキストファイルと、BIOS tech-supportテキストファイル。このテキストファイルには、すべてのプロセス、ネットワーク、システム、メザニン、および BIOS の状態情報が含まれています。
mctool	CIMCの状態に関する基本情報を取得します。
network	現在のネットワーク構成とソケット情報を取得します。
obfl	ライブobfl （オンボード障害ログ）を取得します。
メッセージ	ライブ/var/log/messagesファイルを取得します。
アラーム	アラーム状態のセンサーを一覧表示します。
センサー	IPMIからの現在のセンサーの読み取り
電力	x86の現在の電源状態。

監査、イベント、障害などの拡張（TacOutput）

TAC は、RCA で一般的に必要な障害、イベント、監査などの追加の基本出力を要求できます。

現時点で、show tech にはこれらのオブジェクトのサブセットがすでに含まれていますが、最後の 10,000 レコードに限られます。場合によっては、TACはフルセットのレコードを必要としますが、これは10,000レコードを大幅に上回ります。

注：リリース5.2(1g)以降では、APICからCLIコマンドtrigger tacoutputを使用して、これらの追加オブジェクトを収集できます。ただし、5.3(x)および6.0(3d)より前のリリースでは、組み込みスクリプトでレコードのすべてのページを収集できない場合があります。  この場合は、次のセクションで概説するaci-tac-scriptsリポジトリ内で最新バージョンのスクリプトを使用することを推奨します。

Trigger via Trigger Tacoutput - 5.3/6.0(3d)以降のリリース

バージョン5.3/6.0(3d)以降のリリースを実行しているACIファブリックの場合、trigger tacoutputは、イベント、障害、監査、およびその他のトラブルシューティング出力用の簡素化された収集インターフェイスを提供します。

apic1# trigger tacoutput
Select corresponding numbers of objects to collect. Separate numbers with commas. *Note, topSystem, fabricNode, and firmwareARunning are automatically included.
Ex: 1,2,3,4,5
1. faultInfo *collected unfiltered
2. faultRecord
3. eventRecord
4. aaaModLR *collected unfiltered
5. polDeploymentRecord
6. epRecord
7. healthRecord
8. healthInst *collected unfiltered
Enter selections: 1,2,3,4,5,6,7,8
Enter record start date (format: 2019-12-15T00:00:00) *default is one month prior to current date: 
Enter record end date (format: 2019-12-15T00:00:00) *default is current date: 

... collection runs...

2021-12-17T08:19:59 TacOutput collection completed.
2021-12-17T08:19:59 Verify files and file sizes at /tmp/TacOutput2021-12-17T08-16-19
2021-12-17T08:19:59 Compressing files...
2021-12-17T08:20:01 Compression completed
Logs available for SCP or SFTP download from /data/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz
To download through your web browser go to https://<apic address>/files/1/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz
Note: in the URL previous 1 denotes the APIC ID 1, if script was run on APIC-n, then n must be specified in the URL (n = APIC-ID).

To remove files when done run
rm -rf /tmp/TacOutput2021-12-17T08-16-19
rm -f /data/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz

Collect TacOutputsスクリプトによるトリガー

5.3/6.0(3d)よりも前のバージョンを実行しているACIファブリックでは、aci-tac-scriptsリポジトリ内にCollect TacOutputスクリプトがあり、trigger tacoutputコマンドと同様のインターフェイスを提供します。

apic# /tmp/collectTacOutputs.sh
Select corresponding numbers of objects to collect. Separate numbers with commas. *Note, topSystem, fabricNode, and firmwareARunning are automatically included.
Ex: 1,2,3,4,5
1. faultInfo *collected unfiltered
2. faultRecord
3. eventRecord
4. aaaModLR
5. polDeploymentRecord
6. epRecord
7. healthRecord
8. healthInst *collected unfiltered
Enter selections: 1,2,3,4,5,6,7,8
Enter record start date (format: 2019-12-15T00:00:00) *default is one month prior to current date: 2019-12-25T00:00:00
Enter record end date (format: 2019-12-15T00:00:00) *default is current date: 2020-01-05T00:00:00

...script collection runs...

Compression completed
Logs available for SCP or SFTP download from /data/techsupport/TacOutput-2019-12-25T00:00:00-to-2020-01-05T00:00:00.tgz
To download through your web browser go to https:///files/1/techsupport/TacOutput-2019-12-25T00:00:00-to-2020-01-05T00:00:00.tgz

クラッシュ/コアファイル

APIC UI を介した収集

ACI スイッチノードと APIC には、システムのさまざまな機能面を制御する多数のプロセスがあります。 システムの特定のプロセスでソフトウェア障害が発生した場合、コアファイルが生成され、プロセスがリロードされます。 プロセスがクラッシュしてコアファイルが生成されると、イベントだけでなく障害も生成されます。 スイッチ/APIC のプロセスがクラッシュすると、コアファイルが圧縮され、APIC にコピーされます。

APIC GUIは、ファブリックノードのコアファイルを収集するための一元的な場所を提供します。

新しいエクスポートポリシーは、Admin > IMPORT/EXPORT in Export Policies > Coreで作成できます。

ファイルを直接ダウンロードできるデフォルトのコアポリシーがあります。生成されたすべてのコアファイルは、生成時にAPICコントローラへの転送を試行します。成功した場合は、デフォルトのコアポリシーの下に表示されます。

スタンドアロン監査ログ

NDO/MSO UI を介した収集

MSC監査ログは、CSV形式のJSONでダウンロードできます。