目錄

簡介

背景資訊

ACI APIC 和交換器

隨選技術支援

透過APIC觸發並上傳到Intersight - Nexus Insights雲聯結器應用

透過ND觸發並上傳到Intersight - Nexus控制台見解

透過 APIC UI 觸發

隨選技術支援檔案說明

技術支援本機

透過 APIC CLI 觸發

透過交換器 CLI 觸發

CIMC 技術支援

透過 CIMC UI 觸發

透過CIMC CLI觸發

分析CIMC技術支援

延伸稽核、事件及故障等 (TacOutput)

透過「trigger tacoutput」觸發- 5.3/6.0(3d)和更高版本

透過收集Tac輸出指令碼觸發

損毀/核心檔案

透過 APIC UI 收集

透過交換器 CLI 收集

APIC 應用程式技術支援

透過 APIC UI 觸發

應用程式虛擬邊緣 (AVE)

Vem-Support

透過 AVE 節點 CLI 觸發

vCenter/ESXI 主機記錄

透過 vCenter/ESXi UI 觸發

Nexus Dashboard Orchestrator (NDO)（前身為 MSO）

疑難排解報告

透過NDO/MSO UI觸發- MSO Pre-2.x

透過NDO/MSO UI觸發- MSO版本2.x

透過NDO/MSO UI - MSO 3.x版及更高版本觸發

透過NDO/MSO UI - MSO版本3.x及更高版本的資料流

獨立稽核記錄

透過 NDO/MSO UI 收集

簡介

本文檔介紹使用ACI的TAC進行故障排除時所需的各種日誌和輸出。

背景資訊

有關在建立TAC案例之前收集哪些資料的快速參考，請參閱表1。

表1：日誌/顯示技術收集表

問題

收集項目

備註

升級問題

1. 具有升級問題的節點的隨選技術支援

2. 所有 APIC 的隨選技術支援

3. 透過 TacOutput 的其他故障、事件與稽核

如果 APIC 有所分歧且隨選技術支援收集失敗，請收集「技術支援本機」

隨機連線問題

1. src 節點（src 端點連線的位置）的隨選技術支援

2. dst 節點（dst 端點連線的位置）的隨選技術支援

3. 透過 TacOutput 的其他故障、事件與稽核

連線完全中斷

1. 分葉區（src 和 dst）的隨選技術支援

2. 骨幹的隨選技術支援

3. APIC 的隨選技術支援

4. 透過 TacOutput 的其他故障、事件與稽核

如果持續中斷，請聯絡 TAC 尋求即時偵錯。

如果節點因為任何原因而重新啟動，請在重新載入前收集記錄（如要求 RCA）。

叢集問題

1. 所有 APIC 的隨選技術支援

2. 透過 TacOutput 的其他故障、事件與稽核

如果 APIC 有所分歧且隨選技術支援收集失敗，請收集「技術支援本機」

路由問題

1. 具有路由問題的節點隨選技術支援

2. 透過 TacOutput 的其他故障、事件與稽核

節點損毀/非預期的重新載入

1. 損毀節點的隨選技術支援

2. 損毀節點的損毀/核心檔案

3. 透過 TacOutput 的其他故障、事件與稽核

APIC 應用程式問題

1. 所有 APIC 的隨選技術支援

2. 受影響之應用程式的 APIC 應用程式技術支援

ACI APIC 和交換器

隨選技術支援

注意：如果您的ACI交換矩陣已連線並透過Intersight申請了權利，將自動生成技術支援並上傳到TAC SR，以獲取案例提交期間提供的序列號。然後，SR上的TAC工程師可以透過Intersight為任何其他連線的裝置觸發生成和上傳或其他技術支援。

透過APIC觸發並上傳到Intersight - Nexus Insights雲聯結器應用

要使用此方法，必須透過APIC： Nexus Insights雲聯結器應用在Intersight上連線並宣告您的ACI交換矩陣。

1. 導航到：APIC > Apps > Installed Apps > open NICC app > TAC Assist >點選「Begin」

2. 選取節點，然後按一下[收集記錄]

3. 工作狀態為「完成」後，請按一下「檢視詳細資訊」

4. 在「工作詳細資訊」頁面的「記錄」表格下，您會檔案尋找「雲端」資料欄。

5. 點選「上傳」(Upload) -獲取每台裝置的技術支援捆綁包

透過ND觸發並上傳到Intersight - Nexus控制台見解

要使用此方法，必須透過Nexus Dashboard： Nexus Dashboard Insights在Intersight上連線並申請ACI交換矩陣。

1. 導航至：Nexus控制台>管理控制檯>服務>打開「Nexus控制台見解」>故障排除>日誌收集器

2. 點選「新建日誌收集」(New Log Collection)

1. 為日誌集合指定名稱。

2. 選取網站。

3. 啟用「自動上傳記錄檔」核取方塊

4. 按一下「選取節點」，然後選擇節點

5. 點選「開始收集」

6. 技術支援檔案將上傳至intersight.com

3. 上傳完成後，通知TAC檔案已在intersight上傳。

4. TAC工程師能夠將檔案從intersight移到TAC案例進行分析。

透過 APIC UI 觸發

建立隨選技術支援原則

注意：除非TAC明確要求，否則請勿指定技術支援時間範圍。如果日誌變動過大，則這樣做可能導致日誌丟失。這嚴重影響TAC提供及時RCA的能力。如果提供了Techsupport時間範圍，它將根據「上次檔案修改」時間戳裁剪日誌，而不是根據日誌檔案本身內的時間戳裁剪日誌。

1. 在選單欄中，按一下Admin > Import/Export > Export Policies > Right-click On-demand TechSupport > Create On-demand TechSupport

2. 在「建立隨選技術支援」對話方塊的欄位中輸入正確的值。

- 如果遠端位置無法使用，請按一下「匯出至控制器」。生成技術支援後，可透過GUI的Operational（操作）頁籤下載。

- 勾選「將所有控制器納入技術支援」以產生 APIC 技術支援。

- 「來源節點」欄位可讓您指定產生Techsupport的交換器節點。

3. 按一下「提交」以建立隨選技術支援原則。

產生隨選技術支援

1. 導覽至現有的隨選技術支援原則。在以下位置可找到建立的策略：Admin > Import/Export > Export Policies > On-demand TechSupport > Expand On-demand TechSupport資料夾>按一下右鍵要使用的策略>收集技術支援。

- 或者，左鍵點選「按需技術支援策略」(On-Demand Techsupport Policy)以在主窗格中顯示；然後點選「扳手/錘」(Wrench/Hammer)圖示並選擇「收集技術支援」(Collect Technical Supports)。

2. 選擇「是」開始收集技術支援資訊。

收集產生的技術支援

1. 如果在生成Techsupport期間未啟用「導出到控制器」，則應檢查所有Techsupport檔案的導出目標（遠端位置）。

2. 如果已啟用「導出到控制器」，請導航到生成技術支援所依據的按需技術支援策略。建立的原則可透過以下路徑取得：「管理員」>「匯入/匯出」>「匯出原則」>「隨選技術支援」

- 產生的技術支援可在該隨選技術支援原則的「運作中」標籤內取得。每個檔案都有一個可透過http/https下載的連結。每個節點都有三個連結，每個檔案連結一個。

注意：如果版本早於2.2，則必須使用本地「admin」使用者帳戶透過UI下載Techsupport。 否則，請使用任何其他具有管理員權限的本機帳戶。遠端使用者無法通過UI下載techsupport。相反，他們應使用sftp或其他方法從相應APIC上的「/data/techsupport/」目錄中提取techsupport檔案。

附註：技術支援套件之 URL 中的數字表示檔案所處的 APIC。例如，「files/2/techsupport.tgz」表示可以在APIC 2的「/data/techsupport/」目錄中找到此特定捆綁包。

隨選技術支援檔案說明

如果技術支援係透過「匯出至控制器」選項產生，則 GUI 會顯示每個 ACI 節點（APIC 節點或交換器節點）三個 URL。每個 URL 為不同的記錄檔案類型，且包含唯一資訊。 TAC 通常會要求每個節點上傳所有三個檔案，以取得完整分析的所有記錄。

每個 URL 會對應至三個檔案類型的其中一個：

類別

一般尾碼

適用於：

檔案大小

匯出

_1of3.tgz

稽核/故障記錄

中小型

記錄檔

_logs_3of3.tgz

程序記錄

最大型

DB

_db_2of3.tgz

MO 傾印

小型

注意：如果選擇了「導出目標」而不是「導出到控制器」，則定義的遠端位置會建立一個資料夾，其中包含每個節點三個檔案。

如果使用瀏覽器連結下載技術支援時發生問題，請使用 scp 或 sftp 用戶端（例如，WinSCP 或 FileZilla），直接從 APIC 儲存裝置下載檔案。

1. 連線 (sftp) 至每個 APIC。收集的技術支援檔案儲存在所有可用的APIC中，因此務必檢查每個APIC中收集的技術支援檔案。

2. 導覽至連線之 APIC 中的 /data/techsupport 資料夾（在所有 APIC 控制器中重複此步驟）。

尋找包含隨選技術支援原則名稱（本範例中為「ABCTECH」）的檔案，然後將此類檔案下載至電腦。

技術支援本機

由於隨選技術支援比較能夠完整掌握情況，因此一律優先於「技術支援本機」。 但是，當收集透過原則觸發時，其仰賴完全合適的 APIC 叢集。

請注意，每個節點將須觸發「技術支援本機」，因此如果您規劃收集所有 APIC 的「技術支援本機」，請務必分別針對叢集中的每個 APIC 執行 cmd。

技術支援本機情況

- APIC 未完全合適

- APIC 尚未探索到 ACI 交換器

- ACI 交換器已中斷與 APIC 的通訊

- 內部程序故障使隨選技術支援無法運作（罕見）

透過 APIC CLI 觸發

1. 透過使用管理員認證的 APIC 開啟 SSH 作業階段。

- 如果您無法使用管理員認證登入，請改用使用者名稱「rescue-user」。密碼應與「admin」本機使用者相同。

2. 執行命令 bash -c "techsupport local"
Using username "admin".

Application Policy Infrastructure Controller

apic1# bash -c "techsupport local"

This command is being deprecated on APIC controller, please use NXOS-style equivalent command

Running bash commands

Completed 1 of 10 commands

...

Completed 10 of 10 commands

Starting data compression

Techsupport collected at /data/techsupport/local_apic1_2018-05-29T08-17.tgz . Please remove the file once done.

3. 下載本機技術支援。

- 選項A：使用SCP下載技術支援檔案：

- WinSCP 或 pscp.exe（Windows 使用者）

- 原生 SCP 用戶端（MAC 使用者）

- 選項B：使用HTTPS下載技術支援檔案：

1. 開啟瀏覽器（例如，Chrome 或 Firefox）。

2. 導航至：https://<aci.apic.ip.addr>/files/<apic#>/techsupport/<ts_filename>

- 範例： https://a.p.i.c/files/1/techsupport/local_apic1_2018-05-29T08-17.tgz

3. 使用管理員認證登入。

4. 如果出現提示，請選取瀏覽器下載提示上的儲存檔案。

透過交換器 CLI 觸發

1. 透過使用管理員認證的 ACI 交換器開啟 SSH 作業階段。

- 如果 APIC 尚未探索到交換器，請採用使用者名稱「admin」。

2. 執行命令："techsupport local"

fab5-leaf1# techsupport local

Running bash commands

Completed 1 of 9 commands

...

Completed 9 of 9 commands

Starting data compression

Techsupport collected at /data/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz . Please remove the file once done

3. 下載本機技術支援。

- 選項A：使用SCP從ACI交換機下載techsupport檔案：

- WinSCP 或 pscp.exe（Windows 使用者）

- 原生 SCP 用戶端（MAC 使用者）

- 選項B：透過APIC使用HTTPS下載技術支援檔案：

1. 登入至 APIC CLI（請注意用於步驟 4 的 APIC）

2. 使用下列命令從 ACI 交換器將技術支援檔案傳輸至 APIC：

- scp <節點名稱>：/data/techsupport/<ts_filename> /data/techsupport

- 示例： apic1# scp fab5-leaf1：/data/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz /data/techsupport

3. 開啟瀏覽器（例如，Chrome 或 Firefox）。

4. 導航至：https://<aci.apic.ip.addr>/files/<apic#>/techsupport/<ts_filename>

- 範例： https://a.p.i.c/files/1/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz

5. 使用管理員認證登入。

6. 如果出現提示，請選取瀏覽器下載提示上的儲存檔案。

CIMC 技術支援

透過 CIMC UI 觸發

可以收集APIC CIMC的技術支援以稽核與APIC機箱相關的日誌。CIMC show tech可以從本地捕獲，或從CIMC Admin頁籤的Utilities部分傳送到遠端位置。

透過CIMC CLI觸發

在 APIC CIMC CLI 輸入：

~ # scope cimc

~ /cimc # scope tech-support

~ /cimc/tech-support # set tftp-ip 192.168.1.1

~ /cimc/tech-support *# set path \techsupport\showtech

~ /cimc/tech-support *# commit

~ /cimc/tech-support *# start

分析CIMC技術支援

show tech 命令內的部分索引鍵欄位如下。

Techsup檔案/位置

說明

var/

包含詳細日誌和所有受監控服務的狀態。亦包含服務資訊檔案（例如，SOL 和 IPMI 感應器警報的組態）。

var/log

包含循環的易失性日誌消息

obfl/

包含滾動的非易失性日誌消息

符合/

非易失性配置和SEL

mp/

show tech-support文本檔案，以及BIOS技術支援文本檔案。該文字檔案包含所有程序、網路、系統、夾層及 BIOS 狀態資訊。

mctool

獲取有關CIMC狀態的基本資訊

網路

獲取當前網路配置和套接字資訊

obfl

獲取即時日誌（板載故障日誌）

梅塞日

獲取即時/var/log/messages檔案

警報

列出處於警報狀態的感測器

感應器

來自IPMI的當前感測器讀數

強化

x86的當前電源狀態

延伸稽核、事件及故障等 (TacOutput)

TAC 可要求其他基本輸出內容（例如，故障、事件與稽核），此類內容一般為 RCA 必需資訊。

截至今日，show tech 已包含此類物件的子集，但僅限最近 10,000 筆記錄。在某些情況下，TAC需要完整記錄集，遠遠超過10,000條記錄。

注意：從版本5.2(1g)開始，您可以從APIC使用CLI命令「trigger tacutput」來收集這些附加對象。但是，在5.3(x)和6.0(3d)之前的版本中，內建指令碼可能無法收集所有頁面的記錄。  在這種情況下，建議使用下一部分中列出的aci-tac-scripts資料庫中的最新指令碼版本。

透過「trigger tacoutput」觸發- 5.3/6.0(3d)和更高版本

對於運行版本5.3/6.0(3d)及更高版本的ACI交換矩陣，trigger tacoutput為事件、故障、稽核和其他故障排除輸出提供了簡化的收集介面)：

apic1# trigger tacoutput

Select corresponding numbers of objects to collect. Separate numbers with commas. *Note, topSystem, fabricNode, and firmwareARunning are automatically included.

Ex: 1,2,3,4,5

1. faultInfo *collected unfiltered

2. faultRecord

3. eventRecord

4. aaaModLR *collected unfiltered

5. polDeploymentRecord

6. epRecord

7. healthRecord

8. healthInst *collected unfiltered

Enter selections: 1,2,3,4,5,6,7,8

Enter record start date (format: 2019-12-15T00:00:00) *default is one month prior to current date:

Enter record end date (format: 2019-12-15T00:00:00) *default is current date:

... collection runs...

2021-12-17T08:19:59 TacOutput collection completed.

2021-12-17T08:19:59 Verify files and file sizes at /tmp/TacOutput2021-12-17T08-16-19

2021-12-17T08:19:59 Compressing files...

2021-12-17T08:20:01 Compression completed

Logs available for SCP or SFTP download from /data/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz

To download through your web browser go to https://<apic address>/files/1/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz

Note: in the URL above 1 denotes the APIC ID 1, if script was run on APIC-n, then n must be specified in the URL (n = APIC-ID).

To remove files when done run

rm -rf /tmp/TacOutput2021-12-17T08-16-19

rm -f /data/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz

透過收集Tac輸出指令碼觸發

對於運行早於5.3/6.0(3d)的ACI交換矩陣，aci-tac-scripts儲存庫中有一個收集TacOutput指令碼，該指令碼充當與trigger tacoutput命令類似的介面：

apic# /tmp/collectTacOutputs.sh

Select corresponding numbers of objects to collect. Separate numbers with commas. *Note, topSystem, fabricNode, and firmwareARunning are automatically included.

Ex: 1,2,3,4,5

1. faultInfo *collected unfiltered

2. faultRecord

3. eventRecord

4. aaaModLR

5. polDeploymentRecord

6. epRecord

7. healthRecord

8. healthInst *collected unfiltered

Enter selections: 1,2,3,4,5,6,7,8

Enter record start date (format: 2019-12-15T00:00:00) *default is one month prior to current date: 2019-12-25T00:00:00

Enter record end date (format: 2019-12-15T00:00:00) *default is current date: 2020-01-05T00:00:00

...script collection runs...

Compression completed

Logs available for SCP or SFTP download from /data/techsupport/TacOutput-2019-12-25T00:00:00-to-2020-01-05T00:00:00.tgz

To download through your web browser go to https:///files/1/techsupport/TacOutput-2019-12-25T00:00:00-to-2020-01-05T00:00:00.tgz

損毀/核心檔案

透過 APIC UI 收集

ACI 交換器節點和 APIC 具有多項程序，可控制系統的各項功能層面。 如果系統在特定程序中發生軟體故障，則會產生核心檔案，並重新載入程序。 當程序損毀且系統產生核心檔案後，會產生故障和事件。 當交換器/APIC 的程序損毀時，系統會壓縮核心檔案並複製到 APIC。

APIC GUI提供了一個中心位置，用於收集交換矩陣節點的核心檔案。

可以透過Admin > IMPORT/EXPORT（在Export Policies > Core中）建立新的導出策略。

有一個預設核心策略，在該策略中可直接下載檔案。生成時，所有生成的核心檔案都會嘗試傳輸到APIC控制器。如果成功，則可在預設核心策略下找到它們。

您可透過檢閱「運作中」標籤檢視產生（和匯出）的核心檔案。 在此標籤中，您可檢閱產生核心檔案（損毀的服務）、收集時間等等的節點。

您可按一下「匯出位置」連結，將檔案下載至桌面。 當系統出現提示時，請使用 APIC 認證。

或者，您可在 APIC 上的 /data/techsupport 資料夾（核心檔案所處的位置），透過 APIC 的 SSH/SCP 存取核心檔案。請注意，核心檔案在集群的一個APIC上的/data/techsupport中可用；核心檔案所在的確切APIC可透過導出位置路徑找到，如GUI中所示。例如，如果導出位置以「files/3/」開頭，則檔案位於節點3 (APIC3)上。

透過交換器 CLI 收集

在某些特殊情況下，來自枝葉或主幹的核心可能不會複製到APIC，可在交換機的「/logflash/core」中找到。 您可透過 SCP 直接推送至交換器，或透過移動檔案至 APIC，並從 APIC 以 SCP 推送，來擷取核心。

收集指令碼嘗試收集/logflash/core中的核心檔案以及其他崩潰相關資訊：

#Run on an ACI Leaf Node, Copy from here

bash -c '

# set this to correct leaf name

leaf="$(hostname)""_data"

# collect data

mkdir /data/techsupport/$leaf

cd /data/techsupport/$leaf

show system reset-reason > show_sys_rr.log

vsh -c "show logging onboard internal reset-reason" > show_logg_onb_internal_rr.log

vsh -c "show logging onboard stack-trace" > show_logg_onb_stack-trace.log

vsh -c "show logging onboard card-boot-history" > show_logg_onb_card-boot-history.log

vsh -c "show processes log details" > show_process_log_detail.log

df -h > df.log

ls -liah /logflash/core > logflash_core.log

cp /var/log/dmesg ./

cp -rf /mnt/ifc/log/last_run/ ./

mkdir bootflash; cp /bootflash/mem_log* ./bootflash/

mkdir mnt_pss; cp -rf /mnt/pss/* ./mnt_pss/

mkdir mnt_pstore; cp -rf /mnt/pstore/* ./mnt_pstore/

mkdir logflash_core; cp -rf /logflash/core ./logflash_core

# compress and combine files

cd /data/techsupport

zipfile="$leaf"".tgz"

tar -zcvf ./$zipfile ./$leaf/*

rm -rf ./$leaf/*

rmdir ./$leaf

echo ""

echo " ///// Please collect /data/techsupport/"$zipfile" and upload to SR ///////"

'

#copy to here

APIC 應用程式技術支援

透過 APIC UI 觸發

如果 APIC 應用程式使用中且出現問題，則系統可能會針對該應用程式建立特定隨選技術支援原則，以收集其記錄進行分析。

該原則可能會建立於以下路徑：「管理」>「匯入/匯出」>「匯出原則」>「建立隨選技術支援」。有一個特定選項「For App」，允許使用者選擇一個APIC APP來收集日誌：

建立原則後，系統可能會針對該原則觸發收集動作，以收集技術支援；而如果您曾選取「匯出至控制器」，則可從「運作中」標籤進行下載。

應用程式虛擬邊緣 (AVE)

Vem-Support

透過 AVE 節點 CLI 觸發

登入至 AVE CLI，然後執行以下命令。show tech程式收集在/tmp目錄中。 您可使用 SCP 將其匯出。

cisco-ave:~$ vem-support all

This may take some time. Please wait.

Copying dpa logs

...

Generated  /tmp/dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs.tgz

cisco-ave:tmp$ tar -tf dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs.tgz

dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs/

dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs/cisco-vemlog.txt

dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs/cisco-vem-support.txt

dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs/cisco-vemdpa.txt

...

dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs/log/redis/

dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs/log/supervisor/

vCenter/ESXI 主機記錄

透過 vCenter/ESXi UI 觸發

您可匯出 Vcenter 和 ESX 主機記錄（如以下螢幕截圖所示）。

Nexus Dashboard Orchestrator (NDO)（前身為 MSO）

疑難排解報告

透過NDO/MSO UI觸發- MSO Pre-2.x

透過NDO/MSO UI觸發- MSO版本2.x

1. 從 MSO GUI 中按一下設定圖示

2. 從下拉式清單中選取「系統記錄」

3. 從彈出窗口中按一下「下載」按鈕

透過NDO/MSO UI - MSO 3.x版及更高版本觸發

系統記錄

1. 從 MSO GUI 的功能表中，開啟「系統記錄」畫面。選擇運營>技術支援。

2.在「系統記錄」訊框的右上角中，按一下「編輯」按鈕。

上傳

3.選取您想要下載的記錄。

4. 按一下「下載」按鈕。

所選專案的查扣檔會下載到您的系統。該報告包含以下資訊：所有架構、站點定義、租戶定義、JSON格式的使用者定義。   infra_logs.txt 檔案中的所有容器記錄。

透過NDO/MSO UI - MSO版本3.x及更高版本的資料流

系統日誌可以流式傳輸到外部分析器。有關如何將日誌即時傳送到外部日誌分析器工具的更多詳細資訊，請參閱以下連結。https://www.cisco.com/c/en/us/td/docs/dcn/mso/3x/configuration/cisco-aci-multi-site-configuration-guide-301/aci-multi-site-logs.html

獨立稽核記錄

透過 NDO/MSO UI 收集

MSC稽核日誌可以採用CSV格式的JSON格式下載