目錄

簡介

背景資訊

ACI APIC 和交換器

隨選技術支援

透過APIC觸發並上傳到Intersight - Nexus Insights雲聯結器應用

透過ND觸發並上傳到Intersight - Nexus控制台見解

透過 APIC UI 觸發

隨選技術支援檔案說明

技術支援本機

透過 APIC CLI 觸發

透過交換器 CLI 觸發

CIMC 技術支援

透過 CIMC UI 觸發

透過CIMC CLI觸發

分析CIMC技術支援

延伸稽核、事件及故障等 (TacOutput)

透過觸發器輸出觸發- 5.3/6.0(3d)及更高版本

透過收集Tac輸出指令碼觸發

損毀/核心檔案

透過 APIC UI 收集

透過交換器 CLI 收集

APIC 應用程式技術支援

透過 APIC UI 觸發

應用程式虛擬邊緣 (AVE)

Vem-Support

透過 AVE 節點 CLI 觸發

vCenter/ESXI 主機記錄

透過 vCenter/ESXi UI 觸發

Nexus Dashboard Orchestrator (NDO)（前身為 MSO）

疑難排解報告

透過NDO/MSO UI觸發- MSO Pre-2.x

透過NDO/MSO UI觸發- MSO版本2.x

透過NDO/MSO UI觸發- MSO版本3.x及更高版本

透過NDO/MSO UI的流- MSO版本3.x及更高版本

獨立稽核記錄

透過 NDO/MSO UI 收集

簡介

本文檔介紹使用ACI的TAC進行故障排除時所需的各種日誌和輸出。

背景資訊

有關在建立TAC案例之前收集哪些資料的快速參考，請參閱表1。

表1：日誌/顯示技術收集表

問題

收集項目

備註

升級問題

1. 具有升級問題的節點的隨選技術支援.

2. 所有 APIC 的隨選技術支援.

3. 透過 TacOutput 的其他故障、事件與稽核.

如果APIC出現差異且按需技術支援收集失敗，請收集本地Techsupport。

隨機連線問題

1. 來自src節點（連線src端點的位置）的按需技術支援。

2. 來自dst節點（連線dstendpoint的位置）的按需技術支援。

3. 透過 TacOutput 的其他故障、事件與稽核

連線完全中斷

1. 分葉區（src 和 dst）的隨選技術支援

2. 骨幹的隨選技術支援

3. APIC 的隨選技術支援

4. 透過 TacOutput 的其他故障、事件與稽核

如果持續中斷，請聯絡 TAC 尋求即時偵錯。

如果節點因為任何原因而重新啟動，請在重新載入前收集記錄（如要求 RCA）。

叢集問題

1. 所有 APIC 的隨選技術支援

2. 透過 TacOutput 的其他故障、事件與稽核

如果APIC出現差異且按需技術支援收集失敗，請收集本地Techsupport。

路由問題

1. 具有路由問題的節點隨選技術支援.

2. 透過 TacOutput 的其他故障、事件與稽核

節點損毀/非預期的重新載入

1. 損毀節點的隨選技術支援.

2. 當機節點的當機/核心檔案。

3. 透過 TacOutput 的其他故障、事件與稽核

APIC 應用程式問題

1. 所有 APIC 的隨選技術支援.

2. 受影響之應用程式的 APIC 應用程式技術支援.

ACI APIC 和交換器

隨選技術支援

注意：如果您的ACI交換矩陣已連線並透過Intersight進行索賠，將自動生成技術支援並上傳到TAC SR獲取案例提交期間提供的序列號。然後，該SR上的TAC工程師可以透過Intersight為任何其他連線的裝置觸發生成和上傳或其他技術支援。

透過APIC觸發並上傳到Intersight - Nexus Insights雲聯結器應用

要使用此方法，請參閱必須透過APIC： Nexus Insights雲聯結器應用程式在Intersight上連線並申請ACI交換矩陣。

1. 導航到：APIC > Apps > Installed Apps > open NICC app > TAC Assist > click Begin

2. 選擇節點，然後按一下Collect Logs。

3. 一旦作業狀態完成，請點選檢視詳細資訊。

4. 在作業詳細資訊頁的日誌表下，可以查詢檔案雲列。

5. 按一下每個裝置的TechSupport捆綁包的Upload。

透過ND觸發並上傳到Intersight - Nexus控制台見解

要使用此方法，請參閱必須透過Nexus控制台在Intersight上連線並申請ACI交換矩陣：Nexus控制台洞察。

1. 導航至：Nexus控制台>管理控制檯>服務>打開Nexus控制台見解>故障排除>日誌收集器。

2. 按一下New Log Collection。

1. 指定日誌收集的名稱。

2. 選擇站點。

3. 啟用自動上傳記錄檔核取方塊。

4. 按一下Select Nodes，然後選擇節點。

5. 按一下Start Collection。

6. 將技術支援檔案上傳到intersight.com

3. 上傳完成後，通知TAC檔案已在intersight上傳。

4. TAC工程師能夠將檔案從intersight移到TAC案例進行分析。

透過 APIC UI 觸發

建立隨選技術支援原則

注意：除非TAC明確要求，否則請勿指定技術支援時間範圍。如果日誌變動過大，則這樣做可能導致日誌丟失。這嚴重影響TAC提供及時RCA的能力。如果提供了Techsupport時間範圍，它將根據上次檔案修改時間戳裁剪日誌，而不是根據日誌檔案本身內的時間戳裁剪日誌。

1. 在選單欄中，按一下Admin > Import/Export > Export Policies > Right-click On-demand TechSupport > Create On-demand TechSupport。

2. 在「建立隨選技術支援」對話方塊的欄位中輸入正確的值。

- 如果遠端位置無法使用，請按一下「匯出至控制器」。生成技術支援後，可透過GUI的Operational（操作）頁籤下載。

- 勾選「將所有控制器納入技術支援」以產生 APIC 技術支援。

- 「來源節點」欄位可讓您指定產生Techsupport的交換器節點。

3. 按一下「提交」以建立隨選技術支援原則。

生成按需技術支援。

1. 導覽至現有的隨選技術支援原則。在以下位置可找到建立的策略：Admin > Import/Export > Export Policies > On-demand TechSupport > Expand On-demand TechSupport資料夾>按一下右鍵要使用的策略>收集技術支援。

- 或者，按一下右鍵按需技術支援策略以在主窗格中顯示；然後按一下扳手/錘圖示並選擇收集技術支援。

2. 選擇「是」以開始收集技術支援資訊。

收集生成的Techsupport。

1. 如果在生成技術支援期間未啟用導出到控制器，則可以檢查所有技術支援檔案的導出目標（遠端位置）。

2. 如果「匯出至控制器」已啟用，請導覽至產生技術支援所憑藉的隨選技術支援原則。可以在Admin > Import/Export > Export Policies > On-demand TechSupport上找到已建立的策略。

- 產生的技術支援可在該隨選技術支援原則的「運作中」標籤內取得。每個檔案都有一個可透過http/https下載的連結。每個節點都有三個連結，每個檔案連結一個。

注意：如果版本早於2.2，則必須使用本地admin使用者帳戶透過UI下載Techsupports。 否則，請使用任何其他具有管理員權限的本機帳戶。遠端使用者無法通過UI下載techsupport。相反，他們可以使用sftp或其他方法從相應APIC上的/data/techsupport/目錄中提取techsupport檔案。

附註：技術支援套件之 URL 中的數字表示檔案所處的 APIC。例如，files/2/techsupport.tgz表示可以在APIC 2的/data/techsupport/目錄中找到此特定捆綁包。

隨選技術支援檔案說明

如果技術支援係透過「匯出至控制器」選項產生，則 GUI 會顯示每個 ACI 節點（APIC 節點或交換器節點）三個 URL。每個 URL 為不同的記錄檔案類型，且包含唯一資訊。 TAC 通常會要求每個節點上傳所有三個檔案，以取得完整分析的所有記錄。

每個 URL 會對應至三個檔案類型的其中一個：

類別

一般尾碼

適用於：

檔案大小

匯出

_1of3.tgz

稽核/故障記錄

中小型

記錄檔

_logs_3of3.tgz

程序記錄

最大型

DB

_db_2of3.tgz

MO 傾印

小型

注意：如果選擇了「導出目標」而不是「導出到控制器」，則定義的遠端位置會建立一個資料夾，其中包含每個節點三個檔案。

如果存在使用瀏覽器連結下載技術支援的問題，請使用scp或sftp客戶端（如WinSCP或FileZilla）直接從APIC儲存下載檔案。

1. 連線 (sftp) 至每個 APIC。收集的技術支援檔案儲存在所有可用的APIC中，因此務必檢查每個APIC中收集的技術支援檔案。

2. 導覽至連線之 APIC 中的 /data/techsupport 資料夾（在所有 APIC 控制器中重複此步驟）。

查詢名稱包含按需技術支援策略名稱（在本示例中為ABCTECH）的檔案，然後將這些檔案下載到您的電腦。

技術支援本機

「按需」技術支援始終優先於本地技術支援，因為按需Techsupport可提供更完整的檢視。 但是，當收集透過原則觸發時，其仰賴完全合適的 APIC 叢集。

注意：必須在每個單個節點上觸發本地技術支援，因此，如果您計畫為所有APIC收集本地技術支援，則必須在集群中的每個APIC上單獨運行cmd。

技術支援本機情況

- APIC不完全適合。

- APIC尚未發現ACI交換機。

- ACI交換機已失去與APIC的通訊。

- 內部流程故障阻止了按需技術支援操作（罕見）。

透過 APIC CLI 觸發

1. 透過使用管理員認證的 APIC 開啟 SSH 作業階段。

- 如果無法使用管理員憑據登入，請使用使用者名稱rescue-user。密碼可以與admin本地使用者相同。

2. 運行bash -c「techsupport local」命令。
Using username "admin".

Application Policy Infrastructure Controller

apic1# bash -c "techsupport local"

This command is being deprecated on APIC controller, please use NXOS-style equivalent command

Running bash commands

Completed 1 of 10 commands

...

Completed 10 of 10 commands

Starting data compression

Techsupport collected at /data/techsupport/local_apic1_2018-05-29T08-17.tgz . Please remove the file once done.

3. 下載本機技術支援。

- 選項A：使用SCP下載技術支援檔案：

- WinSCP 或 pscp.exe（Windows 使用者）

- 原生 SCP 用戶端（MAC 使用者）

- 選項B：使用HTTPS下載技術支援檔案：

1. 開啟瀏覽器（例如，Chrome 或 Firefox）。

2. 導航至：https://<aci.apic.ip.addr>/files/<apic#>/techsupport/<ts_filename>

- 範例： https://a.p.i.c/files/1/techsupport/local_apic1_2018-05-29T08-17.tgz

3. 使用管理員認證登入。

4. 如果出現提示，請選取瀏覽器下載提示上的儲存檔案。

透過交換器 CLI 觸發

1. 透過使用管理員認證的 ACI 交換器開啟 SSH 作業階段。

- 如果APIC尚未發現交換機，請使用使用者名稱admin。

2. 運行命令：「techsupport local」。

fab5-leaf1# techsupport local

Running bash commands

Completed 1 of 9 commands

...

Completed 9 of 9 commands

Starting data compression

Techsupport collected at /data/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz . Please remove the file once done

3. 下載本機技術支援。

- 選項A：使用SCP從ACI交換機下載techsupport檔案：

- WinSCP 或 pscp.exe（Windows 使用者）

- 原生 SCP 用戶端（MAC 使用者）

- 選項B：透過APIC使用HTTPS下載技術支援檔案：

1. 登入到APIC CLI（注意步驟4中使用了哪個APIC）。

2. 使用以下命令將techsupport檔案從ACI交換機傳輸到APIC：

- scp <節點名稱>：/data/techsupport/<ts_filename> /data/techsupport

- 示例： apic1# scp fab5-leaf1：/data/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz /data/techsupport

3. 開啟瀏覽器（例如，Chrome 或 Firefox）。

4. 導航至：https://<aci.apic.ip.addr>/files/<apic#>/techsupport/<ts_filename>

- 範例： https://a.p.i.c/files/1/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz

5. 使用管理員認證登入。

6. 如果出現提示，請選取瀏覽器下載提示上的儲存檔案。

CIMC 技術支援

透過 CIMC UI 觸發

可以收集APIC CIMC的技術支援以稽核與APIC機箱相關的日誌。CIMC show tech可以從本地捕獲，或從CIMC Admin頁籤的Utilities部分傳送到遠端位置。

透過CIMC CLI觸發

在 APIC CIMC CLI 輸入：

~ # scope cimc

~ /cimc # scope tech-support

~ /cimc/tech-support # set tftp-ip 192.168.1.1

~ /cimc/tech-support *# set path \techsupport\showtech

~ /cimc/tech-support *# commit

~ /cimc/tech-support *# start

分析CIMC技術支援

以下列出了show tech命令中的一些關鍵欄位。

Techsup檔案/位置

說明

var/

包含詳細日誌和所有受監控服務的狀態。亦包含服務資訊檔案（例如，SOL 和 IPMI 感應器警報的組態）。

var/log

包含循環的易失性日誌消息。

obfl/

包含滾動的非易失性日誌消息。

符合/

非易失性配置和SEL

mp/

show tech-support文本檔案，以及BIOS技術支援文本檔案。該文字檔案包含所有程序、網路、系統、夾層及 BIOS 狀態資訊。

mctool

獲取有關CIMC狀態的基本資訊。

網路

獲取當前網路配置和套接字資訊。

obfl

獲取即時日誌（板載故障日誌）。

梅塞日

獲取即時/var/log/messages檔案。

警報

列出處於警報狀態的感測器。

感應器

來自IPMI的當前感測器讀數。

強化

x86的當前電源狀態。

延伸稽核、事件及故障等 (TacOutput)

TAC 可要求其他基本輸出內容（例如，故障、事件與稽核），此類內容一般為 RCA 必需資訊。

截至今日，show tech 已包含此類物件的子集，但僅限最近 10,000 筆記錄。在某些情況下，TAC需要完整記錄集，遠遠超過10,000條記錄。

注意：從版本5.2(1g)開始，您可以使用CLI命令觸發來自APIC的資料輸出來收集這些附加對象。但是，在5.3(x)和6.0(3d)之前的版本中，內建指令碼可能無法收集所有頁面的記錄。  在這種情況下，建議使用下一部分中列出的aci-tac-scripts儲存庫中最新版本的指令碼。

透過觸發器輸出觸發- 5.3/6.0(3d)及更高版本

對於運行版本5.3/6.0(3d)及更高版本的ACI交換矩陣，trigger tacoutput為事件、故障、稽核和其他故障排除輸出提供了簡化的收集介面)：

apic1# trigger tacoutput

Select corresponding numbers of objects to collect. Separate numbers with commas. *Note, topSystem, fabricNode, and firmwareARunning are automatically included.

Ex: 1,2,3,4,5

1. faultInfo *collected unfiltered

2. faultRecord

3. eventRecord

4. aaaModLR *collected unfiltered

5. polDeploymentRecord

6. epRecord

7. healthRecord

8. healthInst *collected unfiltered

Enter selections: 1,2,3,4,5,6,7,8

Enter record start date (format: 2019-12-15T00:00:00) *default is one month prior to current date:

Enter record end date (format: 2019-12-15T00:00:00) *default is current date:

... collection runs...

2021-12-17T08:19:59 TacOutput collection completed.

2021-12-17T08:19:59 Verify files and file sizes at /tmp/TacOutput2021-12-17T08-16-19

2021-12-17T08:19:59 Compressing files...

2021-12-17T08:20:01 Compression completed

Logs available for SCP or SFTP download from /data/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz

To download through your web browser go to https://<apic address>/files/1/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz

Note: in the URL previous 1 denotes the APIC ID 1, if script was run on APIC-n, then n must be specified in the URL (n = APIC-ID).

To remove files when done run

rm -rf /tmp/TacOutput2021-12-17T08-16-19

rm -f /data/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz

透過收集Tac輸出指令碼觸發

對於運行早於5.3/6.0(3d)的ACI交換矩陣，aci-tac-scripts儲存庫中有一個收集TacOutput指令碼，該指令碼充當與trigger tacoutput命令類似的介面：

apic# /tmp/collectTacOutputs.sh

Select corresponding numbers of objects to collect. Separate numbers with commas. *Note, topSystem, fabricNode, and firmwareARunning are automatically included.

Ex: 1,2,3,4,5

1. faultInfo *collected unfiltered

2. faultRecord

3. eventRecord

4. aaaModLR

5. polDeploymentRecord

6. epRecord

7. healthRecord

8. healthInst *collected unfiltered

Enter selections: 1,2,3,4,5,6,7,8

Enter record start date (format: 2019-12-15T00:00:00) *default is one month prior to current date: 2019-12-25T00:00:00

Enter record end date (format: 2019-12-15T00:00:00) *default is current date: 2020-01-05T00:00:00

...script collection runs...

Compression completed

Logs available for SCP or SFTP download from /data/techsupport/TacOutput-2019-12-25T00:00:00-to-2020-01-05T00:00:00.tgz

To download through your web browser go to https:///files/1/techsupport/TacOutput-2019-12-25T00:00:00-to-2020-01-05T00:00:00.tgz

損毀/核心檔案

透過 APIC UI 收集

ACI 交換器節點和 APIC 具有多項程序，可控制系統的各項功能層面。 如果系統在特定程序中發生軟體故障，則會產生核心檔案，並重新載入程序。 當程序損毀且系統產生核心檔案後，會產生故障和事件。 當交換器/APIC 的程序損毀時，系統會壓縮核心檔案並複製到 APIC。

APIC GUI提供了一個中心位置，用於收集交換矩陣節點的核心檔案。

可以透過Admin > IMPORT/EXPORT（在Export Policies > Core中）建立新的導出策略。

有一個預設的核心策略，可以直接下載檔案。生成時，所有生成的核心檔案都會嘗試傳輸到APIC控制器。如果成功，則可以在預設核心策略下找到它們。

您可透過檢閱「運作中」標籤檢視產生（和匯出）的核心檔案。 在此標籤中，您可檢閱產生核心檔案（損毀的服務）、收集時間等等的節點。

您可以按一下「匯出位置」連結，將檔案下載到您的案頭。 當系統出現提示時，請使用 APIC 認證。

或者，您可在 APIC 上的 /data/techsupport 資料夾（核心檔案所處的位置），透過 APIC 的 SSH/SCP 存取核心檔案。

注意：核心檔案在集群的一個APIC上的/data/techsupport中提供；核心檔案所在的確切APIC可透過導出位置路徑找到，如GUI中所示。例如，如果「匯出位置」以files/3/開頭，則檔案位於節點3 (APIC3)上。

透過交換器 CLI 收集

在某些特殊情況下，無法將Leaf或Spines中的核心複製到APIC，這些核心可在交換機的/logflash/core中找到。可透過SCP直接到交換機或者透過將檔案移動到APIC然後從APIC移出SCP來檢索它們。

收集指令碼嘗試收集/logflash/core中的核心檔案以及其他崩潰相關資訊：

#Run on an ACI Leaf Node, Copy from here

bash -c '

# set this to correct leaf name

leaf="$(hostname)""_data"

# collect data

mkdir /data/techsupport/$leaf

cd /data/techsupport/$leaf

show system reset-reason > show_sys_rr.log

vsh -c "show logging onboard internal reset-reason" > show_logg_onb_internal_rr.log

vsh -c "show logging onboard stack-trace" > show_logg_onb_stack-trace.log

vsh -c "show logging onboard card-boot-history" > show_logg_onb_card-boot-history.log

vsh -c "show processes log details" > show_process_log_detail.log

df -h > df.log

ls -liah /logflash/core > logflash_core.log

cp /var/log/dmesg ./

cp -rf /mnt/ifc/log/last_run/ ./

mkdir bootflash; cp /bootflash/mem_log* ./bootflash/

mkdir mnt_pss; cp -rf /mnt/pss/* ./mnt_pss/

mkdir mnt_pstore; cp -rf /mnt/pstore/* ./mnt_pstore/

mkdir logflash_core; cp -rf /logflash/core ./logflash_core

# compress and combine files

cd /data/techsupport

zipfile="$leaf"".tgz"

tar -zcvf ./$zipfile ./$leaf/*

rm -rf ./$leaf/*

rmdir ./$leaf

echo ""

echo " ///// Please collect /data/techsupport/"$zipfile" and upload to SR ///////"

'

#copy to here

APIC 應用程式技術支援

透過 APIC UI 觸發

如果 APIC 應用程式使用中且出現問題，則系統可能會針對該應用程式建立特定隨選技術支援原則，以收集其記錄進行分析。

該原則可能會建立於以下路徑：「管理」>「匯入/匯出」>「匯出原則」>「建立隨選技術支援」。有一個特定的For App選項，該選項允許使用者選擇要用來收集日誌的APIC APP：

建立策略後，可以根據該策略觸發收集，以收集techsupport，並在選擇Export to Controller時透過「Operational」頁籤進行下載。

應用程式虛擬邊緣 (AVE)

Vem-Support

透過 AVE 節點 CLI 觸發

登入至 AVE CLI，然後執行以下命令。show tech將收集在/tmp目錄中。 您可使用 SCP 將其匯出。

cisco-ave:~$ vem-support all

This can take some time. Please wait.

Copying dpa logs

...

Generated  /tmp/dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs.tgz

cisco-ave:tmp$ tar -tf dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs.tgz

dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs/

dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs/cisco-vemlog.txt

dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs/cisco-vem-support.txt

dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs/cisco-vemdpa.txt

...

dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs/log/redis/

dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs/log/supervisor/

vCenter/ESXI 主機記錄

透過 vCenter/ESXi UI 觸發

Vcenter和ESX主機日誌可以導出，如下面的螢幕影象所示。

Nexus Dashboard Orchestrator (NDO)（前身為 MSO）

疑難排解報告

透過NDO/MSO UI觸發- MSO Pre-2.x

透過NDO/MSO UI觸發- MSO版本2.x

1. 從MSO GUI中，按一下設定圖示。

2. 從下拉選單中選擇系統日誌。

3. 從彈出窗口中按一下download按鈕。

透過NDO/MSO UI觸發- MSO版本3.x及更高版本

系統記錄

1. 從MSO GUI的主選單中，打開系統日誌螢幕。選擇操作>技術支援。

2.在「系統記錄」訊框的右上角中，按一下「編輯」按鈕。

上傳

3.選取您想要下載的記錄。

4. 按一下下載按鈕。

所選專案的查扣檔會下載到您的系統。報告包含如下資訊：所有架構、站點定義、租戶定義、JSON格式的使用者定義。infra_logs.txt 檔案中的所有容器記錄。

透過NDO/MSO UI的流- MSO版本3.x及更高版本

系統日誌可以流式傳輸到外部分析器。有關如何將日誌即時傳送到外部日誌分析器工具的更多詳細資訊，請參閱以下連結。https://www.cisco.com/c/en/us/td/docs/dcn/mso/3x/configuration/cisco-aci-multi-site-configuration-guide-301/aci-multi-site-logs.html

獨立稽核記錄

透過 NDO/MSO UI 收集

MSC稽核日誌可以採用CSV格式的JSON格式下載。