目录

简介

背景信息

ACI APIC 和交换机

按需技术支持

通过APIC触发并上传到Intersight - Nexus Insights云连接器应用

通过ND触发并上传到Intersight - Nexus控制面板见解

通过 APIC UI 触发

按需技术支持文件详解

本地技术支持

通过 APIC CLI 触发

通过交换机 CLI 触发

CIMC 技术支持

通过 CIMC UI 触发

通过CIMC CLI触发

解析CIMC技术支持

扩展审核、事件、故障等 (TacOutput)

通过“trigger tacoutput”触发- 5.3/6.0(3d)及更高版本

通过“收集Tac输出”脚本触发

崩溃/核心文件

通过 APIC UI 收集

通过交换机 CLI 收集

APIC 应用技术支持

通过 APIC UI 触发

应用虚拟边缘 (AVE)

VEM 支持

通过 AVE 节点 CLI 触发

vCenter/ESXI 主机日志

通过 vCenter/ESXi UI 触发

Nexus Dashboard Orchestrator (NDO)，前身为 MSO

故障排除报告

通过NDO/MSO UI触发- MSO Pre-2.x

通过NDO/MSO UI触发- MSO版本2.x

通过NDO/MSO UI触发- MSO版本3.x及更高版本

通过NDO/MSO UI的流- MSO版本3.x及更高版本

独立审核日志

通过 NDO/MSO UI 收集

简介

本文档介绍在使用ACI TAC进行故障排除所需的各种日志和输出。

背景信息

有关打开TAC案例之前要收集哪些数据的快速参考，请参阅表1。

表1：日志/显示技术收集表

问题

收集内容

备注

升级问题

1. 出现升级问题的节点所需的按需技术支持

2. 全部 APIC 所需的按需技术支持

3. 通过 TacOutput 收集的其他故障、事件、审核

如果 APIC 不一致且按需技术支持收集失败，请收集“本地技术支持”

随机连接问题

1. 源节点（连接源终端的位置）所需的按需技术支持

2. 目的节点（连接目的终端的位置）所需的按需技术支持

3. 通过 TacOutput 收集的其他故障、事件、审核

连接完全中断

1. Leaf（源和目的）所需的按需技术支持

2. Spine 所需的按需技术支持

3. APIC 所需的按需技术支持

4. 通过 TacOutput 收集的其他故障、事件、审核

如果持续发生中断，请联系 TAC 进行现场调试。

在出于任何原因需要重启节点时，如果需要执行根本原因分析 (RCA)，请先收集日志，然后重新加载。

集群问题

1. 全部 APIC 所需的按需技术支持

2. 通过 TacOutput 收集的其他故障、事件、审核

如果 APIC 不一致且按需技术支持收集失败，请收集“本地技术支持”

路由问题

1. 出现路由问题的节点所需的按需技术支持

2. 通过 TacOutput 收集的其他故障、事件、审核

节点崩溃/意外重新加载

1. 崩溃节点所需的按需技术支持

2. 崩溃节点所需的崩溃/核心文件

3. 通过 TacOutput 收集的其他故障、事件、审核

APIC 应用问题

1. 全部 APIC 所需的按需技术支持

2. 针对受影响的 APIC 应用的技术支持

ACI APIC 和交换机

按需技术支持

注意：如果通过Intersight连接并申请了ACI交换矩阵，将自动生成技术支持并上传至技术支持中心(TAC SR)，以获取案例提交期间提供的序列号。然后，SR上的TAC工程师可以通过Intersight触发任何其他连接设备的生成和上传或其他技术支持。

通过APIC触发并上传到Intersight - Nexus Insights云连接器应用

要使用此方法，必须通过APIC：Nexus Insights云连接器应用在Intersight上连接并申领ACI交换矩阵。

1. 导航至：APIC > Apps > Installed Apps > open NICC app > TAC Assist >点击“Begin”

2. 选择节点，然后单击“收集日志”

3. 作业状态为“完成”后，点击“查看详细信息”

4. 在“作业详细信息”(Job Details)页面的“日志”(Logs)表格下，您会发现“云”(Cloud)列。

5. 点击“上传”(Upload) -用于每个设备的技术支持捆绑包

通过ND触发并上传到Intersight - Nexus控制面板见解

要使用此方法，必须通过Nexus控制面板：Nexus控制面板见解在Intersight上连接和申请ACI交换矩阵。

1. 导航至：Nexus控制面板>管理控制台>服务>打开“Nexus控制面板见解”>故障排除>日志收集器

2. 点击“新建日志收集”(New Log Collection)

1. 为日志收集指定名称。

2. 选择一个站点.

3. 启用“自动上传日志文件”复选框

4. 点击“选择节点”，然后选择节点

5. 点击“Start Collection”（开始收集）

6. 技术支持文件将上传到intersight.com

3. 上传完成后，通知TAC文件已在即时上传。

4. TAC工程师能够将文件从intersight移到TAC案例进行分析。

通过 APIC UI 触发

创建按需技术支持策略

注意：除非技术支持中心明确要求，否则请勿指定技术支持时间范围。如果出现过多的日志变动，则执行此操作可能会导致日志丢失。这会严重影响TAC提供及时RCA的能力。如果提供了Techsupport时间范围，它将根据“上次文件修改”时间戳修剪日志，而不是根据日志文件本身的时间戳修剪日志。

1. 在菜单栏中，单击Admin > Import/Export > Export Policies > Right-click On-demand TechSupport > Create On-demand TechSupport

2. 在创建按需技术支持对话框各字段中输入相应的值。

- 如果远程位置不可用，请选中导出到控制器。生成的技术支持可以在生成后通过GUI的Operational（操作）选项卡下载。

- 选中在技术支持中包括所有控制器，以生成 APIC 技术支持。

- Source Nodes字段允许您指定生成Techsupport的交换机节点。

3. 点击提交，即可创建按需技术支持策略。

生成按需技术支持

1. 导航至现有的按需技术支持策略。在以下位置可找到创建的策略：Admin > Import/Export > Export Policies > On-demand TechSupport > Expand On-demand TechSupport folder >右键单击要使用的策略>收集技术支持。

- 或者，左键点击“按需技术支持策略”(On-Demand Techsupport Policy)以在主窗格中将其启动；然后点击扳手/锤子图标并选择收集技术支持(Collect Tech Supports)。

2. 选择“是”开始收集技术支持信息。

收集生成的技术支持

1. 如果在生成技术支持期间未启用“导出到控制器”，则应检查所有技术支持文件的导出目标（远程位置）。

2. 如果启用了“导出到控制器”，请导航到生成技术支持所依据的按需技术支持策略。创建的策略可在以下位置找到：管理 > 导入/导出 > 导出策略 > 按需技术支持

- 生成的技术支持位于该按需技术支持策略的操作选项卡下。每个文件都有一个链接，用于通过http/https下载文件。每个节点有三个链接，每个文件都关联一个链接。

注意：如果版本早于2.2，则必须使用本地“admin”用户帐户通过UI下载Techsupports。 否则，请使用任何其他具有管理员权限的本地账户。远程用户无法通过UI下载techsupport。相反，他们应使用sftp或其他方法从相应APIC上的“/data/techsupport/”目录提取techsupport文件。

注意：技术支持捆绑包的 URL 中的数字表示文件所在的 APIC。例如，“files/2/techsupport.tgz”表示可在APIC 2的“/data/techsupport/”目录中找到此特定捆绑包。

按需技术支持文件详解

如果生成技术支持时使用导出到控制器选项，则 GUI 会显示每个 ACI 节点（APIC 节点或交换机节点）有三个 URL。每个 URL 都指向不同的日志文件类型，包含唯一信息。 TAC 通常要求为每个节点上传所有三个文件，以便获取所有日志记录进行完整分析。

每个 URL 均可映射到以下三种文件类型中的一种：

分类

典型后缀

适用对象：

文件大小

导出

_1of3.tgz

审核/故障日志

中小型

日志

_logs_3of3.tgz

进程日志

最大型

DB

_db_2of3.tgz

MO 转储

小型

注意：如果选择了“导出目标”而不是“导出到控制器”，则定义的远程位置会创建一个文件夹，其中每个节点包含三个文件。

如果使用浏览器链接下载技术支持时出现问题，请使用 SCP 或 SFTP 客户端（如 WinSCP 或 FileZilla）直接从 APIC 存储中下载文件。

1. 将 (SFTP) 连接到各 APIC。收集的技术支持文件存储在所有可用的APIC中，因此检查每个APIC以了解收集的技术支持文件非常重要。

2. 导航至已连接的 APIC 中的 /data/techsupport 文件夹（在所有 APIC 控制器中重复此步骤）。

查找名称中包含按需技术支持策略名称（本例中为“ABCTECH”）的文件，并将这些文件下载到计算机。

本地技术支持

按需技术支持可提供更完整的信息，因此始终比“本地技术支持”更受青睐。 但是，按需技术支持的收集需通过策略触发，因此依赖于完全适配的 APIC 集群。

请注意，必须在每个节点上触发“本地技术支持”。因此，如果计划为所有 APIC 收集“本地技术支持”，则必须在集群中的每个 APIC 上单独运行 cmd。

本地技术支持适用场景

- APIC 不完全适配

- APIC 尚未发现 ACI 交换机

- ACI 交换机与 APIC 失去通信

- 内部流程发生故障，无法执行按需技术支持操作（罕见）

通过 APIC CLI 触发

1. 使用管理员凭证打开与 APIC 的 SSH 会话。

- 如果无法使用管理员凭证登录，请使用用户名“rescue-user”。密码应与“admin”本地用户相同。

2. 运行命令 bash -c “techsupport local”
Using username "admin".

Application Policy Infrastructure Controller

apic1# bash -c "techsupport local"

This command is being deprecated on APIC controller, please use NXOS-style equivalent command

Running bash commands

Completed 1 of 10 commands

...

Completed 10 of 10 commands

Starting data compression

Techsupport collected at /data/techsupport/local_apic1_2018-05-29T08-17.tgz . Please remove the file once done.

3. 下载本地技术支持。

- 选项A：使用SCP下载techsupport文件：

- WinSCP 或 pscp.exe（Windows 用户）

- 本地 SCP 客户端（MAC 用户）

- 选项B：使用HTTPS下载技术支持文件：

1. 打开浏览器，如 Chrome 或 Firefox。

2. 导航至：https://<aci.apic.ip.addr>/files/<apic#>/techsupport/<ts_filename>

- 示例： https://a.p.i.c/files/1/techsupport/local_apic1_2018-05-29T08-17.tgz

3. 使用管理员凭证登录。

4. 如果出现提示，请根据浏览器下载提示选择保存文件。

通过交换机 CLI 触发

1. 使用管理员凭证打开与 ACI 交换机的 SSH 会话。

- 如果 APIC 尚未发现交换机，请使用用户名“admin”。

2. 运行命令：techsupport local

fab5-leaf1# techsupport local

Running bash commands

Completed 1 of 9 commands

...

Completed 9 of 9 commands

Starting data compression

Techsupport collected at /data/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz . Please remove the file once done

3. 下载本地技术支持。

- 选项A：使用SCP从ACI交换机下载techsupport文件：

- WinSCP 或 pscp.exe（Windows 用户）

- 本地 SCP 客户端（MAC 用户）

- 选项B：通过APIC使用HTTPS下载技术支持文件：

1. 登录 APIC CLI（注意第 4 步所使用的 APIC）

2. 使用以下命令将技术支持文件从 ACI 交换机传输到 APIC：

- scp <节点名称>：/data/techsupport/<ts_filename> /data/techsupport

- 示例：apic1# scp fab5-leaf1：/data/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz /data/techsupport

3. 打开浏览器，如 Chrome 或 Firefox。

4. 导航至：https://<aci.apic.ip.addr>/files/<apic#>/techsupport/<ts_filename>

- 示例： https://a.p.i.c/files/1/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz

5. 使用管理员凭证登录。

6. 如果出现提示，请根据浏览器下载提示选择保存文件。

CIMC 技术支持

通过 CIMC UI 触发

可以收集APIC CIMC的技术支持以查看与APIC机箱相关的日志。CIMC show tech可以在本地捕获，也可以从CIMC Admin选项卡的Utilities部分发送到远程位置。

通过CIMC CLI触发

在 APIC CIMC CLI 中输入：

~ # scope cimc

~ /cimc # scope tech-support

~ /cimc/tech-support # set tftp-ip 192.168.1.1

~ /cimc/tech-support *# set path \techsupport\showtech

~ /cimc/tech-support *# commit

~ /cimc/tech-support *# start

解析CIMC技术支持

show tech 命令中的一些关键字段如下所示：

Techsup文件/位置

描述

var/

包含详细日志和所有受监控服务的状态。还包含服务信息文件，如 SOL 和 IPMI 传感器警报的配置。

var/log

包含循环的易失性日志消息

obfl/

包含滚动非易失性日志消息

会议/

非易失性配置和SEL

mp/

show tech-support文本文件以及BIOS技术支持文本文件。这些文本文件包含所有进程、网络、系统、夹层和 BIOS 状态信息。

mctool

获取有关CIMC状态的基本信息

网络

获取当前网络配置和套接字信息

obfl

获取实时日志（板载故障日志）

消息集

获取实时/var/log/messages文件

警报

列出处于警报状态的传感器

传感器

来自IPMI的当前传感器读数

电源

x86的当前电源状态

扩展审核、事件、故障等 (TacOutput)

TAC 可以要求提供 RCA 通常所需的其他基本输出，例如故障、事件和审核等。

截至目前，show tech 已包含这些对象的子集，但仅包含最后 10,000 条记录。在某些情况下，TAC需要完整记录集，远远超过10,000条记录。

注意：从版本5.2(1g)开始，您可以从APIC使用CLI命令“trigger tacutput”收集这些附加对象。但是，在5.3(x)和6.0(3d)之前的版本中，内置脚本可能无法收集所有页面记录。  在这种情况下，建议使用下一部分所列出的aci-tac-scripts存储库中最新版本的脚本。

通过“trigger tacoutput”触发- 5.3/6.0(3d)及更高版本

对于运行版本5.3/6.0(3d)及更高版本的ACI交换矩阵，trigger tacoutput为事件、故障、审计和其他故障排除输出提供了简化的收集界面)：

apic1# trigger tacoutput

Select corresponding numbers of objects to collect. Separate numbers with commas. *Note, topSystem, fabricNode, and firmwareARunning are automatically included.

Ex: 1,2,3,4,5

1. faultInfo *collected unfiltered

2. faultRecord

3. eventRecord

4. aaaModLR *collected unfiltered

5. polDeploymentRecord

6. epRecord

7. healthRecord

8. healthInst *collected unfiltered

Enter selections: 1,2,3,4,5,6,7,8

Enter record start date (format: 2019-12-15T00:00:00) *default is one month prior to current date:

Enter record end date (format: 2019-12-15T00:00:00) *default is current date:

... collection runs...

2021-12-17T08:19:59 TacOutput collection completed.

2021-12-17T08:19:59 Verify files and file sizes at /tmp/TacOutput2021-12-17T08-16-19

2021-12-17T08:19:59 Compressing files...

2021-12-17T08:20:01 Compression completed

Logs available for SCP or SFTP download from /data/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz

To download through your web browser go to https://<apic address>/files/1/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz

Note: in the URL above 1 denotes the APIC ID 1, if script was run on APIC-n, then n must be specified in the URL (n = APIC-ID).

To remove files when done run

rm -rf /tmp/TacOutput2021-12-17T08-16-19

rm -f /data/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz

通过“收集Tac输出”脚本触发

对于运行早于5.3/6.0(3d)的ACI交换矩阵，aci-tac-scripts存储库中提供收集Tac输出脚本，该存储库提供类似接口作为trigger tacutput命令：

apic# /tmp/collectTacOutputs.sh

Select corresponding numbers of objects to collect. Separate numbers with commas. *Note, topSystem, fabricNode, and firmwareARunning are automatically included.

Ex: 1,2,3,4,5

1. faultInfo *collected unfiltered

2. faultRecord

3. eventRecord

4. aaaModLR

5. polDeploymentRecord

6. epRecord

7. healthRecord

8. healthInst *collected unfiltered

Enter selections: 1,2,3,4,5,6,7,8

Enter record start date (format: 2019-12-15T00:00:00) *default is one month prior to current date: 2019-12-25T00:00:00

Enter record end date (format: 2019-12-15T00:00:00) *default is current date: 2020-01-05T00:00:00

...script collection runs...

Compression completed

Logs available for SCP or SFTP download from /data/techsupport/TacOutput-2019-12-25T00:00:00-to-2020-01-05T00:00:00.tgz

To download through your web browser go to https:///files/1/techsupport/TacOutput-2019-12-25T00:00:00-to-2020-01-05T00:00:00.tgz

崩溃/核心文件

通过 APIC UI 收集

ACI 交换机节点和 APIC 有多个进程可用于控制系统的各个功能方面。 如果系统中某一进程出现软件故障，则会生成核心文件并重新加载该进程。 进程崩溃并生成核心文件时，同时会生成故障和事件。 交换机/APIC 上的进程崩溃时，系统会压缩核心文件并将其复制到 APIC。

APIC GUI提供一个中心位置，用于收集交换矩阵节点的核心文件。

可以通过Admin > Import/EXPORT in Export Policies > Core创建新的导出策略。

有一个默认核心策略，用于直接下载文件。生成时，所有生成的核心文件都会尝试传输到APIC控制器。如果成功，则可以在默认核心策略下找到它们。

可以通过操作选项卡查看生成（和导出）的核心文件。 在此选项卡中，可以查看生成核心文件（服务崩溃）的节点、收集时间等。

点击导出位置链接，即可将文件下载到桌面。 出现提示时，请使用 APIC 凭证。

另外，可通过 SSH/SCP 从核心文件所在 APIC 的 /data/techsupport 文件夹中访问核心文件。请注意，核心文件在集群中一个APIC的/data/techsupport中可用；核心文件驻留的确切APIC可通过导出位置路径找到，如GUI中所示。例如，如果导出位置以“files/3/”开头，则该文件位于节点3 (APIC3)上。

通过交换机 CLI 收集

在某些特殊情况下，来自枝叶或主干的核心可能不会复制到APIC，它们可在交换机的“/logflash/core”中找到。 这些核心可以由 SCP 直接在交换机中检索，也可以先将文件移至 APIC，然后从 APIC 移出 SCP 进行检索。

收集脚本会尝试收集/logflash/core中的核心文件以及其他崩溃相关信息：

#Run on an ACI Leaf Node, Copy from here

bash -c '

# set this to correct leaf name

leaf="$(hostname)""_data"

# collect data

mkdir /data/techsupport/$leaf

cd /data/techsupport/$leaf

show system reset-reason > show_sys_rr.log

vsh -c "show logging onboard internal reset-reason" > show_logg_onb_internal_rr.log

vsh -c "show logging onboard stack-trace" > show_logg_onb_stack-trace.log

vsh -c "show logging onboard card-boot-history" > show_logg_onb_card-boot-history.log

vsh -c "show processes log details" > show_process_log_detail.log

df -h > df.log

ls -liah /logflash/core > logflash_core.log

cp /var/log/dmesg ./

cp -rf /mnt/ifc/log/last_run/ ./

mkdir bootflash; cp /bootflash/mem_log* ./bootflash/

mkdir mnt_pss; cp -rf /mnt/pss/* ./mnt_pss/

mkdir mnt_pstore; cp -rf /mnt/pstore/* ./mnt_pstore/

mkdir logflash_core; cp -rf /logflash/core ./logflash_core

# compress and combine files

cd /data/techsupport

zipfile="$leaf"".tgz"

tar -zcvf ./$zipfile ./$leaf/*

rm -rf ./$leaf/*

rmdir ./$leaf

echo ""

echo " ///// Please collect /data/techsupport/"$zipfile" and upload to SR ///////"

'

#copy to here

APIC 应用技术支持

通过 APIC UI 触发

如果 APIC 应用正在使用中，且发现存在问题，则可以针对该应用创建特定的按需技术支持策略，以收集其日志进行分析。

该策略可以通过管理 > 导入/导出 > 导出策略 > 创建按需技术支持创建。有一个特定选项“For App”，允许用户选择一个APIC应用来收集日志：

创建策略后，即可根据该策略触发收集，以收集技术支持；如果选择“导出到控制器”，则可以从“操作”选项卡中下载。

应用虚拟边缘 (AVE)

VEM 支持

通过 AVE 节点 CLI 触发

登录 AVE CLI 并运行以下命令。show tech在/tmp目录中收集。 您可以使用 SCP 将其导出。

cisco-ave:~$ vem-support all

This may take some time. Please wait.

Copying dpa logs

...

Generated  /tmp/dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs.tgz

cisco-ave:tmp$ tar -tf dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs.tgz

dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs/

dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs/cisco-vemlog.txt

dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs/cisco-vem-support.txt

dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs/cisco-vemdpa.txt

...

dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs/log/redis/

dbgexp_ave_sw-dvs-60_10.48.16.46_2019-0226-1408_logs/log/supervisor/

vCenter/ESXI 主机日志

通过 vCenter/ESXi UI 触发

Vcenter 和 ESX 主机日志可以导出，如下列截图所示。

Nexus Dashboard Orchestrator (NDO)，前身为 MSO

故障排除报告

通过NDO/MSO UI触发- MSO Pre-2.x

通过NDO/MSO UI触发- MSO版本2.x

1. 在 MSO GUI 中，点击设置图标

2. 从下拉列表中选择“系统日志”

3. 在弹出窗口中单击“下载”按钮

通过NDO/MSO UI触发- MSO版本3.x及更高版本

系统日志

1. 在 MSO GUI 的主菜单中，打开系统日志界面。选择Operations > Tech Support。

2.在系统日志界面的右上角，点击“编辑”按钮。

上传

3.选择要下载的日志。

4. 单击“下载”按钮。

所选项目的存档会下载到您的系统。报告包含以下信息：所有架构、站点定义、租户定义、JSON格式的用户定义。   infra_logs.txt 文件中容器的所有日志。

通过NDO/MSO UI的流- MSO版本3.x及更高版本

系统日志可以流式传输到外部分析器。有关如何将日志实时发送到外部日志分析器工具的更多详细信息，请参阅以下链接。https://www.cisco.com/c/en/us/td/docs/dcn/mso/3x/configuration/cisco-aci-multi-site-configuration-guide-301/aci-multi-site-logs.html

独立审核日志

通过 NDO/MSO UI 收集

MSC审核日志可以以JSON格式下载，格式为CSV