收集ACI技术支持和TAC请求输出的指南

简介

本文档介绍在使用ACI TAC进行故障排除所需的各种日志和输出。

背景信息

有关打开TAC案例之前要收集哪些数据的快速参考，请参阅表1。

表1：日志/显示技术收集表

问题	收集内容	备注
升级问题	出现升级问题的节点所需的按需技术支持 全部 APIC 所需的按需技术支持 通过 TacOutput 收集的其他故障、事件、审核	如果 APIC 不一致且按需技术支持收集失败，请收集“本地技术支持”
随机连接问题	源节点（连接源终端的位置）所需的按需技术支持 目的节点（连接目的终端的位置）所需的按需技术支持 通过 TacOutput 收集的其他故障、事件、审核
连接完全中断	Leaf（源和目的）所需的按需技术支持 Spine 所需的按需技术支持 APIC 所需的按需技术支持 通过 TacOutput 收集的其他故障、事件、审核	如果持续发生中断，请联系 TAC 进行现场调试。 在出于任何原因需要重启节点时，如果需要执行根本原因分析 (RCA)，请先收集日志，然后重新加载。
集群问题	全部 APIC 所需的按需技术支持 通过 TacOutput 收集的其他故障、事件、审核	如果 APIC 不一致且按需技术支持收集失败，请收集“本地技术支持”
路由问题	出现路由问题的节点所需的按需技术支持 通过 TacOutput 收集的其他故障、事件、审核
节点崩溃/意外重新加载	崩溃节点所需的按需技术支持 崩溃节点所需的崩溃/核心文件 通过 TacOutput 收集的其他故障、事件、审核
APIC 应用问题	全部 APIC 所需的按需技术支持 针对受影响的 APIC 应用的技术支持

ACI APIC 和交换机

按需技术支持

注意：如果通过Intersight连接并申请了ACI交换矩阵，将自动生成技术支持并上传至技术支持中心(TAC SR)，以获取案例提交期间提供的序列号。然后，SR上的TAC工程师可以通过Intersight触发任何其他连接设备的生成和上传或其他技术支持。

通过APIC触发并上传到Intersight - Nexus Insights云连接器应用

要使用此方法，必须通过APIC：Nexus Insights云连接器应用在Intersight上连接并申领ACI交换矩阵。

1. 导航至：APIC > Apps > Installed Apps > open NICC app > TAC Assist >点击“Begin”
2. 选择节点，然后单击“收集日志”
3. 作业状态为“完成”后，点击“查看详细信息”
4. 在“作业详细信息”(Job Details)页面的“日志”(Logs)表格下，您会发现“云”(Cloud)列。 
5. 点击“上传”(Upload) -用于每个设备的技术支持捆绑包

通过ND触发并上传到Intersight - Nexus控制面板见解

要使用此方法，必须通过Nexus控制面板：Nexus控制面板见解在Intersight上连接和申请ACI交换矩阵。

1. 导航至：Nexus控制面板>管理控制台>服务>打开“Nexus控制面板见解”>故障排除>日志收集器
2. 点击“新建日志收集”(New Log Collection)
   1. 为日志收集指定名称。
   2. 选择一个站点. 
   3. 启用“自动上传日志文件”复选框
   4. 点击“选择节点”，然后选择节点
   5. 点击“Start Collection”（开始收集）
   6. 技术支持文件将上传到intersight.com  
3. 上传完成后，通知TAC文件已在即时上传。 
4. TAC工程师能够将文件从intersight移到TAC案例进行分析。 

通过 APIC UI 触发

创建按需技术支持策略

注意：除非技术支持中心明确要求，否则请勿指定技术支持时间范围。如果出现过多的日志变动，则执行此操作可能会导致日志丢失。这会严重影响TAC提供及时RCA的能力。如果提供了Techsupport时间范围，它将根据“上次文件修改”时间戳修剪日志，而不是根据日志文件本身的时间戳修剪日志。

1. 在菜单栏中，单击Admin > Import/Export > Export Policies > Right-click On-demand TechSupport > Create On-demand TechSupport
2. 在创建按需技术支持对话框各字段中输入相应的值。
   • 如果远程位置不可用，请选中导出到控制器。生成的技术支持可以在生成后通过GUI的Operational（操作）选项卡下载。
   • 选中在技术支持中包括所有控制器，以生成 APIC 技术支持。
   • Source Nodes字段允许您指定生成Techsupport的交换机节点。
3. 点击提交，即可创建按需技术支持策略。

生成按需技术支持

1. 导航至现有的按需技术支持策略。在以下位置可找到创建的策略：Admin > Import/Export > Export Policies > On-demand TechSupport > Expand On-demand TechSupport folder >右键单击要使用的策略>收集技术支持。
   
   • 或者，左键点击“按需技术支持策略”(On-Demand Techsupport Policy)以在主窗格中将其启动；然后点击扳手/锤子图标并选择收集技术支持(Collect Tech Supports)。
2. 选择“是”开始收集技术支持信息。

收集生成的技术支持

1. 如果在生成技术支持期间未启用“导出到控制器”，则应检查所有技术支持文件的导出目标（远程位置）。
2. 如果启用了“导出到控制器”，请导航到生成技术支持所依据的按需技术支持策略。创建的策略可在以下位置找到：管理 > 导入/导出 > 导出策略 > 按需技术支持
   • 生成的技术支持位于该按需技术支持策略的操作选项卡下。每个文件都有一个链接，用于通过http/https下载文件。每个节点有三个链接，每个文件都关联一个链接。

注意：如果版本早于2.2，则必须使用本地“admin”用户帐户通过UI下载Techsupports。 否则，请使用任何其他具有管理员权限的本地账户。远程用户无法通过UI下载techsupport。相反，他们应使用sftp或其他方法从相应APIC上的“/data/techsupport/”目录提取techsupport文件。

注意：技术支持捆绑包的 URL 中的数字表示文件所在的 APIC。例如，“files/2/techsupport.tgz”表示可在APIC 2的“/data/techsupport/”目录中找到此特定捆绑包。

按需技术支持文件详解

如果生成技术支持时使用导出到控制器选项，则 GUI 会显示每个 ACI 节点（APIC 节点或交换机节点）有三个 URL。每个 URL 都指向不同的日志文件类型，包含唯一信息。 TAC 通常要求为每个节点上传所有三个文件，以便获取所有日志记录进行完整分析。

每个 URL 均可映射到以下三种文件类型中的一种：

分类	典型后缀	适用对象：	文件大小
导出	_1of3.tgz	审核/故障日志	中小型
日志	_logs_3of3.tgz	进程日志	最大型
DB	_db_2of3.tgz	MO 转储	小型

注意：如果选择了“导出目标”而不是“导出到控制器”，则定义的远程位置会创建一个文件夹，其中每个节点包含三个文件。

如果使用浏览器链接下载技术支持时出现问题，请使用 SCP 或 SFTP 客户端（如 WinSCP 或 FileZilla）直接从 APIC 存储中下载文件。

1. 将 (SFTP) 连接到各 APIC。收集的技术支持文件存储在所有可用的APIC中，因此检查每个APIC以了解收集的技术支持文件非常重要。

2. 导航至已连接的 APIC 中的 /data/techsupport 文件夹（在所有 APIC 控制器中重复此步骤）。

查找名称中包含按需技术支持策略名称（本例中为“ABCTECH”）的文件，并将这些文件下载到计算机。

本地技术支持

按需技术支持可提供更完整的信息，因此始终比“本地技术支持”更受青睐。 但是，按需技术支持的收集需通过策略触发，因此依赖于完全适配的 APIC 集群。

请注意，必须在每个节点上触发“本地技术支持”。因此，如果计划为所有 APIC 收集“本地技术支持”，则必须在集群中的每个 APIC 上单独运行 cmd。

本地技术支持适用场景

• APIC 不完全适配
• APIC 尚未发现 ACI 交换机
• ACI 交换机与 APIC 失去通信
• 内部流程发生故障，无法执行按需技术支持操作（罕见）

通过 APIC CLI 触发

1. 使用管理员凭证打开与 APIC 的 SSH 会话。
   • 如果无法使用管理员凭证登录，请使用用户名“rescue-user”。密码应与“admin”本地用户相同。
2. 运行命令 bash -c “techsupport local”

   Using username "admin".
   Application Policy Infrastructure Controller
   
   apic1# bash -c "techsupport local"
   This command is being deprecated on APIC controller, please use NXOS-style equivalent command
   Running bash commands
   Completed 1 of 10 commands
   ...
   Completed 10 of 10 commands
   Starting data compression
   Techsupport collected at /data/techsupport/local_apic1_2018-05-29T08-17.tgz . Please remove the file once done.
   

3. 下载本地技术支持。
   
   • 选项A：使用SCP下载techsupport文件：
     • WinSCP 或 pscp.exe（Windows 用户）
     • 本地 SCP 客户端（MAC 用户）
   • 选项B：使用HTTPS下载技术支持文件：
     1. 打开浏览器，如 Chrome 或 Firefox。
     2. 导航至：https://<aci.apic.ip.addr>/files/<apic#>/techsupport/<ts_filename>
        • 示例： https://a.p.i.c/files/1/techsupport/local_apic1_2018-05-29T08-17.tgz
     3. 使用管理员凭证登录。
     4. 如果出现提示，请根据浏览器下载提示选择保存文件。

通过交换机 CLI 触发

1. 使用管理员凭证打开与 ACI 交换机的 SSH 会话。
   • 如果 APIC 尚未发现交换机，请使用用户名“admin”。
2. 运行命令：techsupport local

fab5-leaf1# techsupport local
Running bash commands
Completed 1 of 9 commands
...
Completed 9 of 9 commands
Starting data compression
Techsupport collected at /data/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz . Please remove the file once done

3. 下载本地技术支持。

• 选项A：使用SCP从ACI交换机下载techsupport文件：
  • WinSCP 或 pscp.exe（Windows 用户）
  • 本地 SCP 客户端（MAC 用户）
• 选项B：通过APIC使用HTTPS下载技术支持文件：
  
  1. 登录 APIC CLI（注意第 4 步所使用的 APIC）
  2. 使用以下命令将技术支持文件从 ACI 交换机传输到 APIC：
     • scp <节点名称>：/data/techsupport/<ts_filename> /data/techsupport
     • 示例：apic1# scp fab5-leaf1：/data/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz /data/techsupport
  3. 打开浏览器，如 Chrome 或 Firefox。
  4. 导航至：https://<aci.apic.ip.addr>/files/<apic#>/techsupport/<ts_filename>
     • 示例： https://a.p.i.c/files/1/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz
  5. 使用管理员凭证登录。
  6. 如果出现提示，请根据浏览器下载提示选择保存文件。

CIMC 技术支持

通过 CIMC UI 触发

可以收集APIC CIMC的技术支持以查看与APIC机箱相关的日志。CIMC show tech可以在本地捕获，也可以从CIMC Admin选项卡的Utilities部分发送到远程位置。 

通过CIMC CLI触发

在 APIC CIMC CLI 中输入：

~ # scope cimc
~ /cimc # scope tech-support
~ /cimc/tech-support # set tftp-ip 192.168.1.1
~ /cimc/tech-support *# set path \techsupport\showtech
~ /cimc/tech-support *# commit
~ /cimc/tech-support *# start 

解析CIMC技术支持

show tech 命令中的一些关键字段如下所示：

Techsup文件/位置	描述
var/	包含详细日志和所有受监控服务的状态。还包含服务信息文件，如 SOL 和 IPMI 传感器警报的配置。
var/log	包含循环的易失性日志消息
obfl/	包含滚动非易失性日志消息
会议/	非易失性配置和SEL
mp/	show tech-support文本文件以及BIOS技术支持文本文件。这些文本文件包含所有进程、网络、系统、夹层和 BIOS 状态信息。
mctool	获取有关CIMC状态的基本信息
网络	获取当前网络配置和套接字信息
obfl	获取实时日志（板载故障日志）
消息集	获取实时/var/log/messages文件
警报	列出处于警报状态的传感器
传感器	来自IPMI的当前传感器读数
电源	x86的当前电源状态

扩展审核、事件、故障等 (TacOutput)

TAC 可以要求提供 RCA 通常所需的其他基本输出，例如故障、事件和审核等。

截至目前，show tech 已包含这些对象的子集，但仅包含最后 10,000 条记录。在某些情况下，TAC需要完整记录集，远远超过10,000条记录。

注意：从版本5.2(1g)开始，您可以从APIC使用CLI命令“trigger tacutput”收集这些附加对象。但是，在5.3(x)和6.0(3d)之前的版本中，内置脚本可能无法收集所有页面记录。  在这种情况下，建议使用下一部分所列出的aci-tac-scripts存储库中最新版本的脚本。

通过“trigger tacoutput”触发- 5.3/6.0(3d)及更高版本

对于运行版本5.3/6.0(3d)及更高版本的ACI交换矩阵，trigger tacoutput为事件、故障、审计和其他故障排除输出提供了简化的收集界面)：

apic1# trigger tacoutput
Select corresponding numbers of objects to collect. Separate numbers with commas. *Note, topSystem, fabricNode, and firmwareARunning are automatically included.
Ex: 1,2,3,4,5
1. faultInfo *collected unfiltered
2. faultRecord
3. eventRecord
4. aaaModLR *collected unfiltered
5. polDeploymentRecord
6. epRecord
7. healthRecord
8. healthInst *collected unfiltered
Enter selections: 1,2,3,4,5,6,7,8
Enter record start date (format: 2019-12-15T00:00:00) *default is one month prior to current date: 
Enter record end date (format: 2019-12-15T00:00:00) *default is current date: 

... collection runs...

2021-12-17T08:19:59 TacOutput collection completed.
2021-12-17T08:19:59 Verify files and file sizes at /tmp/TacOutput2021-12-17T08-16-19
2021-12-17T08:19:59 Compressing files...
2021-12-17T08:20:01 Compression completed
Logs available for SCP or SFTP download from /data/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz
To download through your web browser go to https://<apic address>/files/1/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz
Note: in the URL above 1 denotes the APIC ID 1, if script was run on APIC-n, then n must be specified in the URL (n = APIC-ID).

To remove files when done run
rm -rf /tmp/TacOutput2021-12-17T08-16-19
rm -f /data/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz

通过“收集Tac输出”脚本触发

对于运行早于5.3/6.0(3d)的ACI交换矩阵，aci-tac-scripts存储库中提供收集Tac输出脚本，该存储库提供类似接口作为trigger tacutput命令：

apic# /tmp/collectTacOutputs.sh
Select corresponding numbers of objects to collect. Separate numbers with commas. *Note, topSystem, fabricNode, and firmwareARunning are automatically included.
Ex: 1,2,3,4,5
1. faultInfo *collected unfiltered
2. faultRecord
3. eventRecord
4. aaaModLR
5. polDeploymentRecord
6. epRecord
7. healthRecord
8. healthInst *collected unfiltered
Enter selections: 1,2,3,4,5,6,7,8
Enter record start date (format: 2019-12-15T00:00:00) *default is one month prior to current date: 2019-12-25T00:00:00
Enter record end date (format: 2019-12-15T00:00:00) *default is current date: 2020-01-05T00:00:00

...script collection runs...

Compression completed
Logs available for SCP or SFTP download from /data/techsupport/TacOutput-2019-12-25T00:00:00-to-2020-01-05T00:00:00.tgz
To download through your web browser go to https:///files/1/techsupport/TacOutput-2019-12-25T00:00:00-to-2020-01-05T00:00:00.tgz

崩溃/核心文件

通过 APIC UI 收集

ACI 交换机节点和 APIC 有多个进程可用于控制系统的各个功能方面。 如果系统中某一进程出现软件故障，则会生成核心文件并重新加载该进程。 进程崩溃并生成核心文件时，同时会生成故障和事件。 交换机/APIC 上的进程崩溃时，系统会压缩核心文件并将其复制到 APIC。

APIC GUI提供一个中心位置，用于收集交换矩阵节点的核心文件。

可以通过Admin > Import/EXPORT in Export Policies > Core创建新的导出策略。

有一个默认核心策略，用于直接下载文件。生成时，所有生成的核心文件都会尝试传输到APIC控制器。如果成功，则可以在默认核心策略下找到它们。

独立审核日志

通过 NDO/MSO UI 收集

MSC审核日志可以以JSON格式下载，格式为CSV