排除ONA传感器离线状态故障

简介

本文档介绍如何调查安全云分析(SCA)传感器显示为脱机状态的多种可能原因。  

背景信息

安全云分析(SCA)以前称为Stealthwatch云(SWC)，这些术语可以互换使用。

SCA传感器是专用网络监控器，可以作为ONA、ONA传感器或仅作为传感器使用。 

本文中的命令基于ona-20.04.1-server-amd64.iso debian安装。 

离线传感器的可能原因

有许多可能因素会导致传感器呈现离线状态。 

这些因素的两个示例是与网络相关的问题，并且本地文件系统具有完整的磁盘。

识别离线传感器

SCA门户包含已配置传感器的列表。要访问此页面，请导航至 Settings > Sensors. 

此图像中的脱机传感器以红色表示，不显示最近的心跳和数据。

检查脱机传感器

网络问题

ONA主机可能失去Internet访问权限，从而导致传感器被列为离线。 

测试ONA主机是否能ping通已知的活动IP地址，例如8.8.8.8的Google DNS服务器之一。

登录到ONA传感器并运行ping -c4 8.8.8.8命令。 

user@example-ona:~# ping -c4 8.8.8.8
PING 8.8.8.8 (8.8.8.8) 56(84) bytes of data. 
From 10.10.10.11 icmp_seq=1 Destination Host Unreachable
From 10.10.10.11 icmp_seq=2 Destination Host Unreachable
From 10.10.10.11 icmp_seq=3 Destination Host Unreachable
From 10.10.10.11 icmp_seq=4 Destination Host Unreachable

--- 8.8.8.8 ping statistics ---
4 packets transmitted, 0 received, 100% packet loss, time 3065ms
user@example-ona:~#

如果传感器无法ping通已知的活动的IP地址，请进一步调查。

使用 route -n 命令。

确定默认网关是否显示有效的地址解析协议(ARP)条目 arp -an 命令。

如果传感器能够ping通已知的IP地址，则测试DNS主机名解析以及传感器连接到云的能力。   

登录传感器并运行 sudo curl https://sensor.ext.obsrvbl.com 命令。

curl命令输出显示sensor.ext.obsrvbl.com的DNS解析失败，且保证对DNS进行调查。

user@example-ona:~# sudo curl https://sensor.ext.obsrvbl.com 
[sudo] password for user: 
curl: (6) Could not resolve host: sensor.ext.obsrvbl.com
user@example-ona:~#

此类响应表示连接良好，并且云门户可识别传感器。

user@example-ona:~# sudo curl https://sensor.ext.obsrvbl.com
[sudo] password for user:
{"welcome":"example-domain"}
user@example-ona:~#

注意：可以修改curl命令以使用相应的区域US:https://sensor.ext.obsrvbl.com欧洲：https://sensor.eu-prod.obsrvbl.com澳大利亚：https://sensor.anz-prod.obsrvbl.com

此类型的响应表示连接良好，但传感器尚未与特定域关联。 

user@example-ona:~# sudo curl https://sensor.anz-prod.obsrvbl.com
[sudo] password for user:
{"error":"unknown identity","identity":"240.0.0.0"}
user@example-ona:~#

DNS问题

如果传感器无法使用DNS解析主机名，则使用 cat /etc/netplan/01-netcfg.yaml 命令。

如果DNS设置需要更改，请参阅更新DNS配置部分。 

验证DNS设置后，请运行 sudo systemctl restart systemd-resolved.service 命令。

此命令不需要任何输出。

user@example-ona:~# sudo systemctl restart systemd-resolved.service
[sudo] password for user: 
user@example-ona:~#

更新DNS配置

要更新Netplan中的DNS服务器，可以修改网络接口的Netplan配置文件。

Netplan配置文件存储在/etc/netplan目录中。

提示：在此目录中可找到一到两个YAML文件。预期文件名是01-netcfg.yaml和/或50-cloud-init.yaml。

使用打开Netplan配置文件 sudo vi /etc/netplan/01-netcfg.yaml 命令。

在Netplan配置文件中，在网络接口下找到“nameservers”密钥。

可以指定多个DNS服务器IP地址，以逗号分隔。

将更改应用到Netplan配置。 sudo netplan apply 命令。

Netplan为systemd解析的服务生成配置文件。

要验证新的DNS解析器是否已设置，请运行 resolvectl status | grep -A2 'DNS Servers'  命令。

user@example-ona:~# resolvectl status | grep -A2 'DNS Servers'
 DNS Servers: 10.122.147.56
 DNS Domain: example.org

user@example-ona:~#

本地文件系统已满

传感器控制台上可能会出现一条常见的错误消息：“Failed to create new system journal: No space left on device.”（创建新系统日志失败：设备上没有剩余空间。）

这表示磁盘已满，且/根文件系统中没有剩余空间。

运行 df -ah / 命令，并确定可用空间的大小。

user@example-ona:~# df -ah /
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/vgona--default-root 30G 30G 0G 100% /
user@example-ona:~#

清除旧日志日志，以使用 journalctl --vacuum-time 1d  命令。

user@example-ona:~# journalctl --vacuum-time 1d
Vacuuming done, freed 0B of archived journals from /var/log/journal.
{Removed for brevity}
Vacuuming done, freed 2.9G of archived journals from /var/log/journal/315bfec86e0947b2a3a23da2a672e577.
Vacuuming done, freed 0B of archived journals from /run/log/journal.
user@example-ona:~#

确保您的存储空间满足初始部署指南中列出的最低系统要求。

可从思科安全云分析（Stealthwatch云）产品支持页面检索该指南：https://www.cisco.com/c/en/us/support/security/stealthwatch-cloud/series.html

监控配置

与云的网络连接良好且有效的DNS设置的传感器仍可能呈现离线状态。

如果禁用传感器监视选项或传感器不发送心跳，则可能会出现脱机状态。

注意：本节介绍的是没有自定义设置且主动接收netflow和/或IPFIX数据的ONA传感器的默认安装。

运行 grep PNA_SERVICE /opt/obsrvbl-ona/config 命令以确定状态。

user@example-ona:~# grep PNA_SERVICE /opt/obsrvbl-ona/config
OBSRVBL_PNA_SERVICE="false"
user@example-ona:~#

如果服务设置为false，请验证所需的网络是否在中列出 Settings > configure monitoring 用于SCA门户中的传感器。

运行 ps -fu obsrvbl_ona | grep pna 命令并注意是否看到该服务，以及是否列出了预期受监控的网络范围。

user@example-ona:~# ps -fu obsrvbl_ona | grep pna
obsrvbl+ 925 763 0 Feb09 ? 00:29:04 /usr/bin/python3 /opt/obsrvbl-ona/ona_service/pna_pusher.py
obsrvbl+ 956 920 0 Feb09 ? 00:24:00 /opt/obsrvbl-ona/pna/user/pna -i ens192 -N 10.0.0.0/8 172.16.0.0/12 192.168.0.0/16 -o /opt/obsrvbl-ona/logs/pna -Z obsrvbl_ona (net 10.0.0.0/8) or (net 172.16.0.0/12) or (net 192.168.0.0/16)
obsrvbl+ 957 921 0 Feb09 ? 00:00:00 /opt/obsrvbl-ona/pna/user/pna -i ens224 -N 10.0.0.0/8 172.16.0.0/12 192.168.0.0/16 -o /opt/obsrvbl-ona/logs/pna -Z obsrvbl_ona (net 10.0.0.0/8) or (net 172.16.0.0/12) or (net 192.168.0.0/16)
user@example-ona:~#

命令的输出显示，PNA服务的进程ID为956和957，并且在ens192和ens224接口上监控私有地址范围10.0.0.0/8、172.16.0.0/12和192.168.0.0/16。

注意：地址范围和接口名称可能因传感器的配置和部署而异

SSL错误

查看/opt/obsrvbl-ona/logs/ona_service/ona-pna-pusher.log文件，以查找与 less /opt/obsrvbl-ona/logs/ona_service/ona-pna-pusher.log  命令。

提供了示例错误。

(Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1131)'))). 

运行 wget https://s3.amazonaws.com 命令并查看输出，查看是否存在任何可能的HTTPS检测。 

如果存在HTTPS检测，请确保传感器从任何检测中移除或置于允许列表中。