排除ONA感測器離線狀態故障

簡介

本文描述如何調查安全雲分析(SCA)感測器顯示為離線的多種可能原因。  

背景資訊

安全雲分析(SCA)以前稱為Stealthwatch Cloud(SWC)，這些術語可以互換使用。

SCA感測器是專用網路監視器，可以作為ONA、ONA感測器或僅作為感測器來參考。 

本文中的命令基於ona-20.04.1-server-amd64.iso debian安裝。 

離線感測器的可能原因

有許多可能因素會導致感測器呈現離線狀態。 

這些因素的兩個示例是與網路相關的問題，並且本地檔案系統具有完整的磁碟。

識別離線感測器

SCA門戶包含已配置感測器的清單。要訪問此頁面，請導航至 Settings > Sensors. 

此影象中的離線感測器顯示為紅色，未顯示最近的心跳和資料。

檢查離線感測器

網路問題

ONA主機可能失去網際網路訪問，從而導致感測器列為離線。 

測試ONA主機是否能ping通已知有生命的IP地址，例如8.8.8.8上的Google DNS伺服器之一。

登入到ONA感測器並運行ping -c4 8.8.8.8命令。 

user@example-ona:~# ping -c4 8.8.8.8
PING 8.8.8.8 (8.8.8.8) 56(84) bytes of data. 
From 10.10.10.11 icmp_seq=1 Destination Host Unreachable
From 10.10.10.11 icmp_seq=2 Destination Host Unreachable
From 10.10.10.11 icmp_seq=3 Destination Host Unreachable
From 10.10.10.11 icmp_seq=4 Destination Host Unreachable

--- 8.8.8.8 ping statistics ---
4 packets transmitted, 0 received, 100% packet loss, time 3065ms
user@example-ona:~#

如果感測器無法ping通已知活動的IP地址，請進一步調查。

使用 route -n 指令。

判斷使用SPAN的預設閘道是否有有效的位址解析通訊協定(ARP)專案 arp -an 指令。

如果感測器能夠ping通已知的IP地址，則測試DNS主機名解析以及感測器連線到雲的能力。   

登入到感測器並運行 sudo curl https://sensor.ext.obsrvbl.com 指令。

curl命令輸出顯示，sensor.ext.obsrvbl.com的DNS解析失敗，並且保證對DNS進行調查。

user@example-ona:~# sudo curl https://sensor.ext.obsrvbl.com 
[sudo] password for user: 
curl: (6) Could not resolve host: sensor.ext.obsrvbl.com
user@example-ona:~#

這種型別的響應表示連線良好，並且雲入口可識別感測器。

user@example-ona:~# sudo curl https://sensor.ext.obsrvbl.com
[sudo] password for user:
{"welcome":"example-domain"}
user@example-ona:~#

注意：可以修改curl命令以使用相應的區域US:https://sensor.ext.obsrvbl.com歐洲：https://sensor.eu-prod.obsrvbl.com澳大利亞：https://sensor.anz-prod.obsrvbl.com

此型別的響應表示連線良好，但感測器尚未與特定域相關聯。 

user@example-ona:~# sudo curl https://sensor.anz-prod.obsrvbl.com
[sudo] password for user:
{"error":"unknown identity","identity":"240.0.0.0"}
user@example-ona:~#

DNS問題

如果感測器無法使用DNS解析主機名，則使用 cat /etc/netplan/01-netcfg.yaml 指令。

如果DNS設定需要更改，請參閱更新DNS配置部分。 

驗證DNS設定後，請運行 sudo systemctl restart systemd-resolved.service 指令。

此命令不需要任何輸出。

user@example-ona:~# sudo systemctl restart systemd-resolved.service
[sudo] password for user: 
user@example-ona:~#

更新DNS配置

要更新Netplan中的DNS伺服器，可以修改網路介面的Netplan配置檔案。

Netplan配置檔案儲存在/etc/netplan目錄中。

提示：在此目錄中可找到一到兩個YAML檔案。預期檔名是01-netcfg.yaml和/或50-cloud-init.yaml。

使用CLI開啟Netplan配置檔案 sudo vi /etc/netplan/01-netcfg.yaml 指令。

在Netplan配置檔案中，找到網路介面下的「nameservers」金鑰。

您可以指定多個DNS伺服器IP地址，用逗號分隔。

將更改應用到Netplan配置 sudo netplan apply 指令。

Netplan為系統解析的服務生成配置檔案。

要驗證是否已設定新的DNS解析程式，請運行 resolvectl status | grep -A2 'DNS Servers' 指令。

user@example-ona:~# resolvectl status | grep -A2 'DNS Servers'
 DNS Servers: 10.122.147.56
 DNS Domain: example.org

user@example-ona:~#

本地檔案系統已滿

感測器控制檯上可能會出現一條常見的錯誤消息：「Failed to create new system journal: No space left on device.（建立新系統日誌失敗：裝置沒有剩餘空間。）」

這表示磁碟已滿，且/根檔案系統中沒有剩餘空間。

運行 df -ah / 命令並確定可用空間大小。

user@example-ona:~# df -ah /
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/vgona--default-root 30G 30G 0G 100% /
user@example-ona:~#

清除舊日誌日誌，以便使用 journalctl --vacuum-time 1d 指令。

user@example-ona:~# journalctl --vacuum-time 1d
Vacuuming done, freed 0B of archived journals from /var/log/journal.
{Removed for brevity}
Vacuuming done, freed 2.9G of archived journals from /var/log/journal/315bfec86e0947b2a3a23da2a672e577.
Vacuuming done, freed 0B of archived journals from /run/log/journal.
user@example-ona:~#

確保您的儲存空間滿足初始部署指南中概述的最低系統要求。

可從思科安全雲分析(Stealthwatch Cloud)產品支援頁面檢索該指南：https://www.cisco.com/c/en/us/support/security/stealthwatch-cloud/series.html

監控配置

如果感測器與雲的網路連線良好且有效的DNS設定仍然可以呈現離線狀態。

如果禁用感測器監視選項或感測器不傳送心跳，則可能處於離線狀態。

註：本節介紹不帶自定義設定的ONA感測器的預設安裝，並主動接收netflow和/或IPFIX資料。

運行 grep PNA_SERVICE /opt/obsrvbl-ona/config 命令以確定狀態。

user@example-ona:~# grep PNA_SERVICE /opt/obsrvbl-ona/config
OBSRVBL_PNA_SERVICE="false"
user@example-ona:~#

如果服務設定為false，請驗證所需的網路是否在中列出 Settings > configure monitoring 用於SCA門戶中的感測器。

運行 ps -fu obsrvbl_ona | grep pna 命令和注意是否看到服務，以及是否列出預期受監控的網路範圍。

user@example-ona:~# ps -fu obsrvbl_ona | grep pna
obsrvbl+ 925 763 0 Feb09 ? 00:29:04 /usr/bin/python3 /opt/obsrvbl-ona/ona_service/pna_pusher.py
obsrvbl+ 956 920 0 Feb09 ? 00:24:00 /opt/obsrvbl-ona/pna/user/pna -i ens192 -N 10.0.0.0/8 172.16.0.0/12 192.168.0.0/16 -o /opt/obsrvbl-ona/logs/pna -Z obsrvbl_ona (net 10.0.0.0/8) or (net 172.16.0.0/12) or (net 192.168.0.0/16)
obsrvbl+ 957 921 0 Feb09 ? 00:00:00 /opt/obsrvbl-ona/pna/user/pna -i ens224 -N 10.0.0.0/8 172.16.0.0/12 192.168.0.0/16 -o /opt/obsrvbl-ona/logs/pna -Z obsrvbl_ona (net 10.0.0.0/8) or (net 172.16.0.0/12) or (net 192.168.0.0/16)
user@example-ona:~#

命令的輸出顯示，PNA服務的進程ID為956和957，並且在ens192和ens224介面上監控私有地址範圍10.0.0.0/8、172.16.0.0/12和192.168.0.0/16。

注意：地址範圍和介面名稱可能因感測器的配置和部署而異

SSL錯誤

檢視/opt/obsrvbl-ona/logs/ona_service/ona-pna-pusher.log檔案，以瞭解 less /opt/obsrvbl-ona/logs/ona_service/ona-pna-pusher.log 指令。

提供了示例錯誤。

(Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1131)'))). 

運行 wget https://s3.amazonaws.com 命令並檢視輸出，檢視是否存在任何可能的HTTPS檢查。 

如果存在HTTPS檢查，請確保從任何檢查中移除感測器或將其放在允許清單中。