PCFでのSplunk接続の問題のトラブルシューティング

はじめに

このドキュメントでは、Cloud Native Deployment Platform(CNDP)PCFで見られるSplunkの問題をトラブルシューティングする手順について説明します。

前提条件

要件

次の項目に関する知識があることが推奨されます。
・ポリシー制御機能(PCF)
・ 5G CNDP
・DockersおよびKubernetes

使用するコンポーネント

このドキュメントの情報は、次のソフトウェアとハードウェアのバージョンに基づいています。
・ PCF REL_2023.01.2
・ Kubernetes v1.24.6

このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、クリアな（デフォルト）設定で作業を開始しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。

背景説明

この設定では、CNDPはPCFをホストします。

Splunk Serverは、Splunkソフトウェアプラットフォームのコアコンポーネントです。これは、マシンで生成されたデータを収集、インデックス作成、検索、分析、視覚化するためのスケーラブルで強力なソリューションです。

Splunk Serverは、ログ、イベント、メトリック、その他のマシンデータなど、さまざまなソースからのデータを処理できる分散システムとして動作します。Webベースのユーザインターフェイスを通じて、データの収集と保存、リアルタイムのインデックス作成と検索の実行、洞察の提供を行うインフラストラクチャを提供します。

PCF Ops-Center for Splunkの接続ダウン時にアラートルールが存在する

alerts rules group splunk-forwarding-status-change 
rule splunk-forwarding-status-change 
expression "splunk_log_forwarding_status== 1" 
duration 1m 
severity major 
type "Equipment Alarm" 
annotation description 
value "splunk-forward-log Down"

注:Splunk接続の問題を効果的にアラートするために、このルールがPCFオペレーションセンターに存在することを確認する必要があります。

問題

Common Execution Environment(CEE)Ops-Center for Splunkの転送障害に関するアラートが表示されます。

Command:
cee# show alerts active summary summary
Example:
[pcf01/pcfapp] cee# show alerts active summary
NAME UID SEVERITY STARTS AT DURATION SOURCE SUMMARY 
----------------------------------------------------------------------------------------------------------
splunk-forwarding-sta 23df441759f5 major 05-12T22:47:21 43h33m50s pcf-master-3 Unknown
splunk-forwarding-sta 0bf8ad5f91f1 major 05-12T19:07:51 3h20m20s pcf-master-2 Unknown
splunk-forwarding-sta 612f428fa42e major 05-09T06:43:01 70h32m40s pcf-master-2 Unknown
splunk-forwarding-sta 23df441759f5 major 05-12T22:47:21 43h33m50s pcf-master-3 Unknown

トラブルシュート

ステップ 1：マスターノードに接続し、consolidated-logging-0 ポッドステータスを確認します。

Command:
cloud-user@pcf01-master-1$ kubectl get pods -A |grep consolidated-logging-0
Example:
cloud-user@pcf01-master-1:~$ kubectl get pods -A -o wide | grep consolidated-logging-0
NAMESPACE NAME READY STATUS RESTARTS AGE
pcf-pcf01 consolidated-logging-0 1/1 Running 0 2d22h xxx.xxx.x.xxx pcf01-primary-1 <none> <none>
cloud-user@pcf01-master-1:~$

ステップ 2：次のコマンドを使用して統合ポッドにログインし、Splunk接続を確認します。
ポート8088で接続が確立されているかどうかを確認するには、次のコマンドを使用できます。

cloud-user@pcf01-master-1:~$ kubectl exec -it -n pcf-pcf01 consolidated-logging-0 bash
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
groups: cannot find name for group ID 303
I have no name!@consolidated-logging-0:/$
I have no name!@consolidated-logging-0:/$
I have no name!@consolidated-logging-0:/$ netstat -anp | grep 8088
I have no name!@consolidated-logging-0:/$
I have no name!@consolidated-logging-0:/$

ステップ 3：Splunkへの接続がない場合は、PDF Ops-Centerで設定を確認します。

cloud-user@pcf01-master-1:~$ ssh -p 2024 admin@$(kubectl get svc -A -o wide |grep 2024 | grep ops-center-pcf | awk '{ print $4}')
[pcf01/pcfapp] pcf#show running-config| include splunk 
[pcf01/pcfapp] pcf# debug splunk hec-url https://xx.xxx.xxx.xx:8088
[pcf01/pcfapp] pcf# debug splunk hec-token d3a6e077-d51b-4669-baab-1ddf19aba325
[pcf01/pcfapp] pcf#

ステップ 4：接続が確立されない場合は、consolidated-logging-0 ポッドを再作成します。

cloud-user@pcf01-master-1:~$ kubectl delete pod -n pcf-pcf01 consolidated-logging-0

ステップ 5：削除後にconsolidated-logging-0、ポッドを確認します。

cloud-user@pcf01-master-1:~$ kubectl get pods -A | grep consolidated-logging-0

手順 6：ポッドに接続しconsolidated-logging、ポート8088への接続を実行しnetstat、Splunk接続が確立されたことを確認します。

cloud-user@pcf01-master-1:$ kubectl exec -it -n pcf-wscbmpcf consolidated-logging-0 bash
I have no name!@consolidated-logging-0:/$ netstat -anp | grep 8088
tcp 0 0 xxx.xxx.xx.xxx:60808 xx.xxx.xxx.xx:8088 ESTABLISHED 1/java
tcp 0 4957 xxx.xxx.xx.xxx:51044 xx.xxx.xxx.xx:8088 ESTABLISHED 1/java
tcp 0 4963 xxx.xxx.xx.xxx:59298 xx.xxx.xxx.xx:8088 ESTABLISHED 1/java
tcp 0 0 xxx.xxx.xx.xxx:34938 xx.xxx.xxx.xx:8088 ESTABLISHED 1/java
tcp 0 0 xxx.xxx.xx.xxx:43964 xx.xxx.xxx.xx:8088 ESTABLISHED 1/java