Kube-Apisserverポッドの継続的な再起動のトラブルシューティング

概要

このドキュメントでは、kube-apiserverポッドの継続的な再起動を回復するソリューションについて説明します。

前提条件

要件

次の項目に関する知識があることが推奨されます。

• ドッカーとクベルネテス
• Cisco Subscriber Microservices Infrastructure(SMI)Ultra Cloud Core Common Execution Environment(CEE)

使用するコンポーネント

このドキュメントの情報は、Kubernetes v1.21.0バージョンに基づくものです。

このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、初期（デフォルト）設定の状態から起動しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。

kube-apiserverとは何ですか。

• Kubernetes Application programming interface(API)サーバは、ポッド、サービス、レプリケーションコントローラなどを含むAPIオブジェクトのデータを検証および構成します。API Serverは、REST(Presentation State Transfer)操作を提供し、クラスタの共有状態にフロントエンドを提供します。これにより、他のすべてのコンポーネントが対話します。 

• Kubernetes APIサーバは、要求を認証および検証し、etcdデータストアのデータを取得および更新する役割を担います。実際、kube-APIサーバは、etcdデータストアと直接対話する唯一のコンポーネントです。

• クラスタ内にポッドが作成されるときに、kube-APIサーバが実行する手順は次のとおりです。

a.ユーザの認証

b.要求を検証

c.データの取得

d.ETCDの更新

e.スケジューラ

f.クベレ

• スケジューラ、kube-controller-manager、およびkubeletなどの他のコンポーネントは、APIサーバを使用して、それぞれのエリアのクラスタで更新を実行します。

問題

kube-apiserver-smf-data-master-3の再起動が継続的に観察されます。この場合は、kubectl CLI kubectl get pods -A -o wideを実行します | grep apisserverを使用して問題を特定：

cloud-user@smf-data-master-1:~$ kubectl get pods -A -o wide | grep apiserver

kube-system      kube-apiserver-smf-data-master-1                   1/1     Running   4          68d    10.192.1.22       smf-data-master-1   <none>           <none>

kube-system      kube-apiserver-smf-data-master-2                   1/1     Running   4          68d    10.192.1.23       smf-data-master-2   <none>           <none>

kube-system      kube-apiserver-smf-data-master-3                   0/1     Running   2          68d    10.192.1.24       smf-data-master-3   <none>           <none>

cloud-user@smf-data-master-1:~$

これらのエラーはkubectl logs <kube-apiserver_pod_name> -n kube-systemで確認されました。

cloud-user@smf-data-master-1:~$ kubectl logs  kube-apiserver-smf-data-master-3 -n kube-system
E1116 20:09:52.635602       1 cacher.go:419] cacher (*core.Secret): unexpected ListAndWatch error: failed to list *core.Secret: unable to transform key "/registry/secrets/cee-dnceed21/alert-logger-sa-token-dzhkb": invalid padding on input; reinitializing...
E1116 20:09:53.691253       1 cacher.go:419] cacher (*core.Secret): unexpected ListAndWatch error: failed to list *core.Secret: unable to transform key "/registry/secrets/cee-dnceed21/alert-logger-sa-token-dzhkb": invalid padding on input; reinitializing...
E1116 20:09:54.751145       1 cacher.go:419] cacher (*core.Secret): unexpected ListAndWatch error: failed to list *core.Secret: unable to transform key "/registry/secrets/cee-dnceed21/alert-logger-sa-token-dzhkb": invalid padding on input; reinitializing...
E1116 20:09:55.808782       1 cacher.go:419] cacher (*core.Secret): unexpected ListAndWatch error: failed to list *core.Secret: unable to transform key "/registry/secrets/cee-dnceed21/alert-logger-sa-token-dzhkb": invalid padding on input; reinitializing...
E1116 20:09:56.865492       1 cacher.go:419] cacher (*core.Secret): unexpected ListAndWatch error: failed to list *core.Secret: unable to transform key "/registry/secrets/cee-dnceed21/alert-logger-sa-token-dzhkb": invalid padding on input; reinitializing...
E1116 20:09:57.906426       1 cacher.go:419] cacher (*core.Secret): unexpected ListAndWatch error: failed to list *core.Secret: unable to transform key "/registry/secrets/cee-dnceed21/alert-logger-sa-token-dzhkb": invalid padding on input; reinitializing...
E1116 20:09:58.963801       1 cacher.go:419] cacher (*core.Secret): unexpected ListAndWatch error: failed to list *core.Secret: unable to transform key "/registry/secrets/cee-dnceed21/alert-logger-sa-token-dzhkb": invalid padding on input; reinitializing...
E1116 20:10:00.027583       1 cacher.go:419] cacher (*core.Secret): unexpected ListAndWatch error: failed to list *core.Secret: unable to transform key "/registry/secrets/cee-dnceed21/alert-logger-sa-token-dzhkb": invalid padding on input; reinitializing...
E1116 20:10:01.084615       1 cacher.go:419] cacher (*core.Secret): unexpected ListAndWatch error: failed to list *core.Secret: unable to transform key "/registry/secrets/cee-dnceed21/alert-logger-sa-token-dzhkb": invalid padding on input; reinitializing...
E1116 20:10:02.206947       1 cacher.go:419] cacher (*core.Secret): unexpected ListAndWatch error: failed to list *core.Secret: unable to transform key "/registry/secrets/cee-dnceed21/alert-logger-sa-token-dzhkb": invalid padding on input; reinitializing...
E1116 20:10:03.256261       1 cacher.go:419] cacher (*core.Secret): unexpected ListAndWatch error: failed to list *core.Secret: unable to transform key "/registry/secrets/cee-dnceed21/alert-logger-sa-token-dzhkb": invalid padding on input; reinitializing...
E1116 20:10:04.313860       1 cacher.go:419] cacher (*core.Secret): unexpected ListAndWatch error: failed to list *core.Secret: unable to transform key "/registry/secrets/cee-dnceed21/alert-logger-sa-token-dzhkb": invalid padding on input; reinitializing...
E1116 20:10:05.363353       1 cacher.go:419] cacher (*core.Secret): unexpected ListAndWatch error: failed to list *core.Secret: unable to transform key "/registry/secrets/cee-dnceed21/alert-logger-sa-token-dzhkb": invalid padding on input; reinitializing...

回復するには、CLIのkube-apiserverポッドを再起動する必要があります。delete pod <kube-apiserver_pod_name> -n kube-systemを使用します。 

根本原因分析

さらに分析すると、kube-apiserverが継続的に再起動したmaster-3と他のマスターノードとの間の秘密の値の違いがこの問題を引き起こしたことが分かりました。 

From Master-1:

cloud-user@smf-data-master-1:~$ cat /data/kubernetes/secrets.conf

apiVersion: apiserver.config.k8s.io/v1

kind: EncryptionConfiguration

resources:

  - resources:

    - secrets

    providers:

    - aescbc:

        keys:

        - name: key1

          secret: BG5hleucjlD5ZDkFYUxoGLHHhBA/AeoNruHM0i70/ZI=   <<<<<<<<<<     

    - identity: {}

cloud-user@smf-data-master-1:~$




From Master-3:




cloud-user@smf-data-master-3:~$ cat /data/kubernetes/secrets.conf

apiVersion: apiserver.config.k8s.io/v1

kind: EncryptionConfiguration

resources:

  - resources:

    - secrets

    providers:

    - aescbc:

        keys:

        - name: key1

          secret: XK+7mbh3YEnMdqswtySQ1d6QRehg+K6/J1d2e3EnMvI=   <<<<<<<<

    - identity: {}

cloud-user@smf-data-master-3:~$

回復手順

1. リカバリの一環として、master-3の現在のシークレットをバックアップファイルにコピーします。

cloud-user@smf-data-master-3:~$ sudo cp /data/kubernetes/secrets.conf /data/kubernetes/secrets.conf-bkp

2.シークレットを編集し、Master-3で設定し、シークレットの値を他のマスターノードと同じ値に変更します。

cloud-user@smf-data-master-3:~$ sudo vim /data/kubernetes/secrets.conf

apiVersion: apiserver.config.k8s.io/v1

kind: EncryptionConfiguration

resources:

  - resources:

    - secrets

    providers:

    - aescbc:

        keys:

        - name: key1

          secret: XK+7mbh3YEnMdqswtySQ1d6QRehg+K6/J1d2e3EnMvI=     <----  Change this value to “BG5hleucjlD5ZDkFYUxoGLHHhBA/AeoNruHM0i70/ZI=“ as in other Master nodes

    - identity: {}

3. Master-3でkube-apiserverコンテナを再起動します。

cloud-user@smf-data-master-3:~$ sudo docker ps -f "name=k8s_kube-apiserver" -q | xargs sudo docker restart

チェック後

マスターからKubernetesを確認します。

cloud-user@pod-name-smf-master-1:~$ kubectl get pods -A -o wide | grep kube-apiserver

これで、すべてのポッドが起動し、再起動なしで実行する必要があります。