内容

はじめに

概要

前提条件

必要なログ

実施したトラブルシューティング

はじめに

このドキュメントでは、警告状態のIPsecmgr機能について説明します。

概要

IPsecmgrはセッションコントローラによって作成されます。Evolved Packet Data Gateway(ePDG)でセキュアなIKEv1、IKEv2、およびIPSecデータトンネルを確立し、管理します。

前提条件

次のノードおよびStarOS機能に関する知識があることが推奨されます。

- ePDG

- IPSecmgr機能

必要なログ

注：このような問題に対処するには、分析のためにログを収集する必要があります。

1. 警告状態のIPsecmgrファシリティを特定し、2つの良好なIPsecmgrインスタンスのヒープダンプと、ピーク時と非ピーク時の2つの不良インスタンスを収集します。

Show task resources

show messenger proclet facility ipsecmgr instance <instance number> heap depth 9

show messenger proclet facility ipsecmgr instance <instance number> system heap depth 9

show messenger proclet facility ipsecmgr instance <instance number> heap

show messenger proclet facility ipsecmgr instance <instance number> system

show messenger proclet facility ipsecmgr instance <instance number> graphs heap

show session subsystem facility ipsecmgr instance <instance number> debug-info verbose

show task resources facility ipsecmgr instance <instance number>

注:2つの機能しているIPsecmgrインスタンスと2つの障害のあるIPsecmgrインスタンスのログを収集します。毎回、インスタンス番号をIPsecmgrインスタンス番号に置き換えます。

2. 前の手順で収集したのと同じIPsecmgrインスタンスのコアファイルを収集します。

Login to hidden mode

Cli test-commands password <>

Task core facility ipsecmgr instance <instance number>

注：ヒープ出力が収集された同じインスタンス番号のコアファイルを収集します。

3. Show Support Details(SSD)データ、Simple Network Management Protocol(SNMP)トラップ、およびシステムログ(syslog)を収集します。

4. 1日中複数回のshow task resourceコマンドの出力を収集します。

注：コール数を減らした場合に、メモリが継続的に増加しているか減少しているかを判断する必要があります。

5. ノードで現在実行されているサービスを判別します。

Show resources

6. ノードで実行されている各サービスの加入者トレンドデータを2ヵ月間にわたって提供します。

たとえば、ePDGサービスの場合は、ePDG加入者トレンドが必要です。Mme-serviceの場合、mmeサブスクライバの傾向が必要です。

7. ネットワーク内で同一の構成とサービスが実行されている他のノードのSSDデータを提供します。

注：問題がノードにあるのか、ソフトウェアのバージョンにあるのかを判断する必要があります。

8. アップグレード後、ファシリティIPsecmgrは警告状態になり、アップグレード前とアップグレード後の両方で、複数のソリッドステートDr(SSD)データセットを共有します。

実施したトラブルシューティング

1. IPsecmgrのヒープダンプの分析を行う必要があります。この分析から、これらの上位2つの機能が大量のメモリを消費していることが判明しました。

プロセッサ

集約

%▴

ipm_databuf_alloc()

60900436

42.19

参考service_recovery_add_dest_handle()

17302140

11.99

ikev2_encode_alloc_opacket()

6319608

4.38

demuxmgr_init_smgr_pacing_queue_and_cache()

6258720

4.34

ipm_sad_ikesa_alloc()

6053856

4.19

注：ヒープ分析の出力から、関数がipm_databuf_alloc()に大量のメモリを消費していることが明らかです。

2. ePDGの1か月間の加入者トレンドは、トラフィックの増加が見られないため、トラフィックのトレンドは正常であることを示しています。

日付

測定レベル

ノード

ユーザ総数

2023-01-01

日レベル

XXX-XX:SGSN-MME-03

308580

2023-01-02

日レベル

XXX-XX:SGSN-MME-03

331166

2023-01-03

日レベル

XXX-XX:SGSN-MME-03

332424

2023-01-04

日レベル

XXX-XX:SGSN-MME-03

324741

2023-01-05

日レベル

XXX-XX:SGSN-MME-03

329006

2023-01-06

日レベル

XXX-XX:SGSN-MME-03

326667

2023-01-07

日レベル

XXX-XX:SGSN-MME-03

327323

2023-01-08

日レベル

XXX-XX:SGSN-MME-03

327922

2023-01-09

日レベル

XXX-XX:SGSN-MME-03

331701

2023-01-10

日レベル

XXX-XX:SGSN-MME-03

334258

2023-01-11

日レベル

XXX-XX:SGSN-MME-03

331070

2023-01-12

日レベル

XXX-XX:SGSN-MME-03

327105

2023-01-13

日レベル

XXX-XX:SGSN-MME-03

310919

2023-01-14

日レベル

XXX-XX:SGSN-MME-03

280490

2023-01-15

日レベル

XXX-XX:SGSN-MME-03

299159

2023-01-16

日レベル

XXX-XX:SGSN-MME-03

312329

2023-01-17

日レベル

XXX-XX:SGSN-MME-03

318370

2023-01-18

日レベル

XXX-XX:SGSN-MME-03

316067

2023-01-19

日レベル

XXX-XX:SGSN-MME-03

314299

2023-01-20

日レベル

XXX-XX:SGSN-MME-03

322221

2023-01-21

日レベル

XXX-XX:SGSN-MME-03

317145

2023-01-22

日レベル

XXX-XX:SGSN-MME-03

317951

2023-01-23

日レベル

XXX-XX:SGSN-MME-03

320670

2023-01-24

日レベル

XXX-XX:SGSN-MME-03

320466

2023-01-25

日レベル

XXX-XX:SGSN-MME-03

304693

2023-01-26

日レベル

XXX-XX:SGSN-MME-03

307049

2023-01-27

日レベル

XXX-XX:SGSN-MME-03

304500

2023-01-28

日レベル

XXX-XX:SGSN-MME-03

303082

2023-01-29

日レベル

XXX-XX:SGSN-MME-03

309391

2023-01-30

日レベル

XXX-XX:SGSN-MME-03

314559

2023-01-31

日レベル

XXX-XX:SGSN-MME-03

318688

2023-02-01

日レベル

XXX-XX:SGSN-MME-03

315274

2023-02-02

日レベル

XXX-XX:SGSN-MME-03

320590

2023-02-03

日レベル

XXX-XX:SGSN-MME-03

276683

2023-02-04

日レベル

XXX-XX:SGSN-MME-03

288478

2023-02-05

日レベル

XXX-XX:SGSN-MME-03

298212

2023-02-06

日レベル

XXX-XX:SGSN-MME-03

300505

2023-02-07

日レベル

XXX-XX:SGSN-MME-03

308763

2023-02-08

日レベル

XXX-XX:SGSN-MME-03

303933

2023-02-09

日レベル

XXX-XX:SGSN-MME-03

304191

2023-02-10

日レベル

XXX-XX:SGSN-MME-03

296049

2023-02-11

日レベル

XXX-XX:SGSN-MME-03

304243

2023-02-12

日レベル

XXX-XX:SGSN-MME-03

398876

2023-02-13

日レベル

XXX-XX:SGSN-MME-03

327081

2023-02-14

日レベル

XXX-XX:SGSN-MME-03

318326

2023-02-15

日レベル

XXX-XX:SGSN-MME-03

308936

2023-02-16

日レベル

XXX-XX:SGSN-MME-03

307454

2023-02-17

日レベル

XXX-XX:SGSN-MME-03

299155

2023-02-18

日レベル

XXX-XX:SGSN-MME-03

310671

2023-02-19

日レベル

XXX-XX:SGSN-MME-03

308271

2023-02-20

日レベル

XXX-XX:SGSN-MME-03

313036

2023-02-21

日レベル

XXX-XX:SGSN-MME-03

308364

2023-02-22

日レベル

XXX-XX:SGSN-MME-03

297624

2023-02-23

日レベル

XXX-XX:SGSN-MME-03

307631

2023-02-24

日レベル

XXX-XX:SGSN-MME-03

303706

2023-02-25

日レベル

XXX-XX:SGSN-MME-03

331917

2023-02-26

日レベル

XXX-XX:SGSN-MME-03

304802

2023-02-27

日レベル

XXX-XX:SGSN-MME-03

314204

2023-02-28

日レベル

XXX-XX:SGSN-MME-03

312129

2023-03-01

日レベル

XXX-XX:SGSN-MME-03

318518

2023-03-02

日レベル

XXX-XX:SGSN-MME-03

400818

2023-03-03

日レベル

XXX-XX:SGSN-MME-03

298952

2023-03-04

日レベル

XXX-XX:SGSN-MME-03

286058

2023-03-05

日レベル

XXX-XX:SGSN-MME-03

283346

2023-03-06

日レベル

XXX-XX:SGSN-MME-03

280037

2023-03-07

日レベル

XXX-XX:SGSN-MME-03

275515

2023-03-08

日レベル

XXX-XX:SGSN-MME-03

290489

2023-03-09

日レベル

XXX-XX:SGSN-MME-03

291972

2023-03-10

日レベル

XXX-XX-SGSN-MME-03

289658

2023-03-11

日レベル

XXX-XX:SGSN-MME-03

284311

2023-03-12

日レベル

XXX-XX:SGSN-MME-03

293878

2023-03-13

日レベル

XXX-XX:SGSN-MME-03

298662

2023-03-14

日レベル

XXX-XX:SGSN-MME-03

299430

2023-03-15

日レベル

XXX-XX:SGSN-MME-03

297959

2023-03-16

日レベル

XXX-XX:SGSN-MME-03

299208

2023-03-17

日レベル

XXX-XX:SGSN-MME-03

293534

2023-03-18

日レベル

XXX-XX:SGSN-MME-03

292673

2023-03-19

日レベル

XXX-XX:SGSN-MME-03

296111

2023-03-20

日レベル

XXX-XX-SGSN-MME-03

301181

2023-03-21

日レベル

XXX-XX:SGSN-MME-03

297604

2023-03-22

日レベル

XXX-XX:SGSN-MME-03

309897

2023-03-23

日レベル

XXX-XX:SGSN-MME-03

304351

2023-03-24

日レベル

XXX-XX:SGSN-MME-03

305605

2023-03-25

日レベル

XXX-XX:SGSN-MME-03

295694

2023-03-26

日レベル

XXX-XX:SGSN-MME-03

300188

2023-03-27

日レベル

XXX-XX:SGSN-MME-03

302467

2023-03-28

日レベル

XXX-XX:SGSN-MME-03

303965

2023-03-29

日レベル

XXX-XX:SGSN-MME-03

270432

2023-03-30

日レベル

XXX-XX:SGSN-MME-03

289729

2023-03-31

日レベル

XXX-XX:SGSN-MME-03

249336

2023-04-01

日レベル

XXX-XX:SGSN-MME-03

269109

2023-04-02

日レベル

XXX-XX:SGSN-MME-03

283437

2023-04-03

日レベル

XXX-XX:SGSN-MME-03

298453

2023-04-04

日レベル

XXX-XX:SGSN-MME-03

301649

2023-04-05

日レベル

XXX-XX:SGSN-MME-03

298797

2023-04-06

日レベル

XXX-XX:SGSN-MME-03

306610

2023-04-07

日レベル

XXX-XX:SGSN-MME-03

298449

2023-04-08

日レベル

XXX-XX:SGSN-MME-03

294205

2023-04-09

日レベル

XXX-XX:SGSN-MME-03

306048

2023-04-10

日レベル

XXX-XX:SGSN-MME-03

316718

2023-04-11

日レベル

XXX-XX:SGSN-MME-03

315327

2023-04-12

日レベル

XXX-XX-SGSN-MME-03

313059

3. 複数のソリッドステートドライブ(SSD)からshow task resourcesを収集しました。SSDデータに基づいて、これらのIPsecmgrインスタンスが警告状態であることが確認できます。

8/1 ipsecmgr 296 2.64% 50% 193.3M 191.0M 978 1500 1331 4700 - warn

8/2 ipsecmgr 363 2.51% 50% 194.1M 191.0M 854 1500 1304 4700 - warn

9/0 ipsecmgr 231 2.85% 50% 129.0M 191.0M 271 1500 1323 4700 - good

9/1 ipsecmgr 303 2.61% 50% 161.5M 191.0M 1141 1500 1322 4700 - good

9/2 ipsecmgr 381 2.46% 50% 192.9M 191.0M 839 1500 1312 4700 - warn

Note: This output is collected on 12th April at 8:40 PM

This output collected on the 13th April 8 PM.

8/1 ipsecmgr 296 2.61% 50% 193.3M 191.0M 985 1500 1221 4700 - warn

8/2 ipsecmgr 363 2.38% 50% 193.7M 191.0M 828 1500 1222 4700 - warn

9/0 ipsecmgr 231 2.40% 50% 129.0M 191.0M 1116 1500 1237 4700 - good

9/1 ipsecmgr 303 2.43% 50% 161.5M 191.0M 1120 1500 1220 4700 - good

9/2 ipsecmgr 381 2.23% 50% 192.9M 191.0M 829 1500 1228 4700 - warn

各インスタンスのコール数を減らしても、メモリの低下は見られません。たとえば、警告状態にあるIPsecmgrインスタンス296を調べると、4月13日にコール数は減少しましたが、メモリは減少しませんでした

4.show task resources一日を通じて収集されたデータは、コール数が減少した場合でもメモリが減少していないことを確認します。

5. アップグレード前のSSDデータから、メモリの増加がないことがわかります。これは、新しいソフトウェアに問題がある可能性を示唆しています。

分析に基づいて、IPsecmgrファシリティレベルでメモリリークが発生している可能性があります。サービスリクエスト(SR)を作成して、詳細な調査を行い、問題に対処します。