Fehlerbehebung bei der CPU-, Arbeitsspeicher- und Dateiauslastung in StarOS

Einleitung

In diesem Dokument wird beschrieben, wie die Ressourcennutzung einer Aufgabe in StarOS funktioniert. Außerdem finden Sie eine Liste von Protokollen, die erfasst werden müssen, um Probleme bei Ereignissen mit hoher CPU-/Speicher-/Dateiauslastung zu beheben. In StarOS weist das Ressourcenmanagement-Subsystem (resctrl / resmgr) jeder Aufgabe im System einen Satz von Ressourcenlimits zu. Er überwacht die Ressourcennutzung jedes Vorgangs, um sicherzustellen, dass er innerhalb des Limits bleibt. Wenn eine Aufgabe ihre Grenzen überschritten hat, werden Syslog- oder SNMP-Traps generiert, um den Netzwerkbetrieb zu benachrichtigen.

Mechanismus zur Ressourcenüberwachung

In StarOS werden zahlreiche Aufgaben ausgeführt, z. B. sessmgr/aaamgr/vpnmgr usw. Für jede Aufgabe wird ein Grenzwert für die CPU-/Arbeitsspeicher-/Dateiauslastung festgelegt, und die Grenzwerte werden vom Ressourcenmanagement überwacht. Die Limits können je nach Task-Typ (Sessmgr und Aaamgr haben unterschiedliche Limits), StarOS-Version und Hardware-Typ variieren. Außerdem werden die Grenzwerte vom System definiert und können von den Benutzern nicht konfiguriert werden.

Eine Beschreibung der einzelnen Aufgaben in StarOS finden Sie im Kapitel StarOS-Aufgaben des Systemverwaltungsleitfadens.

Die grundlegenden Informationen zur Ressourcennutzung finden Sie in der Ausgabe desshow task resourcesCLI-Befehls.

Es ist wichtig zu verstehen, dass der Zweck darin besteht, Ressourcen im Auge zu behalten, und die Aufgabenfunktionalität nicht einschränkt. Die Aufgabe muss auch dann noch funktionieren können, wenn sie mehr CPU/Arbeitsspeicher/Dateien verbraucht als das Limit. Syslog- und SNMP-Traps werden generiert, wenn der Grenzwert überschritten wird, weisen aber nicht immer auf ein Problem hin.

Mutmaßliche Ursache

In vielen Fällen stellt eine vorübergehende Erhöhung der Nutzung kein Problem dar. Wenn sie jedoch dauerhaft ist, z. B. bleibt die CPU-Auslastung einer Aufgabe bei 100 %, oder die Speichernutzung steigt und wird nie reduziert, müssen solche Fälle untersucht werden.

Die typischen Ursachen für eine vorübergehende Spitze sind:

• CLI-Befehl zur Erzeugung einer großen Ausgabe (CLI-Aufgabe)
• Menge der im System gespeicherten Protokollinformationen (evlogd-Aufgabe)
  
  

Folgende Fälle müssen untersucht werden:

• Hohe CPU-Auslastung, die durch den internen Infinite Loop verursacht wird (CPU-Auslastung bleibt bei 100 %)
• Die ständige Zunahme der Speichernutzung durch Speicherlecks oder -fragmentierung

Die Beispiele der SNMP-Traps in sessmgr, npudrv und CLI sind hier dargestellt:

Mon Aug 26 11:32:19 2013 Internal trap notification 1221 (MemoryOver) facility sessmgr instance 16 card 1 cpu 0 allocated 204800 used 220392
Mon Aug 26 11:32:29 2013 Internal trap notification 1222 (MemoryOverClear) facility sessmgr instance 16 card 1 cpu 0 allocated 1249280 used 219608

Fri Dec 20 13:52:20 2013 Internal trap notification 1217 (MemoryWarn) facility npudrv instance 401 card 5 cpu 0 allocated 112640 used 119588
Fri Dec 20 14:07:26 2013 Internal trap notification 1218 (MemoryWarnClear) facility cli instance 5011763 card 5 cpu 0 allocated 56320 used 46856

Wed Dec 25 12:24:16 2013 Internal trap notification 1220 (CPUOverClear) facility cli instance 5010294 card 5 cpu 0 allocated 600 used 272
Wed Dec 25 12:24:16 2013 Internal trap notification 1216 (CPUWarnClear) facility cli instance 5010294 card 5 cpu 0 allocated 600 used 272

Wed Dec 25 17:04:56 2013 Internal trap notification 1215 (CPUWarn) facility cli instance 5010317 card 5 cpu 0 allocated 600 used 595
Wed Dec 25 17:05:36 2013 Internal trap notification 1216 (CPUWarnClear) facility cli instance 5010317 card 5 cpu 0 allocated 600 used 220

CPU-Nutzung

Wenn die CPU-Taskauslastung nah genug an der Grenze ist oder diese überschreitet, werden die CPUWarn- und CPUOver-SNMP-Traps zusammen mit der Syslog-Warnung generiert.

SNMP-Traps

Internal trap notification 1215 (CPUWarn) facility sct instance 0 card 8 cpu 0 allocated 500 used 451
Internal trap notification 1219 (CPUOver) facility cli instance 5010046 card 5 cpu 0 allocated 600 used 609

Im Beispiel CPUOver verbraucht die Instanznummer 5010046 60,9 % der CPU-Auslastung, während der Grenzwert 60 % beträgt.

Syslog

[resmgr 14502 warning] [2/0/2352 _resource_cpu.c:2876] [software internal system] The task ipsecmgr-202 is over it's cputime limit. Allocated 50.0%, Using 51.8%

Anmerkung: Bei diesem Syslog handelt es sich um eine Warnstufe, die nicht mit der Standardprotokollierungseinstellung generiert wird. Wenn diese generiert werden muss, muss die Protokollierungseinstellung für resmgr als Warnung konfiguriert werden.

Arbeitsspeichernutzung

Wenn die Auslastung des Arbeitsspeichers nah genug ist oder den Grenzwert überschreitet, werden die Traps "MemoryWarn" und "MemoryOver SNMP" zusammen mit der Syslog-Warnung generiert.

SNMP-Traps

Internal trap notification 1217 (MemoryWarn) facility cli instance 5005588 card 5 cpu 0 allocated 66560 used 70212
Internal trap notification 1221 (MemoryOver) facility cli instance 5010046 card 5 cpu 0 allocated 66560 used 89940

Im Beispiel MemoryOver belegt die Instanznummer 5010046 89940 Speicher, während der Grenzwert 66560 beträgt.

Syslog

[resmgr 14500 warning] [8/0/4054 _resource_cpu.c:3622] [software internal system syslog] The task bulkstat-0 is over its memory limit. Allocated 46080K, Using 48120K

Anmerkung: Bei diesem Syslog handelt es sich um eine Warnstufe, die nicht mit der Standardprotokollierungseinstellung generiert wird. Wenn diese generiert werden muss, muss die Protokollierungseinstellung für resmgr als Warnung konfiguriert werden.