Inhalt

Problem

Eine hohe CPU-Auslastung wurde auf FTD-Geräten beobachtet, was zu Verbindungsproblemen führte und den Zugriff von Benutzern auf kritische Geschäftsanwendungen verhinderte. Die Firewall wies einen erhöhten Datenpfad und eine erhöhte Snort-CPU-Auslastung auf, wobei Benutzer Latenzprobleme und vorübergehende Zugriffsprobleme aufwiesen. Die Untersuchung ergab eine große Anzahl embryonaler TCP-Verbindungen, wobei ein erheblicher Teil von internen Sicherheitsscannern stammte, was zu Ressourcenauslastung und Leistungseinbußen führte.

Umwelt

- Cisco Secure Firewall FirePOWER Threat Defense (FTD)

- Hardware: Cisco FirePOWER 1150

- Software-Version: 7.4.2.3

- Verwaltet von: Firepower Management Center (FMC)

- Konfiguration für hohe Verfügbarkeit (HA)

- Datapath und Snort CPU konsistent bei oder nahe 100 %

- Hohe Anzahl embryonaler TCP-Verbindungen durch interne Scanner

- Letzte Änderungen: Protokollsammlerkonfigurationen angewendet und zurückgesetzt; Bereitstellung von Zugriffsregeln; beobachtetes Failover-Ereignis

- Systeme, die als interne Qualys-Scanner identifizierte hohe Verbindungen erzeugen

Auflösung

Hohe CPU-Auslastung bei DATAPATH für die Datenverkehrsverarbeitung ermittelt.

device# show processes cpu-usage sorted non-zero

Hardware:   FPR-1150

Cisco Adaptive Security Appliance Software Version 9.20(2)43

ASLR enabled, text region 562a19048000-562a1e49126d

PC         Thread       5Sec     1Min     5Min   Process

-          -        99.7%    99.7%    99.7%   DATAPATH-4-22658

-          -        99.7%    99.7%    99.6%   DATAPATH-3-22657

-          -        99.7%    99.6%    99.6%   DATAPATH-2-22656

-          -        99.6%    99.7%    99.7%   DATAPATH-5-22659

-          -        97.5%    97.1%    97.1%   DATAPATH-1-22655

-          -        97.4%    97.1%    97.1%   DATAPATH-0-22654

0x0000562a1b8c55e3   0x0000151e97f523e0     1.1%     1.6%     1.6%   CP Processing

0x0000562a1d408771   0x0000151e97f434a0     0.4%     0.2%     0.0%   Unicorn Proxy Thread

0x0000562a1b6ba40a   0x0000151e97f3cb80     0.3%     0.3%     0.3%   appagent_async_client_receive_thread

0x0000562a1cfebc65   0x0000151e97f43f80     0.1%     0.1%     0.1%   IP SLA Mon Event Processor

0x0000562a1d328a89   0x0000151e97f64240     0.1%     0.1%     0.1%   lina logclient Rx data thread

0x0000562a1d72eb46   0x0000151e97f417a0     0.0%     0.1%     0.0%   cli_xml_request_process

0x0000562a1df983a5   0x0000151e97f69940     0.0%     0.1%     0.0%   Checkheaps

Aus der FTD-CLI wurde eine Ausgabe von show conn detail zur Überprüfung der Verbindungsstatistik durch interne Automatisierungstools exportiert.

ACHTUNG: Die Ausgabe von show conn detail aus der CLI kann extrem lang sein, wenn die Anzahl der Verbindungen über 100.000 liegt. Stellen Sie sicher, dass genügend Zeit für diese Sammlung zur Verfügung steht.

Die Datei disk0 entspricht dem Verzeichnis /mnt/disk0/ im FTD-Backend. Exportieren Sie die Datei entsprechend.

device# show conn detail | redirect disk0:/shconndetMMDDYY.txt

Überprüfen Sie die Verbindungsstatistiken aus den Ergebnissen des Werkzeugs für embryonale Verbindungen in hohen Mengen:

Total Emryonic Conns: 121611. This is 87.984% of the total conns (138219)

--

Top-5  Embryonic IPs (SYN, but not SYN/ACK - 'aA' flags) going through the device

IP                                            Count    Percent

--------------------------------------------------------------

10.5.30.77                                    81519    33.517%

10.1.30.102                                   40042    16.463%

10.1.212.14                                     907     0.373%

10.1.204.4                                      837     0.344%

10.1.21.122                                     804     0.331%

Nachdem die Quell-IPs identifiziert wurden (in diesem Fall die internen Sicherheitsscanner), verhindern Sie, dass die Quelle den Datenverkehr erzeugt, und löschen Sie die Verbindungen aus der FTD.

device# clear conn add 10.5.30.77

4563 connection(s) deleted.

device# show conn count

5936 in use, 465189 most used

Inspect Snort:

preserve-connection: 4451 enabled, 0 in effect, 432406 most enabled, 0 most in effect

Überwachen Sie die CPU-Auslastung nach der Risikominimierung, um sicherzustellen, dass die Ursache datenverkehrsinduziert war.

device# show cpu

CPU utilization for 5 seconds = 9%; 1 minute: 28%; 5 minutes: 70%

Die Datenverkehrsverbindung sollte wieder normal sein, und Latenzen sollten nicht mehr beobachtet werden.

Ursache

Die Ursache für hohe CPU- und Verbindungsprobleme waren übermäßige embryonale Verbindungen, die von internen Sicherheitsscannern erzeugt wurden. Diese Verbindungen, in erster Linie SYN-Pakete ohne entsprechende SYN/ACK-Antworten, überlasteten die FTD-Datenpfad- und Snort-Prozesse. Das hohe Volumen an unvollständigen Verbindungen führte zu einer Ressourcenauslastung, die zu einer anhaltend hohen CPU-Auslastung, intermittierenden Verbindungen und Auswirkungen auf den Zugriff geschäftskritischer Anwendungen führte.

Verwandte Inhalte

- Technischer Support und Downloads von Cisco