Inhoud

Inleiding

Achtergrond

Te onderzoeken stappen

Stap 1. Observeer de symptomen

KNI: Onvoldoende geheugenlogs

Fouten in EGTP-pad

Stap 2. Controleren op verslechtering van de gezondheid van het DICOM-netwerk

toon sessie herstel status breedsprakig

toon cloud monitor di-network details

controlevliegtuig voor cloudmonitor tonen

Toon cloud monitor dataplane

Stap 3. Controleer op Userspace KNI Drops

iftask stats weergeven

Stap 4. Controleer de hardwarestuurprogramma's

Samenvatting

Inleiding

In dit document wordt beschreven hoe u kunt bepalen of StarOS KNI: Out of Memory logs worden veroorzaakt door problemen in de StarOS-toepassing of door hardwarestuurprogramma's.

Achtergrond

De Kernel Network Interface (KNI) module, binnen het DPDK Internal Forwarder (IFTASK)-proces, is een mechanisme waarmee gebruikers-ruimteprogramma's pakketten rechtstreeks van een netwerkinterface kunnen ontvangen, waarbij het Linux-netwerk en de Linux IP-stack volledig worden omzeild.

KNI: Er worden waarschuwingssignalen geproduceerd die het aantal geheugenlogs beperken wanneer er een probleem is met de bronnenconflicten die van invloed zijn op de KNI-module.

1. Geheugenbuffers worden niet gewist op het niveau van het bare metaal (hardware), waardoor de buffer wordt overschreden.

2. De KNI-pools, waaruit de iftask de berichtbuffer voor deze pakketten toewijst, hebben geen ruimte meer.

3. De virtuele functie vraagt om meer pakketten, maar de fysieke functie antwoordt dat het niets heeft.

4. Zodra de KNI: Out of Memory-conditie zich voordoet, gaat de iftaak naar de back-upgeheugenpool om het pakket verder toe te wijzen en te verwerken. Als de back-uppool ook onvoldoende geheugen heeft, laat het systeem de pakketten vallen.

5. Omdat de iftask de burst van pakketten die afkomstig zijn van de kernel niet kan lezen, wordt het logboek van KNI: Out of Memory geproduceerd op de StarOS.

Triggers voor KNI: Onvoldoende geheugen:

Potentiële triggers voor de buffer overflow voorwaarde kunnen variëren, zoals het uitvoeren van SFTP of SCP applicaties of een zeer grote bestandsoverdracht tussen CF en SF kaarten.

Te onderzoeken stappen

Stap 1. Observeer de symptomen

Stap 2. Controleren op verslechtering van de gezondheid van het DICOM-netwerk

Stap 3. Controleer op Userspace KNI Drops

Stap 4. Controleer de hardwarestuurprogramma's

Stap 1. Observeer de symptomen

Correleer de timing van KNI: Out of Memory fouten met andere symptomen, zoals pakketverlies of applicatielaagdegradatie (egtpc-paduitval).

KNI: Onvoldoende geheugenlogs

- In de StarOS Syslogs, kunt u logboeken zien die erop wijzen dat de kernal-netwerkinterface uit geheugen is.

2023-Nov-16+09:18:03.205 [iftask 214701 error] [1/0/9602 <evlogd:0> evlgd_syslogd.c:236] [software internal system syslog] CPU[3/0]: Nov 16 14:18:03 iftask[7387]: KNI: Out of memory, kni port cpbond0, socket_id=0, total=-130952296, iter=27

- Als het reservegeheugen uitgeput is, kunt u foutmeldingen zien die erop wijzen dat het geheugen van de reservepool ook uitgeput is.

RTE_LOG(ERR, KNI, "Out of memory from Backup pool, kni port %s, socket_id=%d, total=%d, iter=%d\n", kni->name, rte_socket_id(), kni->oom_backup_warn, i)

- In de IFTask logboeken, gevonden in de tmp directory in de debug shell, kunt u de KNI waarnemen: Out of Memory fouten:

Wed Nov 15 17:20:30 2023 PID:7387 KNI: Out of memory, kni port cpbond0, socket_id=0, total=-759247296, iter=25

Fouten in EGTP-pad

- Pieken in gtpc-paduitval naar verschillende peers kunnen voorkomen met de oorzaak Geen reactie van peer kan optreden tijdens de tijd van de pakketverlies.

2023-10-23T00:14:33.813+00:00 Nodename evlogd: [local-60sec33.780] [egtpmgr 143137 info] [6/0/12364 <egtpegmgr:3> egtpmgr_pm.c:905] [context: mme_ctx, contextID: 3]  [software internal system critical-info syslog] context: mme_ctx, service : mme_svc_egtp, self addr: <X.X.X.X>, GTP-C path failure for peer <Y.Y.Y.Y>, peer session count marked: 0, egtpmgr state SRP_SESS_STATE_ACTIVE

Stap 2. Controleren op verslechtering van de gezondheid van het DICOM-netwerk

Bepaal welke verbindingen de degradatie hebben. Wanneer ze op een duurzame basis worden gezien, kunnen hogere drop-or-verliespercentages in DI-netwerk gezondheidsuitgangen wijzen op DI-netwerk configuratie of operationele problemen, verkeersoverbelasting, of VM of host problemen.

toon sessie herstel status breedsprakig

- Gebruik toon sessie herstel status breedsprakige outputs om te identificeren welke virtuele functiekaart fungeert als de demux kaart.

******** show session recovery status verbose *******

Tuesday October 24 11:23:45 EDT 2023

Session Recovery Status:

Overall Status        : Ready For Recovery

Last Status Update    : 1 second ago

----sessmgr---  ----aaamgr----  demux

cpu state    active standby  active standby  active  status

---- -------  ------ -------  ------ -------  ------  -------------------------

3/0 Active   24     1        24     1        0       Good

4/0 Active   24     1        24     1        0       Good

5/0 Active   24     1        24     1        0       Good

6/0 Active   0      0        0      0        10      Good (Demux)

7/0 Active   24     1        24     1        0       Good

8/0 Active   24     1        24     1        0       Good

9/0 Active   24     1        24     1        0       Good

10/0 Active   24     1        24     1        0       Good

11/0 Active   24     1        24     1        0       Good

12/0 Standby  0      24       0      24       0       Good

toon cloud monitor di-network details

- Gebruik uitgangen "toon cloud monitor di-network detail" om te identificeren welke DI-netwerk verbindingen tussen virtuele functiekaarten hebben druppels in hartslagen.

- Drops in hartslagen van CF en SF kaarten naar SF Card 6 worden getoond. De uitgangen voor CF- en SF-kaarten naar andere CF- en SF-kaarten laten geen hartslagdruppels zien.

******** show cloud monitor di-network detail *******

Tuesday October 24 11:23:51 EDT 2023

Card 1 Heartbeat Results:

ToCard   Health     5Min-Loss     60Min-Loss

------   -------    ---------     ----------

…

6      Good        0.00%         0.66%

…

Card 2 Heartbeat Results:

…

6       Bad       14.67%         3.50%

…

Card 3 Heartbeat Results:

…

6       Bad        5.35%         2.69%

…

Card 4 Heartbeat Results:

…

6      Good        0.00%         0.00%

…

Card 5 Heartbeat Results:

…

6       Bad       18.57%         3.90%

…

Card 6 Heartbeat Results:

…

1      Good        0.00%         0.90%

2       Bad       12.63%         3.31%

3       Bad        2.90%         2.14%

4      Good        0.00%         0.00%

5       Bad       13.09%         3.30%

7      Good        0.00%         0.00%

8       Bad        2.91%         2.20%

9      Good        0.00%         0.93%

10       Bad       14.28%         3.38%

11       Bad        3.67%         2.09%

12      Good        0.00%         0.00%

…

Card 7 Heartbeat Results:

…

6      Good        0.00%         0.00%

…

Card 8 Heartbeat Results:

…

6       Bad        7.47%         2.85%

…

Card 9 Heartbeat Results:

…

6       Bad        0.00%         1.07%

…

Card 10 Heartbeat Results:

…

6       Bad       16.01%         3.73%

…

Card 11 Heartbeat Results:

…

6       Bad        7.47%         2.71%

…

Card 12 Heartbeat Results:

…

6      Good        0.00%         0.00%

controlevliegtuig voor cloudmonitor tonen

- Gebruik tonen cloud monitor control outputs om te identificeren welke DI-netwerk verbindingen degradatie hebben.

******** show cloud monitor controlplane *******

Tuesday October 24 11:24:22 EDT 2023

Cards      15 Second Interval     5 Minute Interval    60 Minute Interval

Src  Dst    Xmit   Recv  Miss%    Xmit   Recv  Miss%    Xmit   Recv  Miss%

---  ---  ------ ------ ------  ------ ------ ------  ------ ------ ------

…

01   06      75     75   0.0%    1500   1500   0.0%   18000  17842   0.9%

…

02   06      75     75   0.0%    1500   1265  15.7%   18000  17546   2.5%

…

03   06      75     75   0.0%    1500   1396   6.9%   18000  17491   2.8%

…

04   06      75     75   0.0%    1500   1500   0.0%   18000  18000   0.0%

…

05   06      75     75   0.0%    1500   1267  15.5%   18000  17325   3.8%

…

06   01      75     75   0.0%    1500   1500   0.0%   18000  17823   1.0%

06   02      75     75   0.0%    1500   1301  13.3%   18000  17567   2.4%

06   03      75     75   0.0%    1500   1419   5.4%   18000  17561   2.4%

06   04      75     75   0.0%    1500   1500   0.0%   18000  18000   0.0%

06   05      75     75   0.0%    1500   1294  13.7%   18000  17579   2.3%

06   07      75     75   0.0%    1500   1500   0.0%   18000  18000   0.0%

06   08      75     75   0.0%    1500   1417   5.5%   18000  17565   2.4%

06   09      75     75   0.0%    1500   1500   0.0%   18000  17824   1.0%

06   10      75     75   0.0%    1500   1296  13.6%   18000  17573   2.4%

06   11      75     75   0.0%    1500   1422   5.2%   18000  17570   2.4%

06   12      75     75   0.0%    1500   1500   0.0%   18000  18000   0.0%

…

07   06      75     75   0.0%    1500   1500   0.0%   18000  18000   0.0%

…

08   06      75     75   0.0%    1500   1426   4.9%   18000  17545   2.5%

…

09   06      75     75   0.0%    1500   1500   0.0%   18000  17833   0.9%

…

10   06      75     75   0.0%    1500   1278  14.8%   18000  17369   3.5%

…

11   06      75     75   0.0%    1500   1408   6.1%   18000  17481   2.9%

…

12   06      75     75   0.0%    1500   1500   0.0%   18000  18000   0.0%

Toon cloud monitor dataplane

- Gebruik show cloud monitor dataplane poutputs om te identificeren welke DI-netwerk verbindingen degradaties hebben en om eenrichtingsdegradaties tussen virtuele functiekaarten te identificeren.

******** show cloud monitor dataplane *******

Tuesday October 24 11:21:46 EDT 2023

Cards      15 Second Interval     5 Minute Interval    60 Minute Interval

Src  Dst    Miss    Hit    Pct    Miss    Hit    Pct    Miss    Hit    Pct

---  ---  ------ ------ ------  ------ ------ ------  ------ ------ ------

…

06   01       0    150   0.0%       0   3000   0.0%       0  36000   0.0%

…

06   02       0    150   0.0%       0   3000   0.0%       0  36000   0.0%

…

06   03       0    150   0.0%       0   3000   0.0%       0  36000   0.0%

…

06   04       0    150   0.0%       0   3000   0.0%       0  36000   0.0%

…

06   05       1    149   0.7%       0   3001   0.0%       0  36000   0.0%

…

01   06       0    150   0.0%       0   3000   0.0%       0  36000   0.0%

02   06       0    150   0.0%     210   2790   7.0%    1015  34985   2.8%

03   06      31    119  20.7%     540   2460  18.0%     995  35005   2.8%

04   06      34    116  22.7%     554   2446  18.5%    1017  34983   2.8%

05   06       0    150   0.0%     213   2787   7.1%     991  35009   2.8%

07   06       0    150   0.0%       0   3000   0.0%     359  35641   1.0%

08   06      29    121  19.3%     546   2454  18.2%    1009  34991   2.8%

09   06       0    150   0.0%       0   3000   0.0%       0  36000   0.0%

10   06       0    150   0.0%     208   2792   6.9%     992  35008   2.8%

11   06      31    119  20.7%     548   2452  18.3%     993  35007   2.8%

12   06      34    116  22.7%     547   2453  18.2%    1001  34999   2.8%

…

06   07       0    150   0.0%       0   3000   0.0%       0  36000   0.0%

…

06   08       0    150   0.0%       0   3000   0.0%       0  36000   0.0%

…

06   09       0    150   0.0%       0   3000   0.0%       1  35999   0.0%

…

06   10       0    150   0.0%       0   3000   0.0%       0  36000   0.0%

…

06   11       0    150   0.0%       0   3000   0.0%       0  36000   0.0%

…

06   12       0    150   0.0%       0   3000   0.0%       0  36000   0.0%

Stap 3. Controleer op Userspace KNI Drops

iftask stats weergeven

- Verzamel toon iftask stats outputs meerdere malen om te verifiëren dat KNI druppels niet verhogen in de IFTASK gebruikersruimte applicatie niveau (StarOS).

******** show iftask stats *******

Tuesday October 24 11:22:06 EDT 2023

…

CARD 6 STATS

---------------------------------------------------------------------------

Counters  SF6   SF6_PPS

---------------------------------------------------------------------------

svc_rx                          2587301598                      2203

svc_tx                          548969428                       295

di_rx                           2260147059                      2258

di_tx                           4072038717                      3966

__ALL_DROPS__                   0                               0

svc_tx_drops                    0                               0

di_rx_drops                     0                               0

di_tx_drops                     0                               0

sw_rss_enq_drops                0                               0

kni_thread_drops                0                               0

kni_drops                       0                               0

mcdma_drops                     0                               0

mux_deliver_hop_drops           0                               0

mux_deliver_drops               0                               0

mux_xmit_failure_drops          0                               0

mc_dma_thread_enq_drops         0                               0

sw_tx_egress_enq_drops          0                               0

cpeth0_drops                    0                               0

mcdma_summary_drops             0                               0

fragmentation_err               0                               0

reassembly_err                  0                               0

reassembly_ring_enq_err         0                               0

__DISCARDS__                    241984                          0

__BOND_DISCARDS__               55282718                        142

…

TOTAL STATS

---------------------------------------------------------------------------

Counters TOTAL  TOTAL_PPS

---------------------------------------------------------------------------

svc_rx                          27964563261                     24791

svc_tx                          36109966153                     30168

di_rx                           74133486629                     51929

di_tx                           73958155063                     50897

__ALL_DROPS__                   0                               0

svc_tx_drops                    0                               0

di_rx_drops                     0                               0

di_tx_drops                     0                               0

sw_rss_enq_drops                0                               0

kni_thread_drops                0                               0

kni_drops                       0                               0

mcdma_drops                     0                               0

mux_deliver_hop_drops           0                               0

mux_deliver_drops               0                               0

mux_xmit_failure_drops          0                               0

mc_dma_thread_enq_drops         0                               0

sw_tx_egress_enq_drops          0                               0

cpeth0_drops                    0                               0

mcdma_summary_drops             0                               0

fragmentation_err               0                               0

reassembly_err                  0                               0

reassembly_ring_enq_err         0                               0

__DISCARDS__                    2324968                         0

__BOND_DISCARDS__               55635534                        149

-----------------------------------------------------------------------------------------------

NDR is      100.0000

CONTINUE_TRAFFIC

-----------------------------------------------------------------------------------------------

Stap 4. Controleer de hardwarestuurprogramma's

Met de toepassingslaag die van schuld wordt gezuiverd, concentreer me op onderliggende bestuurders op hardwareniveau om KNI te richten: Uit fouten van het Geheugen.

Omdat de bare-metal hardwaredriver een bepaalde hoeveelheid buffer toewijst voor elke virtuele functie, zijn problemen met de resourceptibiliteit meestal het gevolg van een driver mismatch of defecte drivers op hardwareniveau. De defecte hardwaredriver die de buffers toewees die nodig waren voor een applicatie liet het geheugen niet los.

Als virtualisatiesoftware en/of hardware van derden (niet-Cisco) in gebruik is, onderzoekt u de versies en stuurprogramma's op mogelijke compatibiliteitsfouten of -defecten.

Samenvatting

Om te bepalen of KNI: Out of Memory fouten worden veroorzaakt door processen op toepassingsniveau of door onderliggende hardwarestuurprogramma's, controleert u op bewijs van de achteruitgang van het DI-netwerk en gebruikersruimte KNI-druppels. Als de afbraak van het DI-netwerk bestaat zonder een overeenkomstige gebruikersruimte-afbraak van het KNI, kan worden geconcludeerd dat de oorzaak op hardwareniveau ligt. KNI: Onvoldoende geheugen fouten met ontgroening van hardwareniveau duiden op defecte hardwarestuurprogramma's.

Een offload van de node en het opnieuw laden van de host-computers waarop de aangetaste StarOS virtuele functie op toepassingsniveau zich bevindt, kan tijdelijk de geheugenbuffers op de onderliggende computer wissen, wat resulteert in een tijdelijke vermindering van fouten en pakketverlies. Dit is echter geen permanente oplossing! Packet loss en KNI: Onvoldoende geheugen-fouten komen terug, wanneer de buffer-overflow voorwaarde terugkomt op het defecte hardwarestuurprogramma.