Troubleshooting de Degradação da Taxa de Sucesso de Anexo Inicial no ePDG

Introdução

Este documento descreve os problemas relacionados à degradação da taxa de sucesso de anexo inicial (ASR) no Evolved Packet Data Gateway (ePDG).

Overview

O ASR inicial é uma métrica vital que indica a taxa de sucesso do número total de tentativas de configuração de sessão.

A fórmula do KPI (Key Performance Indication) contém o número total de tentativas de configuração de sessão ePDG e o número total de tentativas de configuração de sessão ePDG bem-sucedidas. Se o número de tentativas bem-sucedidas diminuir, todo o KPI se degrada.

Pré-verificações Básicas

Para a funcionalidade do ePDG, o Internet Protocol Security (IPsec) é o processo que cuida das transações do IPsec. Portanto, para qualquer caso de ePDG, algumas das pré-verificações devem ser seguidas antes de você continuar a solucionar o problema.

1. Verifique o status da placa DPC como ipsecmgr é executado nessas placas. As placas DPC devem estar em um estado ativo (exceto placas de standby).

show card table

2. Verifique o status dos recursos para cada  sessmgr/ipsecmgr  para analisar se algum padrão anormal de fluxo de tráfego é observado em termos de número de sessões por  sessmgr/ipsecmgr  de cada placa ou se esses processos estiverem em estado de advertência/sobre. Por exemplo, nesta saída, você verá  ipsecmgr está em  over  como mostrado aqui.

[local]abc# show task resources | grep -v good
Thursday January 19 19:41:15 UTC 2023
                   task   cputime        memory     files      sessions
 cpu facility      inst  used  allc   used  alloc used allc  used  allc S status
----------------------- ----------- ------------- --------- ------------- ------
 3/0 ipsecmgr       261 0.28%   75% 383.4M 300.0M  196 1500    30  6000 -   over
 3/0 ipsecmgr       262 0.23%   75% 378.0M 300.0M  185 1500    28  6000 -   over
 3/0 ipsecmgr       263 0.46%   75% 382.7M 300.0M  197 1500    30  6000 -   over
 3/0 ipsecmgr       264 0.22%   75% 383.7M 300.0M  212 1500    27  6000 -   over
....

Aqui está um exemplo de  sessmgrs  executando nas placas 4 e 5 com distribuição desigual de sessões:

[local]xyx# show task resources max | grep -i sess
Monday February 17 21:52:38 UTC 2023
                   task   cputime        memory     files      sessions
4/0 sessmgr         45   12%  100% 429.9M  2.00G  129  500  4260 26000 I   good
 4/0 sessmgr         48   12%  100% 428.8M  2.00G  129  500  4267 26000 I   good
 4/0 sessmgr         49   12%  100% 428.5M  2.00G  129  500  4274 26000 I   good
 4/0 sessmgr         52   12%  100% 428.3M  2.00G  129  500  4258 26000 I   good
 5/0 sessmgr       5002 2.34%   50% 87.46M 190.0M   89  500    --    -- S   good
 5/0 sessmgr          2   12%  100% 458.5M  2.00G  107  500  9279 26000 I   good
 5/0 sessmgr          3   13%  100% 459.9M  2.00G  106  500  9281 26000 I   good

3. Verifique as estatísticas de criptografia se houver qualquer queda no nível de IPsec:

show crypto managers detail     ----------------- this command shows statistics per ipsec so we can check if any drops
show crypto statistics ikev2    ----------------- this command shows overall ikev2 statistics for EPDGs for different msg flows

Registros necessários

Alguns pontos para fazer uma melhor identificação e solução de problemas:

• Desde quando a ocorrência é vista (referente à data e hora exatas do início da ocorrência)
• Houve alguma alteração na rede ou na configuração?
• Fórmulas usadas para ASR no ePDG
• Quantos ePDGs existem no círculo afetado e entre eles está o problema observado em todos os ePDGs ou um EPD específico

Aqui estão os logs a serem coletados:

• Mostre os Detalhes de suporte (SSD) do nó antes do horário em que o problema começa, durante o problema e depois dele (se o problema não estiver mais ocorrendo).
• Syslogs para 1 semana antes do problema (para estudo comparativo), abrangendo o horário do problema e após o problema (se o problema não estiver mais ocorrendo).
• Armadilhas do protocolo de gerenciamento de rede simples (SNMP - Simple Network Management Protocol) por 1 semana antes do problema (para estudo comparativo), cobrindo o tempo do problema e depois dele (se o problema não estiver mais ocorrendo).
• Bulkstats 1 semana antes da emissão (para estudo comparativo), abrangendo o momento da emissão e após a emissão (se a emissão não estiver mais ocorrendo).
• Monsub deve ser recolhido de acordo com estas opções:

monitor subscriber with options S, X, A, Y, 19, 33, 34, 35, 26, 37, 40, 50, 88, 89. Collect traces at verbosity 5 for problematic and non-problematic number.

• 3 SSD num intervalo de 30-45 minutos para determinar a razão da rejeição.

• Você precisa comparar as configurações dos nós com e sem problemas.

show configuration

show configuration verbose

• Necessário para depurar logs:

logging filter active facility sessmgr level 
    
    
      logging filter active facility ipsec level 
     
       logging filter active facility ikev2 level 
      
        logging filter active facility epdg level 
       
         logging filter active facility diameter level 
        
          logging filter active facility egtpc level 
         
           logging active ------------------- to enable debug logs no logging active --------------- to disable debug logs Note :: Above mentioned debug logs are taken considering debug logs at the level of critical/error but we can capture at debug level also as per need basis e.g logging filter active facility egtpc level debug 
          
         
        
       
      
    

• A saída dos comandos que podem ser úteis para a solução de problemas:

show epdg-service all counters   
-> View ePDG service information and statistics

show epdg-service statistics     
-> View ePDG service statistics

show epdg-service session all    
-> View ePDG service session information

show egtpc statistics interface edpg-egress debug-info    
-> View egtpc statistics for  ePD-egress

show session [ disconnect-reasons | duration | progress | setuptime | subsystem ] 
-> iew additional session statistics.

show crypto statistics ikev2     
-> View IKEv2 statistics

show diameter aaa-statistics all 
->View Diameter AAA server statistics.

show subscribers epdg-only [ [ all ] | [ callid call_id ]]   
-> View a list of ePDG subscribers currently accessing the system.

show subscribers epdg-service service_name [ [ all ] | [ callid call_id ]] 
 ->View a list of ePDG subscribers currently accessing the system per ePDG service.

show crypto managers summary ipsec-sa-stats 
---Need to collect with some iterations to check ipsec associations stats

Análise 

Este é o exemplo de uma fórmula para a Taxa de Êxito de Sessões de Anexo Iniciais do ePDG:

Initial Attach Sessions Success Rate ==((totsetupsuccess / totsetupattempt )*100)

Na Referência de estatísticas e contadores - Descrições de estatísticas em massa, você pode encontrar os contadores que são usados na fórmula para saber seu significado.

epdg totsetup-attempt- Total number of epdg session setup attempts. Increments upon receiving IKE_AUTH (CFG_REQ) for ePDG session creation.

epdg totsetup-success Total number of epdg session setup success. Increments upon successful IPv4/IPv6/Dual Stack ePDG session call setup.                

No SSD, você pode ver a saída show crash list para ver se há algum número contínuo/alto de travamentos que levam à queda de KPI.

No SSD, você pode verificar show license info e show resource para ver se a licença não expirou ou se a contagem de sessões está dentro do limite.

******** show resources *******
Wednesday December 07 16:58:25 IST 2022
 EPDG Service:
    In Use              : 1118147
    Max Used            : 1450339 ( Tuesday November 29 00:06:00 IST 2022 )
    Limit               : 1600000
    License Status      : Within Acceptable Limits  >>>>>

Da saída do comando  show epdg-service statistics , o motivo da falha, que é incrementado, pode ser verificado.

******** show epdg-service statistics ******* 
Session Disconnect reason:
  Remote disconnect:          580994781   Admin disconnect:           168301    
  Idle timeout:               0           Absolute timeout:           0         
  Long duration timeout:      0           Session setup timeout:      169445470 
  No resource:                185148      Auth failure:               7634409   
  Flow add failure:           0           Invalid dest-context:       0         
  Source address violation:   42803       LMA Revocations(non-HO):    0         
  Duplicate Request:          19973167    Addr assign failure:        0         
  LTE/Other handoff:          1310701444  Miscellaneous reasons:      456928065 
  MIP-reg-timeout  :          0           Invalid-APN  :              0         
  ICSR Procedure   :          0           Local PGW Res. Failed :     10424     
  Invalid QCI :               0           UE Redirected :             0         
  Roaming Mandatory :         0           Invalid IMEI :              3    

A partir dos rastreamentos problemáticos, a razão para rejeições pode ser encontrada e pode ser comparada com o rastreio não problemático para qualquer discrepância.

Alguns dos cenários que você pode obter de rastreamentos:

No Caso-1 (diâmetro sem assinatura), após analisar os rastreamentos, observa-se que uma solicitação EAP de diâmetro é enviada ao servidor AAA. No entanto, a resposta recebida indica uma falha com o Código de Causa  DIAMETER_ERROR_USER_NO_APN_SUBSCRIPTION. Como resultado, o Serving Packet Data Gateway (SPGW) registra a mesma falha com o motivo da desconexão  diameter-no-subscription. Esse comportamento é considerado normal para um usuário sem uma assinatura, pois eles são rejeitados pelo servidor de autenticação, autorização e contabilização (AAA) no momento do processo.

No Caso 2 (Session-setup-timeout), ao analisar os rastreamentos, observa-se que a configuração da sessão está sendo rejeitada com o motivo da desconexão  Session-setup-timeout. Uma investigação mais aprofundada revelou que o ePDG está a  EGTP_CREATE_SESSION_REQUEST  ao SPGW, mas não recebe nenhuma resposta para o mesmo. Pode-se observar que três solicitações consecutivas são enviadas sem receber nenhuma resposta.

Solution : In such cases mostly need to check why SPGW is not sending any response towards EPDG because EPDG maintains this setup timer within which it needs to have the response

No Caso 3, uma solicitação com um nome de ponto de acesso (APN) específico está sendo enviada ao PGW, mas está sendo rejeitada com o código de causa  EGTP_CAUSE_USER_AUTHENTICATION_FAILED.

Solution : Here the issue can be either at HSS or EPDG itself need to check the authentication parameters being exchanged between EPDG/HSS/AAA          

Para investigar todos os casos mencionados, é necessário capturar logs de depuração para uma análise mais detalhada. Esses registros são examinados de acordo com o padrão 3GPP e, com base nos resultados, é possível determinar um plano de ação apropriado ou uma solução alternativa. É importante observar que o curso de ação pode variar dependendo do cenário específico.