Troubleshooting de X3MDConnDown e X3MDConnUp Trap Observados no PGW
Contents
Introdução
Este documento descreve o processo para identificar a causa dos Traps X3MDConnDown e X3MDConnUp no Cisco Packet Data Network Gateway (PGW) após a atualização de 21.18.17 para 21.25.8 em grande número.
Pré-requisitos
Requisitos
A Cisco recomenda que você tenha conhecimento destes tópicos:
- StarOS/PGW
- Conhecimento da interface e funcionalidade X1, X2 e X3
- Conhecimento do estabelecimento de TCP para X3
Componentes Utilizados
As informações neste documento são baseadas nestas versões de software e hardware:
- Roteador de serviços de agregação (ASR) 5500 PGW
- Versões 21.18.17.79434 e 21.25.8.84257
As informações neste documento foram criadas a partir de dispositivos em um ambiente de laboratório específico. Todos os dispositivos utilizados neste documento foram iniciados com uma configuração (padrão) inicial. Se a rede estiver ativa, certifique-se de que você entenda o impacto potencial de qualquer comando.
Informações de Apoio
A solução Interceptação Legal tem três interfaces discretas entre o elemento de rede e o servidor de mediação para fornecer informações de provisionamento, dados de chamada (sinal) e conteúdo de chamada (mídia). Essas interfaces são criadas após o estabelecimento da conexão entre a Função de Entrega (DF) do servidor de mediação XCIPIO e a Função de Acesso (AF) do elemento de rede. A interface entre o servidor de mediação e o organismo de intercepção legal é normalizada. As interfaces entre AF e DF são definidas como:
- Interface X1 ou INI-1 para provisionamento de destinos
- Interface X2 ou INI-2 para fornecer informações de sinalização para o destino
- Interface X3 ou INI-3 para fornecer conteúdo de mídia ou chamada para o destino
Onde a interface X é definida pelo padrão 3GPP, enquanto o INI é definido pelo padrão ETSi.
Problema
Após a atualização do nó de 21.18.17 para 21.25.8, um alarme começou a vir para X3MDConnDown e X3MDConnUp em Bulk (cerca de 3000 em uma hora).
Formato de interceptação:
Mon Jul 04 00:44:15 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/41833 and Peer IP/port: x.x.x.x/7027 with cause: LI X3 CALEA Connection DownMon Jul 04 00:45:29 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/56805 and Peer IP/port: x.x.x.x/7027 with cause: LI X3 CALEA Connection UPDetalhes da interceptação no HRS:
O problema está destacado em vermelho nesta imagem:
Passos de Troubleshooting:
- Verifique os serviços em direção ao servidor LI, você não encontrará nenhum impacto.
- Os arquivos LI podem ser transferidos para o servidor LI.
- Ping e traceroute foram encontrados OK para o servidor LI.
- Nenhuma latência e queda de pacote foram observadas.
- Quando você tenta capturar o TCPdump em direção ao servidor LI, os pacotes unidirecionais são capturados no TCPdump do nó problemático.
Compare-o com o nó de trabalho e você verá o mesmo comportamento.
- Ao criar uma porta diferente no servidor LI, você observa que o problema permanece.
- Ao criar outro servidor e porta de teste LI, você observa o mesmo alarme no Gateway GPRS Support Node (GGSN).
- Ao capturar os rastreamentos adicionais, como o rastreamento de NPU-PAN, os comandos show e os logs de depuração, você verá que FIN ACK vem do servidor LI logo após o SYN do PGW e isso resulta em Traps X3MDConnDown eX3MDConnUp.
- De acordo com a equipe de Engenharia, a versão 21.25.8 reconhece o FIN ACK e gera o alarme X3MDConnDown e depois X3MDConnUp. Que não é visto em versões anteriores a 21.18.17.
- Um Temporizador de Pulsação (1m) alternativo foi habilitado no servidor GGSN e LI postar que o X3MDConnDown e o alarme X3MDConnUp está no controle. É reduzido de cerca de 3000 para 100 durante 1 dia.
- O nó é monitorado por 2 semanas e o X3MDConnDown e os alarmes X3MDConnUp ficaram sob controle.
Comandos utilizados
1. A partir desses comandos, os arquivos LI são transferidos para o servidor LI corretamente. Não há nenhum problema com a conexão TCP com o servidor LI.
show lawful-intercept full imsi <>
Por exemplo:
[lictx]GGSN# show lawful-intercept full msisdn XXXXXXXXX
Monday April 25 14:15:11 IST 2022
Username : -
ip-address : XXXXXXXX
msid/imsi : XXXXXXXXXXX
msisdn : XXXXXXXX
imei/mei : XXXXXXX
session : Session Present
service-type : pgw
pdhir : Disabled
li-context : lictx
intercept-id : 58707
intercept-key: -
Content-delivery: tcp-format
TCP connection info
State : ACTIVE
Dest. address: XX.XX.XX.XX Dest. Port: XXXX————>>
Num. Intercepted pkt for Active call: XXXX ——————>>
Event-delivery: tcp-format——>>
TCP connection info —————>>
State : ACTIVE————>>
Dest. address: XX.XX.XX.XX Dest. Port: XXXX————>>
Num. Intercepted pkt for Active call: 13 —————>>>
Provisioning method: Camp-on trigger
LI-index : 649
Estes comandos precisam de acesso de administrador LI para ver as saídas completas:
show lawful-intercept statistics
show lawful-intercept buffering-stats sessmgr all
show lawful-intercept statistics
show connection-proxy sockets all
show lawful-intercept error-stats
2. Colete estes logs de nível de depuração:
logging filter active facility dhost level debug
logging filter active facility li level debug
logging filter active facility connproxy level debug
logging filter active facility ipsec level debug
logging filter active facility ipsecdemux level debug
logging active pdu-verbosity 5
Logging active
No logging active
Aqui, você pode ver as informações de porta mudarem se não estiverem estáveis.
show dhost socket (in li context)
3. Entre no modo Oculto e vá para a tarefa Vetor Packet Processing (VPP) para verificar se os pacotes vêm para reconhecimento FIN (ACK).
[lictx]GGSN# debug shell
enter vppct (from deb shell, use cmd "vppctl")
vpp#show hsi sessions
Por exemplo:
[local]g002-laas-ssi-24# deb sh
Friday May 13 06:03:24 UTC 2022
Last login: Fri May 13 04:32:03 +0000 2022 on pts/2 from 10.78.41.163.
g002-laas-ssi-24:ssi# vppctl
vpp# sho hsi sessions
[s1] dep 1 thread 10 fib-index 6 dst-src [3.2.1.1:9002]-[3.1.1.1:42906]
[s2] dep 1 thread 9 fib-index 6 dst-src [3.2.1.1:9003]-[3.1.1.1:60058]
[s3] dep 1 thread 8 fib-index 6 dst-src [3.2.1.1:9004]-[3.1.1.1:51097]
[s4] dep 1 thread 6 fib-index 6 dst-src [3.2.1.1:9005]-[3.1.1.1:45619]
4. Mostrar logs de saída no contexto LI pode ser habilitado sob o comando test após você habilitar os logs de depuração.
show clock
show dhost sockets
show connection-proxy sockets all
show clock
5. Colete os detalhes de suporte do Show.
6. Colete o rastreamento de NPU-PAN para reconhecer que o pacote tem umconexão TCP bem-sucedida com o servidor LI.
Para desativar:
#configure
#no npumgr pan-trace
#npumgr pan-trace monitor none
#end
#show npumgr pan-trace configuration
#configure
#npumgr pan-trace acc monitor ipv4 id 1 protocol tcp sa X.X.X.X mask 255.255.255.255 da X.X.X.X mask 255.255.255.255
#npumgr pan-trace acc monitor ipv4 id 2 protocol tcp sa X.X.X.X mask 255.255.255.255 da X.X.X.X mask 255.255.255.255
#npumgr pan-trace limit 4096
#npumgr pan-trace
#end
(check if disabled/enabled, it should be enabled)
#show npumgr pan-trace configuration
Esse comando pode parar o rastreamento de plano de NPU, portanto, ele precisa ser reconfigurado para a próxima coleção.
#show npumgr pan-trace summary
(We can capture packets based on npu number which can be done during testing if possible)
#show npumgr pan-trace detail all
Exemplo de rastreamento de NPU:
3538 6/0/2 Non 6/15 fab 70 Jun 02 16:47:10.05443343 144 Eth() Vlan(2014) IPv4(sa=XX.XX.XX.147, da=XX.XX.XX.201) TCP(sp=7027, dp=46229, ACK FIN) [ vrf=8 strip=40 flow ] >> MEH(sbia=050717de, dbia=0603800e, flowid=62755625, In) IPv4(sa=XX.XX.XX.147, da=XX.XX.XX.201) TCP(sp=7027, dp=46229, ACK FIN)
Packet details :
Packet 3538:
SA [4B] = XX.XX.XX.147[0x0aa40693]
DA [4B] = XX.XX.XX.201[0x0aa91ec9]
source port [2B] = 0x1b73 (7027), dest port [2B] = 0xb495 (46229)
seqnum [4B] = 0xc9923207 (3381801479)
acknum [4B] = 0xbbd482ef (3151266543)
flags [6b] = 0x11 ACK FINSolução
Ative o tempo limite de mensagens de pulsação para 1 minuto em PGW & XX.XX.XX.147 (Servidor LI) com este comando:
lawful-intercept tcp application-heartbeat-messages timeout minutes 1Suponha que FIN ACK venha logo após o SYN do servidor LI. Nesse caso, o PGW não considera uma interface X3 inativa porque o heartbeat está habilitado 1 min no PGW e habilitado no servidor LI, o que indica que a conexão X3 está ATIVA quando o heartbeat está presente. Assim, os alarmes são reduzidos para X3MDConnDown e X3MDConnUp.
Análise de armadilha pré e pós-SSD:
Tendências das interceptações SNMP após Solução alternativa:
Mon Jul 04 00:44:15 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/41833 and Peer IP/port: 10.10.10.6/7027with cause: LI X3 CALEA Connection Down
Mon Jul 04 11:13:20 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/47122 and Peer IP/port: 10.10.10.6/7027with cause: LI X3 CALEA Connection Down
==========
Tue Jul 05 09:45:11 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/34489 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection Down
Tue Jul 05 09:45:56 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/51768 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP
Tue Jul 05 09:57:57 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/34927 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP
Tue Jul 05 17:10:30 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59164 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP
Tue Jul 05 17:11:00 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/52191 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP
Tue Jul 05 17:11:07 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/46619 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP
Tue Jul 05 17:14:23 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59383 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP
Tue Jul 05 17:17:31 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59104 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP
Este é o status das interceptações observadas pela última vez e observe que nenhuma interceptação nova é gerada.
[local]GGSN# show snmp trap statistics verbose | grep X3MDConn
Thursday July 21 12:36:38 IST 2022
X3MDConnDown 12018928 0 9689294 2022:07:05:11:36:23
X3MDConnUp 12030872 0 9691992 2022:07:05:17:17:31
[local]GGSN# show snmp trap history verbose | grep x.x.x.x
Thursday July 21 12:36:57 IST 2022
Histórico de revisões
| Revisão | Data de publicação | Comentários |
|---|---|---|
1.0 |
01-Aug-2022 |
Versão inicial |
Feedback