Solucionar errores que pueden ocurrir mientras se procesa una acción de política de sincronización

Introducción

Este documento describe cómo podemos solucionar y resolver los errores de Cisco Policy Suite (CPS) relacionados con una acción de política de sincronización.

Prerequisites

Requirements

Cisco recomienda que tenga conocimiento sobre estos temas:

• Sistema operativo Linux
• Conjunto de políticas de Cisco

Componentes Utilizados

La información de este documento se basa en Cisco Policy Suite.

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. Si tiene una red en vivo, asegúrese de entender el posible impacto de cualquier comando.

Problema: Error al procesar una acción de política de sincronización

Errores observados en el archivo de registro /var/log/broadhop/consolidated-qns.log:

ERROR c.b.policy.impl.RulesPolicyService - An error occured while processing a Sync Policy Action.
com.broadhop.spr.exception.SubscriberException: Data store is not available: No master DB available: sessionmgrxx-SITE1:27720

ERROR c.b.policy.impl.RulesPolicyService - An error occured while processing a Sync Policy Action.
com.broadhop.spr.exception.SubscriberException: Duplicate Value for Unique Data Constraint: credential networkId: 61431792343

Ejemplo muestra el error en 2 sitios diferentes y 2 marcas de tiempo diferentes:

El tiempo de respuesta del diámetro puede aumentar ligeramente debido al error y también se pueden observar picos en el grafana.

SITE-1 consolidado-qregistros ns:

SITE1-qns11 2016-10-13 09:44:59,343 [pool-2-thread-1] ERROR c.b.policy.impl.RulesPolicyService - An error occured while processing a Sync Policy Action.
com.broadhop.spr.exception.SubscriberException: Data store is not available: No master DB available: sessionmgrxx-SITE1:27720
at com.broadhop.spr.dao.impl.mongo.MongoPersistence.searchSubscribers(MongoPersistence.java:433) ~[com.broadhop.spr.dao.mongo_2.3.6.r078013.jar:na]
SITE1-qns04 2016-10-13 10:42:03,629 [pool-2-thread-1] ERROR c.b.policy.impl.RulesPolicyService - An error occured while processing a Sync Policy Action.
SITE1-qns06 2016-10-13 10:47:20,555 [pool-3-thread-1] ERROR c.b.policy.impl.RulesPolicyService - An error occured while processing a Sync Policy Action.

 Registros de mongo SITE-1:

2016-10-13T08:22:02.330+1100 [conn15604045] command spr.$cmd command: count { count: "subscriber", query: { services_key.code_key: "HWBB" }, fields: {} } planSummary: COLLSCAN keyUpdates:0 numYields:2 locks(micros) r:1297276 reslen:48 700ms
2016-10-13T08:47:02.909+1100 [conn15605855] command spr.$cmd command: count { count: "subscriber", query: { services_key.code_key: "HWBB" }, fields: {} } planSummary: COLLSCAN keyUpdates:0 numYields:1 locks(micros) r:1095391 reslen:48 585ms
2016-10-13T09:37:02.563+1100 [conn15609536] command spr.$cmd command: count { count: "subscriber", query: { services_key.code_key: "HWBB" }, fields: {} } planSummary: COLLSCAN keyUpdates:0 numYields:0 locks(micros) r:519701 reslen:48 519ms
2016-10-13T09:52:02.472+1100 [conn15610667] command spr.$cmd command: count { count: "subscriber", query: { services_key.code_key: "HWBB" }, fields: {} } planSummary: COLLSCAN keyUpdates:0 numYields:1 locks(micros) r:1072306 reslen:48 564ms
2016-10-13T10:27:02.649+1100 [conn15613701] command spr.$cmd command: count { count: "subscriber", query: { services_key.code_key: "HWBB" }, fields: {} } planSummary: COLLSCAN keyUpdates:0 numYields:1 locks(micros) r:657876 reslen:48 504ms

 Registros SITE-2 consolidados-qns:

SITE2-qns04 2016-11-18 05:28:33,776 [pool-1361732-thread-1] ERROR c.b.policy.impl.RulesPolicyService - An error occured while processing a Sync Policy Action.
com.broadhop.spr.exception.SubscriberException: Duplicate Value for Unique Data Constraint: credential networkId: 61431792343
SITE2-qns09 2016-11-17 20:47:59,539 [pool-1361592-thread-1] ERROR c.b.policy.impl.RulesPolicyService - An error occured while processing a Sync Policy Action.
com.broadhop.spr.exception.SubscriberException: Duplicate Value for Unique Data Constraint: credential networkId: 61431792343
SITE2-qns06 2016-11-17 01:45:15,476 [pool-63652-thread-1] ERROR c.b.policy.impl.RulesPolicyService - An error occured while processing a Sync Policy Action.
com.broadhop.spr.exception.SubscriberException: Data store is not available: No master DB available: sessionmgr11-SITE1:27720
SITE2-qns12 2016-11-17 01:45:15,514 [pool-63484-thread-1] ERROR c.b.policy.impl.RulesPolicyService - An error occured while processing a Sync Policy Action.
com.broadhop.spr.exception.SubscriberException: Data store is not available: No master DB available: sessionmgr11-SITE1:27720
SITE2-qns10 2016-11-12 07:40:53,659 [pool-63538-thread-1] ERROR c.b.policy.impl.RulesPolicyService - An error occured while processing a Sync Policy Action.
com.broadhop.spr.exception.SubscriberException: Duplicate Value for Unique Data Constraint: credential networkId: 61431792343

"Se ha producido un error al procesar una acción de política de sincronización" por dos razones:

 1. MongoDB principal/principal no es accesible o está inactivo.
 2. Las instancias de Policy Server (QNS) no pueden acceder a la máquina virtual (VM) de sessionmgr debido a un problema de red.

Los registros indican que esto está relacionado con una fluctuación de la red, ya que las excepciones de acceso de VM de Sync Policy Action se pueden observar en la mayoría de las VM de QNS. Estas excepciones están relacionadas con la base de datos SPR maestra (sessionmgr11-SITE1:27720) que no se puede alcanzar. Durante la misma duración no se observan errores en los registros de MongoDB. Además, no se observó failover de base de datos primario a secundario durante el mismo período de tiempo.

Solución

Se han producido errores de "Acción de política de sincronización" en SITE1 y SITE2 debido a dos razones:

1.

SITE1-qns11 2016-10-13 09:44:59,343 [pool-2-thread-1] ERROR c.b.policy.impl.RulesPolicyService - An error occured while processing a Sync Policy Action.
com.broadhop.spr.exception.SubscriberException: Data store is not available: No master DB available: sessionmgrxx-SITE1:27720

"El almacén de datos no está disponible".  Esto se asemeja claramente al caso de fluctuaciones menores de la red que se resuelven en sucesiones rápidas:

2. 

SITE2-qns04 2016-11-18 05:28:33,776 [pool-1361732-thread-1] ERROR c.b.policy.impl.RulesPolicyService - An error occured while processing a Sync Policy Action.
com.broadhop.spr.exception.SubscriberException: Duplicate Value for Unique Data Constraint: credential networkId: 61431792343

"Valor duplicado para restricción de datos única" no tiene impacto en el sistema o los suscriptores, ya que esta excepción se observaría cuando se recibe una solicitud duplicada del PCEF.  La solicitud original ya se había cumplido.

Estos son los pasos que Cisco recomienda realizar cuando "El almacén de datos no está disponible" se observa en el archivo unified-qns.log.

Paso 1. Verifique la trayectoria de red o cualquier router entre las VM QNS y la VM sessionmgr11-SITE1VM.

Paso 2. Verifique el /var/log/messages de QNS VM y sessionmgr11-SITE1VM.

Paso 3. Verifique en el router a través del cual están conectadas las VM QNS y sessionmgr11-SITE1

Para confirmar que la excepción "almacén de datos no disponible" se produce mientras se intenta conectar cualquier instancia de la base de datos en sessionmgrxx-xxx:277xx puede ejecutar este comando durante toda la duración (puede ser de 24 horas) en la máquina virtual sessionmgrxx donde se está observando el problema de red.  El resultado se almacenará en /var/tmp/output.txt. 

while true; do netstat -apn | grep 27720; sleep 1 ; done | tee /var/tmp/output.txt

 Para detener la ejecución del comando netstat, simplemente deténgalo con CTRL C:

ctrl c

Nota En caso de que observe que hay un problema al conectar y reiniciar la conexión TCP en la sesión mgrxx-xxx. A continuación, necesitamos reparar la base de datos (DB), eliminando los datos y recreando la base de datos de los nodos secundarios.  ( enlace para reparar/recuperar la base de datos que se publicará - )