Fehlerbehebung zum Bereinigen der AMQP-Heartbeats-Warteschlange

Einführung

In diesem Dokument wird die Vorgehensweise zur Fehlerbehebung bei der Bereinigung der AMQP-Warteschlange (Advance Message Queuing Protocol) beschrieben.

Mitwirkende Aswathi Surendran, Gustavo Bell Cisco TAC Engineers.

Voraussetzungen

Anforderungen

Cisco empfiehlt, über Kenntnisse in folgenden Bereichen zu verfügen:

• Linux-Schnittstelle
• Umgebungen virtueller Systeme
• Kaninchen 

Verwendete Komponenten

Die Informationen in diesem Dokument basieren auf den folgenden Softwareversionen:

• CloudCenter Version 4.3.x bis 4.6.x
• CloudCenter Message Buss (RabbitMQ_Server)

Die Informationen in diesem Dokument wurden von den Geräten in einer bestimmten Laborumgebung erstellt. Alle in diesem Dokument verwendeten Geräte haben mit einer leeren (Standard-)Konfiguration begonnen. Wenn Ihr Netzwerk in Betrieb ist, stellen Sie sicher, dass Sie die potenziellen Auswirkungen eines Befehls verstehen.

 Hintergrundinformationen

  Die aktive Threadgröße des Pools beträgt 64, wobei die den Jobs entsprechenden Threads mehr als 3000 waren, die abgelehnt werden, da der Code nicht mehr als 64 Threads gleichzeitig verarbeiten kann. Daher wartet er darauf, dass die vorherige Aufgabe abgeschlossen wird und die andere Aufgabe ausgeführt wird.

Jede Aufgabe, die größer ist, als die, die ein ausgeführter ThreadPool verarbeiten kann, wird abgelehnt. 

Problem

der Fehler filecliqr-connection.log in /usr/local/tomcatgua/logs/report:

Caused by: org.springframework.core.task.TaskRejectedException: Executor [java.util.concurrent.ThreadPoolExecutor@6737f4fb[Running, pool size = 64, active threads = 64, queued tasks = 3000, completed tasks = 413]] did not accept task: org.springframework.aop.interceptor.AsyncExecutionInterceptor$1@6b0517b3 
at org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor.submit(ThreadPoolTaskExecutor.java:284) 
at org.springframework.aop.interceptor.AsyncExecutionAspectSupport.doSubmit(AsyncExecutionAspectSupport.java:186) 
at org.springframework.aop.interceptor.AsyncExecutionInterceptor.invoke(AsyncExecutionInterceptor.java:123) 
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:179) 
at org.springframework.aop.framework.JdkDynamicAopProxy.invoke(JdkDynamicAopProxy.java:208) 
at com.sun.proxy.$Proxy84.processMessage(Unknown Source) 
at com.osmosix.commons.messaging.listeners.impl.DefaultNodeMessageListener.handleMessage(DefaultNodeMessageListener.java:35) 
at sun.reflect.GeneratedMethodAccessor78.invoke(Unknown Source) 
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
at java.lang.reflect.Method.invoke(Method.java:497) 
at org.springframework.util.MethodInvoker.invoke(MethodInvoker.java:269) 
at org.springframework.amqp.rabbit.listener.adapter.MessageListenerAdapter.invokeListenerMethod(MessageListenerAdapter.java:383) 
... 12 more 
Caused by: java.util.concurrent.RejectedExecutionException: Task java.util.concurrent.FutureTask@3911a213 rejected from java.util.concurrent.ThreadPoolExecutor@6737f4fb[Running, pool size = 64, active threads = 64, queued tasks = 3000, completed tasks = 413] 
at java.util.concurrent.ThreadPoolExecutor$AbortPolicy.rejectedExecution(ThreadPoolExecutor.java:2047) 
at java.util.concurrent.ThreadPoolExecutor.reject(ThreadPoolExecutor.java:823) 
at java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:1369) 
at java.util.concurrent.AbstractExecutorService.submit(AbstractExecutorService.java:134) 
at org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor.submit(ThreadPoolTaskExecutor.java:281) 
... 23 more 
2016-10-19 02:32:32,205 INFO annotation.RequestMappingHandlerMapping [localhost-startStop-1] - Mapped "{[/image/service/dltargetlocal],methods=[POST]}" onto public java.util.Map<java.lang.String, ?> com.osmosix.gateway.image.transform.ImageTransformController.downloadToTargetLocal(com.osmosix.commons.image.transform.DownloadImageFileRequest) 
2016-10-19 02:32:32,206 WARN listener.ConditionalRejectingErrorHandler [SimpleAsyncTaskExecutor-1] - Execution of Rabbit message listener failed. 
org.springframework.amqp.rabbit.listener.exception.ListenerExecutionFailedException: Listener method 'handleMessage' threw exception 
at org.springframework.amqp.rabbit.listener.adapter.MessageListenerAdapter.invokeListenerMethod(MessageListenerAdapter.java:391) 
at org.springframework.amqp.rabbit.listener.adapter.MessageListenerAdapter.onMessage(MessageListenerAdapter.java:294) 
at org.springframework.amqp.rabbit.listener.AbstractMessageListenerContainer.doInvokeListener(AbstractMessageListenerContainer.java:757) 
at org.springframework.amqp.rabbit.listener.AbstractMessageListenerContainer.invokeListener(AbstractMessageListenerContainer.java:680) 
at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.access$001(SimpleMessageListenerContainer.java:93) 
at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer$1.invokeListener(SimpleMessageListenerContainer.java:183) 
at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.invokeListener(SimpleMessageListenerContainer.java:1352) 
at org.springframework.amqp.rabbit.listener.AbstractMessageListenerContainer.executeListener(AbstractMessageListenerContainer.java:661) 
at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.doReceiveAndExecute(SimpleMessageListenerContainer.java:1096) 
at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.receiveAndExecute(SimpleMessageListenerContainer.java:1080) 
at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.access$800(SimpleMessageListenerContainer.java:93) 
at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer$AsyncMessageProcessingConsumer.run(SimpleMessageListenerContainer.java:1197) 
at java.lang.Thread.run(Thread.java:745)

Auflösung

Schritt 1:  Melden Sie sich über SSH beim RabbitMQ-Server an.

Schritt 2: Wechseln Sie zum Stammbenutzer.

# sudo -i

Schritt 3: Aktivieren Sie das Management-Plugin.

# rabbitmq-plugins enable rabbitmq_management​ 

Schritt 4: Aktivieren Sie den Zugriff auf den Befehl rabbitmqadmin.  

# chmod +x `find /var/lib/rabbitmq/ -name "rabbitmqadmin"`
# ln -s `find /var/lib/rabbitmq/ -name "rabbitmqadmin"` /usr/sbin

Schritt 5: RabbitMQ kann über GUI aufgerufen werden.

http://
       
       
         :15672 (username=cliqr password=cliqr) 
       

Hinweis: Ersetzen Sie RabbitMQ_Server_IP in der Konfiguration durch Ihre RabbitMQ-Serveradresse.

Navigieren auf der Registerkarte Warteschlangen, um Details anzuzeigen

oder

CLI:

# rabbitmqadmin -V /cliqr -u cliqr -p cliqr list queues
# rabbitmqadmin -V /cliqr -u cliqr -p cliqr list exchanges
# rabbitmqadmin -V /cliqr -u cliqr -p cliqr list channels

Schritt 6: So löschen Sie die Gateway-Heartbeat-Warteschlange.

#rabbitmqadmin -V /cliqr delete queue name=cliqr.gateway.heartbeat.queue --username=cliqr --password=cliqr

Schritt 7:  Starten Sie den Tomcat-Dienst in RabbitServer neu.

#/etc/init.d/tomcatgua stop
#/etc/init.d/tomcatgua start

  

Hinweis: Wenn cliqr.gateway.heartbeat.queue fehlt, starten Sie den CCO-Tomcat-Dienst wie folgt neu:

Schritt 8:  Melden Sie sich über SSH beim CCO-Server an.

Schritt 9: Wechseln Sie zum Stammbenutzer.

# sudo -i

Schritt 10: Starten Sie den Tomcat-Server neu.

#/etc/init.d/tomcat stop
#/etc/init.d/tomcat start