Le pare-feu cesse d'envoyer les journaux à SLS et la consommation de mémoire du processus logrcvr augmente lentement jusqu'à la condition OOM
6432
Created On 12/19/24 09:38 AM - Last Modified 06/12/25 03:40 AM
Symptom
- Le processus Logrcvr se développe lentement jusqu'au redémarrage en raison d'un OOM
- Journaux manquants sur SLS ou les journaux ne sont pas du tout envoyés par le pare-feu .
Environment
- Série NGFW 5200.
- PAN-OS inférieur à 10.2.14 ou 11.1.8.
- D’autres plateformes pourraient être impactées.
Cause
Le processus logrcvr devenait lent en raison d'un problème avec la file d'attente des tâches de compression, qui était bloquée en essayant de traiter les blocs de journaux dans un ordre incorrect, ce qui entraînait un arriéré perpétuel et faisait augmenter considérablement la taille du processus logrcvr au fil du temps et produisait des journaux perdus en raison de l'épuisement de la mémoire tampon.
Resolution
- Pour une solution permanente, effectuez une mise à niveau vers la version PAN-OS 10.2.14 ou 11.1.8 lorsqu'elle est disponible.
- Pour solution alternative, redémarrez le processus logrcvr à l'aide de la CLI de temps en temps pour effacer les arriérés de journaux et éviter le OOM.
debug software restart process log-receiverAdditional Information
Dans CLI, examinez les journaux suivants pour confirmer que certains journaux ne sont pas envoyés à SLS ou au collecteur de journaux :
> less mp-log lorcvr.log:
2024-09-26 18:57:52.217 +0200 Error: pan_logrcvr_enqueue_dp_block(pan_log_receiver.c:10208): Error submitting task for rb_taskq
2024-09-26 18:57:53.474 +0200 Error: pan_logrcvr_enqueue_dp_block(pan_log_receiver.c:10208): Error submitting task for rb_taskq
2024-09-26 18:57:55.174 +0200 Error: pan_logrcvr_enqueue_dp_block(pan_log_receiver.c:10208): Error submitting task for rb_taskq
2024-09-26 18:57:56.633 +0200 Error: pan_logrcvr_enqueue_dp_block(pan_log_receiver.c:10208): Error submitting task for rb_taskq
> debug log-receiver queue-stats
Logging statistics
------------------------------ -----------
Log incoming rate: 0/sec
Log written rate: 7504/sec
Logs discarded (queue full): 2439074 741
Ring buffer entries: 32768/32768 <<<<<< Ring buffer exhausted
> less mp-log mp-monitor.log - Look for the following log and review if it is growing:
Logs discarded (queue full): 2232890188
Logs discarded (queue full): 2303086554
Dans la CLI, examinez les journaux mp-monitor pour confirmer la croissance lente de la consommation de mémoire :
less mp-log mp-monitor.log.4 - The oldest one:
logrcvr 20957 0 kB 6967752 kB 9595032 kB 7239260 kB
-------------
less mp-log mp-monitor.log - The newest one:
logrcvr 20957 0 kB 7517344 kB 10063024 kB 7808804 kB