防火墙停止向 SLS 发送日志,并且 logrcvr 进程内存消耗缓慢增长,直至出现 OOM 情况

防火墙停止向 SLS 发送日志,并且 logrcvr 进程内存消耗缓慢增长,直至出现 OOM 情况

6370
Created On 12/19/24 09:38 AM - Last Modified 06/12/25 03:40 AM


Symptom


  • Logrcvr 进程缓慢增长,直到因 OOM 而重新启动
  • SLS 上缺少日志或防火墙根本没有发送日志。


Environment


  • NGFW 5200系列。
  • PAN-OS 低于 10.2.14 或 11.1.8。
  • 其他平台可能会受到影响。


Cause


由于压缩任务队列存在问题,logrcvr 进程变得迟缓,该队列卡在尝试以错误的顺序处理日志块,导致永久积压,并导致 logrcvr 进程的规模随着时间的推移而显著增长,并因缓冲区耗尽而丢失日志。



Resolution


  • 要获得永久修复,请升级到 PAN-OS 版本 10.2.14 或 11.1.8(如果可用)。
  • 作为一种解决方法,请不时使用CLI重新启动 logrcvr 进程以清除日志积压并避免 OOM。
debug software restart process log-receiver


Additional Information


在CLI中,查看以下日志以确认某些日志未被发送到 SLS 或日志收集器:

> less mp-log lorcvr.log:

2024-09-26 18:57:52.217 +0200 Error:  pan_logrcvr_enqueue_dp_block(pan_log_receiver.c:10208): Error submitting task for rb_taskq
2024-09-26 18:57:53.474 +0200 Error:  pan_logrcvr_enqueue_dp_block(pan_log_receiver.c:10208): Error submitting task for rb_taskq
2024-09-26 18:57:55.174 +0200 Error:  pan_logrcvr_enqueue_dp_block(pan_log_receiver.c:10208): Error submitting task for rb_taskq
2024-09-26 18:57:56.633 +0200 Error:  pan_logrcvr_enqueue_dp_block(pan_log_receiver.c:10208): Error submitting task for rb_taskq

> debug log-receiver queue-stats


Logging statistics
------------------------------ -----------
Log incoming rate:             0/sec
Log written rate:              7504/sec
Logs discarded (queue full):   2439074 741
Ring buffer entries:           32768/32768 <<<<<< Ring buffer exhausted

> less mp-log mp-monitor.log - Look for the following log and review if it is growing:

Logs discarded (queue full):   2232890188

Logs discarded (queue full):   2303086554

在CLI中,查看 mp-monitor 日志以确认内存消耗缓慢增长:

less mp-log mp-monitor.log.4 - The oldest one:
logrcvr              20957               0 kB      6967752 kB      9595032 kB      7239260 kB

-------------
less mp-log mp-monitor.log - The newest one:
logrcvr              20957               0 kB      7517344 kB     10063024 kB      7808804 kB



Actions
  • Print
  • Copy Link

    https://knowledgebase.paloaltonetworks.com/KCSArticleDetail?id=kA14u000000TpQzCAK&lang=zh_CN&refURL=http%3A%2F%2Fknowledgebase.paloaltonetworks.com%2FKCSArticleDetail

Choose Language