防火墙停止向 SLS 发送日志,并且 logrcvr 进程内存消耗缓慢增长,直至出现 OOM 情况
6370
Created On 12/19/24 09:38 AM - Last Modified 06/12/25 03:40 AM
Symptom
- Logrcvr 进程缓慢增长,直到因 OOM 而重新启动
- SLS 上缺少日志或防火墙根本没有发送日志。
Environment
- NGFW 5200系列。
- PAN-OS 低于 10.2.14 或 11.1.8。
- 其他平台可能会受到影响。
Cause
由于压缩任务队列存在问题,logrcvr 进程变得迟缓,该队列卡在尝试以错误的顺序处理日志块,导致永久积压,并导致 logrcvr 进程的规模随着时间的推移而显著增长,并因缓冲区耗尽而丢失日志。
Resolution
- 要获得永久修复,请升级到 PAN-OS 版本 10.2.14 或 11.1.8(如果可用)。
- 作为一种解决方法,请不时使用CLI重新启动 logrcvr 进程以清除日志积压并避免 OOM。
debug software restart process log-receiverAdditional Information
在CLI中,查看以下日志以确认某些日志未被发送到 SLS 或日志收集器:
> less mp-log lorcvr.log:
2024-09-26 18:57:52.217 +0200 Error: pan_logrcvr_enqueue_dp_block(pan_log_receiver.c:10208): Error submitting task for rb_taskq
2024-09-26 18:57:53.474 +0200 Error: pan_logrcvr_enqueue_dp_block(pan_log_receiver.c:10208): Error submitting task for rb_taskq
2024-09-26 18:57:55.174 +0200 Error: pan_logrcvr_enqueue_dp_block(pan_log_receiver.c:10208): Error submitting task for rb_taskq
2024-09-26 18:57:56.633 +0200 Error: pan_logrcvr_enqueue_dp_block(pan_log_receiver.c:10208): Error submitting task for rb_taskq
> debug log-receiver queue-stats
Logging statistics
------------------------------ -----------
Log incoming rate: 0/sec
Log written rate: 7504/sec
Logs discarded (queue full): 2439074 741
Ring buffer entries: 32768/32768 <<<<<< Ring buffer exhausted
> less mp-log mp-monitor.log - Look for the following log and review if it is growing:
Logs discarded (queue full): 2232890188
Logs discarded (queue full): 2303086554
在CLI中,查看 mp-monitor 日志以确认内存消耗缓慢增长:
less mp-log mp-monitor.log.4 - The oldest one:
logrcvr 20957 0 kB 6967752 kB 9595032 kB 7239260 kB
-------------
less mp-log mp-monitor.log - The newest one:
logrcvr 20957 0 kB 7517344 kB 10063024 kB 7808804 kB