방화벽이 SLS로 로그를 보내는 것을 중지하고 logrcvr 프로세스 메모리 소모가 OOM 조건이 될 때까지 느리게 증가합니다.
6358
Created On 12/19/24 09:38 AM - Last Modified 06/12/25 03:40 AM
Symptom
- OOM으로 인해 재시작할 때까지 Logrcvr 프로세스가 느리게 성장함
- SLS에서 로그가 누락되었거나 방화벽 에서 로그가 전혀 전송되지 않습니다.
Environment
- NGFW 5200 시리즈.
- PAN-OS가 10.2.14 또는 11.1.8보다 낮습니다.
- 다른 플랫폼도 영향을 받을 수 있습니다.
Cause
압축 작업 대기열에 문제가 생겨서 logrcvr 프로세스가 느려지고 있었습니다. 압축 작업 대기열이 잘못된 순서로 로그 블록을 처리하려고 시도하면서 끊임없이 백로그가 발생하고, 이로 인해 logrcvr 프로세스의 크기가 시간이 지남에 따라 상당히 커지고 버퍼 고갈로 인해 로그가 손실되었습니다.
Resolution
- 영구적으로 해결하려면 PAN-OS 버전 10.2.14 또는 11.1.8이 출시되면 이 버전으로 업그레이드하세요.
- 이 회피 방법 하려면 CLI 사용하여 수시로 logrcvr 프로세스를 다시 시작하여 로그 백로그를 지우고 OOM을 방지하세요.
debug software restart process log-receiverAdditional Information
CLI 에서 다음 로그를 검토하여 특정 로그가 SLS 또는 로그 수집기로 전송되지 않는지 확인하세요.
> less mp-log lorcvr.log:
2024-09-26 18:57:52.217 +0200 Error: pan_logrcvr_enqueue_dp_block(pan_log_receiver.c:10208): Error submitting task for rb_taskq
2024-09-26 18:57:53.474 +0200 Error: pan_logrcvr_enqueue_dp_block(pan_log_receiver.c:10208): Error submitting task for rb_taskq
2024-09-26 18:57:55.174 +0200 Error: pan_logrcvr_enqueue_dp_block(pan_log_receiver.c:10208): Error submitting task for rb_taskq
2024-09-26 18:57:56.633 +0200 Error: pan_logrcvr_enqueue_dp_block(pan_log_receiver.c:10208): Error submitting task for rb_taskq
> debug log-receiver queue-stats
Logging statistics
------------------------------ -----------
Log incoming rate: 0/sec
Log written rate: 7504/sec
Logs discarded (queue full): 2439074 741
Ring buffer entries: 32768/32768 <<<<<< Ring buffer exhausted
> less mp-log mp-monitor.log - Look for the following log and review if it is growing:
Logs discarded (queue full): 2232890188
Logs discarded (queue full): 2303086554
CLI 에서 mp-monitor 로그를 검토하여 메모리 소비가 천천히 증가하는지 확인하세요.
less mp-log mp-monitor.log.4 - The oldest one:
logrcvr 20957 0 kB 6967752 kB 9595032 kB 7239260 kB
-------------
less mp-log mp-monitor.log - The newest one:
logrcvr 20957 0 kB 7517344 kB 10063024 kB 7808804 kB