发送日志的延迟CDL到系统日志服务器
12076
Created On 03/20/23 18:48 PM - Last Modified 06/13/23 17:49 PM
Question
为什么我的系统日志服务器没有收到最新的日志?
Environment
发件人:Cortex数据湖
接收器:任何 Syslog 接收器,如 syslog-ng、Splunk、QRadar、Sentinel 等。
Answer
Cortex 数据湖(CDL ) 将开始将可用日志发送到在日志转发配置文件中配置的 Syslog 接收器,一旦您完成配置过滤器并保存配置文件。
有时您会看到 Syslog Server 中收到的日志可能不是最新的,而是前几个小时甚至前几天的日志。
这通常与 Syslog 服务器上的某种限制有关,阻止它处理日志量CDL正在发送。
一些常见的原因是:
- 最大日志速率:根据您在服务器上使用的供应商/应用程序,有一些与服务器可以处理的最大日志速率相关的规范,因此您需要检查并配置服务器上的参数以接受 500 条日志的批量大小, 或 2.25MB (500 个日志 x 4500B/日志 = 2.25MB)。 这不适用于 Google Chronicle,它只接受 1MB一次的数据量,或 250 条日志的批量大小。
- 服务器性能:您需要检查服务器上可用的资源(CPU ,RAM 、磁盘等)并确认是否有任何元素可能导致性能问题。
- 服务器无法处理流量:通常情况下,服务器不会从资源消耗中显示出任何显着价值,即使它无法处理流量。 您可以通过检查 Recv- 的状态来验证这是否是您的情况Q在您的服务器上;这可以通过运行来完成网络统计命令如下例所示:
> 网络统计-an | grep 6415
上面给出的命令的输出类似于下面所示的输出:
原接收-Q发送-Q本地地址 外国地址(州)
tcp4 3223 0 11.10.32.24.8002 11.10.32.12.64672ESTABLISHED
对于接收值Q应为 0,否则,您的服务器正在缓冲 Recv- 中的流量Q这意味着您的服务器无法处理收到的所有流量。 如果接收缓冲区Q耗尽,系统日志服务器将导致发送-Q在Cortex数据湖端增加并最终停止发送流量,直到 Recv-Q在 syslog 接收器服务器上被清除。