由于收集器组中的日志收集器之间的高延迟,日志转发延迟或缺少日志

由于收集器组中的日志收集器之间的高延迟,日志转发延迟或缺少日志

76107
Created On 12/28/18 08:30 AM - Last Modified 03/26/21 17:28 PM


Symptom


A 当收集组中的日志收集器之间的延迟大于 10 毫秒和/或记录率较高时,收集器组处理日志的能力可能会受到很大影响。 在这种情况下,转发日志时可能会看到缓慢或延迟。 在某些情况下,日志甚至可能丢失。

Environment


发生此问题的可能性更大的环境:
  • LC之间的延迟率很高——超过1000万的延迟可能会引发问题。
  • 高记录率–高端 PA- FW(7k), PA-5200 将日志转发到 LC 或许多防火墙转发日志
  • 已设置日志冗余。


Cause


在功能系统 firewall 中,转发根据日志转发首选项列表的配置登录到收集器组中的单个日志收集器。 接收日志的日志收集器进一步将这些日志平均分配给组中的其他日志收集器,以便存储在磁盘上。 接收日志收集器会缓冲日志,直到收到同行日志收集器的确认,以防通信故障需要再次发送日志。 如果此缓冲区已满,则无法再接收来自 firewall 。 

在处于压力之下的系统中(例如,在日志收集器之间的高记录率和高延迟下),确认包可能会延迟。 这反过来又导致接收日志收集器上的缓冲器达到最大容量。 当缓冲区处于最大容量时,日志收集器不会接受来自防火墙的其他日志。 这导致磁盘上日志存储的延迟,在极端情况下,日志丢失。 例如,如果 PA-5200 一个或一个 PA- 7K 的记录率可能非常高, firewall 则"日志缓冲区"可能会翻滚,导致日志丢失。

压力之下的系统检测

  1. 运行 CLI 诊断日志收集器日志收集统计显示传入日志

在接收日志的日志收集器上 firewall ,发布以下命令:

>> 调试日志收集器日志收集-统计信息显示传入日志

检查突出显示字段的输出:
每个目的地的 blk 发货统计数据 LC :
007307001057 (成功:3156, 失败:156543
007307001044 (成功:166874, 失败:0)


当问题存在时,远程日志收集器的故障计数不断增加。
 
  1. 运行网统计 CLI ,查看通信通道是否拥堵

在日志收集器上,运行以下两个网统计命令:

>显示网统计数字是程序是|匹配日志

如果 recv-q(第二列)显示大量数字,则系统很可能遇到此问题。

tcp 6100410 0 127.0.0.1:41742 127.0.1:泛 mgmtsrv ESTABLISHED

 

>显示网统计数字是程序是|匹配 <ip address of the other LC >

如果连接的 recv-q(第二列)和/或发送-q(第三列)显示大量数字,则系统很可能遇到问题。

tcp 4306978 162176 ::ff:10.:p安-米格姆特-间歇 :::ff:172.25.0.14:50471 ESTABLISHED



Resolution


解决 方案

确保日志收集器之间至少延迟 10ms。

解决 方案

  1. 关闭日志冗余 CG
冗余使 LC 之间的流量增加一倍。 减少流量可能有助于缓解压力。
  1. 打开数据间 LC 压缩

lc 之间的数据压缩默认为 8.1。 在 8.0 中,请打开组中所有 LC 上的 lc 之间的数据压缩:
调试日志收集器-日志收集器数据-压缩
软件重新启动过程已登录

没有操作影响,但可导致登录使用量的极小增加 CPU 。

  1. 将单个收集组拆分为多个收集组

它减少或在某些情况下完全消除日志间收集器通信,从而降低此问题的可能性。 只要所有日志收集器都启动并运行,它就没有操作影响。 如果其中一个日志收集器短暂下降,防火墙 PA- (7k 和除外 PA-5200 )将重新转发日志,日志不会丢失。 
注意:此解决方法将影响 PA- 7K 和 PA- 5200 年代的日志转发。 由于这些 FW 的缓冲能力和极高的记录速率,缓冲区可以满员,一旦日志恢复,它们可能无法将日志重新转发到日志收集器。


Additional Information


 

 


Actions
  • Print
  • Copy Link

    https://knowledgebase.paloaltonetworks.com/KCSArticleDetail?id=kA10g000000CmUnCAK&lang=zh_CN&refURL=http%3A%2F%2Fknowledgebase.paloaltonetworks.com%2FKCSArticleDetail

Choose Language