如何缓解“tcp_alloc_wqe_failed”全局计数器的异常增加
6359
Created On 11/03/23 20:27 PM - Last Modified 12/19/23 05:21 AM
Objective
缓解全局计数器的异常增加 tcp_alloc_wqe_failed 。
计数器说明：
当TCP（传输控制协议）WQE（工作队列条目）的分配失败时，此计数器 tcp_alloc_wqe_failed 递增，可能是由于数据平面（DP）的WQE池耗尽。
此分配失败可能是由于各种原因造成的，例如数据平面资源限制、内存限制或软件问题。
Environment
- 下一代防火墙
- tcp_alloc_wqe_failed
Procedure
- 检查当前数据平面资源，尤其是 WQE 池：
> debug dataplane pool statistics Hardware Pools [21] Blast Pool : 1024/1024 0x800000040f21d600 0 [22] LWM Pool : 1024/1024 0x800000040f25e900 0 [23] Timer Pool : 4093/4096 0x800000040f29fc00 0 [24] DFA Pool : 4096/4096 0x800000040f6a4800 0 [25] Output Buffer Po : 1024/1024 0x800000040faa9400 0 [26] WQE Pool : 60103/552960 0x800000038b0b1f80 0 <<<<<<<<< [27] ZIP Pool : 1023/1024 0x800000040fdfe800 0 [28] Dma Cmd Buffers : 1016/1024 0x800000038f440000 0 [29] PKI POOL DFLT : 53246/53248 0x800000038f568800 0 [30] PKO3 AURA : 34926/35506 0x8000000395dbd000 0 [31] SSO AURA : 1794/1890 0x800000039e896000 0
注意：此命令返回系统正在使用的所有缓冲区的状态及其状态：
左侧的数字表示仍有多少缓冲区可用。
右边的数字表示总大小。
如果 左边的数字 降至 0，则缓冲区已耗尽。 - 使用 CLI 跟踪 WQE 池使用情况：
grep pattern "Work Queue Entries" dp-log dp-monitor.log
其中 dp-log 可以替换为 mp-log、dp0-log、dp1-log 或 dp2.log，具体取决于 dp-monitor.log 的位置和 NGFW 平台的类型。- 如果存在任何资源泄漏、WQE 利用率高是在高流量期间或接收特定类型的流量时，这将有助于隔离问题。
- 使用“ ACC ”选项卡可以检查在 WQE 池高使用期间防火墙上接收的流量类型。
- 使用“流量日志：监控>日志>流量 ”选项卡可以检查在 WQE 池高使用期间防火墙上接收的流量类型。
- 查看整体数据平面资源使用情况，并监视接收的会话数和接收的流量类型：
show running resource-monitor show session info show system statistics session
- 如果满足 VM 系列系统要求，请检查 PA-VM，对于 NGFW 硬件平台，请考虑在必要时升级到更高容量的平台。
- 确保网络流量在网络设备和多 dp 平台的防火墙数据平面之间正确分布
- 优化网络流量，以减少无序 TCP 数据包和数据包碎片，因为这两个数据包可能是导致 WQE 池耗尽的主要原因。
- 确保防火墙运行的是指定为首选版本的 PAN-OS 版本之一，请参阅支持 PAN-OS 软件版本指南。
- 如果防火墙在执行上述步骤后仍遇到 WQE 分配失败问题，请 收集防火墙的技术支持文件，并考虑联系 Palo Alto Networks 客户支持团队。
Additional Information
工作队列条目 （WQE）
这种数据结构非常重要;它代表一个工作单元，并将包含用于确定 CPU 内核如何调度和处理数据包的信息。