Protokollweiterleitungsverzögerungen oder fehlende Protokolle aufgrund einer hohen Latenz zwischen Protokollsammlern in einer Collector-Gruppe
Symptom
A Die Fähigkeit der Collector Group, Protokolle zu verarbeiten, kann stark beeinträchtigt werden, wenn die Latenz zwischen Protokollsammlern in der Collector-Gruppe größer als 10 ms ist und/oder wenn die Protokollierungsrate hoch ist. Unter solchen Bedingungen kann beim Weiterleiten von Protokollen eine Langsamkeit oder Verzögerung auftreten. In einigen Fällen können Protokolle sogar verloren gehen.
Environment
Umgebungen, in denen dieses Problem wahrscheinlicher auftritt:
- Die Latenz ist zwischen LCs hoch – eine Latenz von mehr als 10 ms könnte das Problem auslösen.
- Hohe Protokollierungsrate – High-End-FWs ( PA- 7k, PA-5200 ), Weiterleitung von Protokollen an LC oder viele Firewalls, die Protokolle weiterleiten
- Protokollredundanz ist festgelegt.
Cause
In einem funktionierenden System leitet ein firewall Protokoll an einen einzelnen Protokollsammler in einer Collector-Gruppe basierend auf der Konfiguration seiner Protokollweiterleitungseinstellungsliste weiter. Der Protokollsammler, der die Protokolle empfängt, verteilt diese Protokolle gleichmäßig an andere Protokollsammler in der Gruppe zum Speichern auf dem Datenträger. Der empfangende Protokollsammler puffert die Protokolle, bis er eine Bestätigung vom Peerprotokollsammler erhält, falls ein Kommunikationsfehler erfordert, dass die Protokolle erneut gesendet werden. Wenn dieser Puffer aufgefüllt wird, kann er keine Protokolle mehr von der firewall empfangen.
In einem unter Druck stehenden System (z. B. bei hoher Protokollierungsrate und hoher Latenz zwischen Protokollsammlern) können die Bestätigungspakete verzögert werden. Dies wiederum bewirkt, dass Puffer auf dem empfangenden Protokollkollektor die maximale Kapazität erreichen. Puffer sind zwar mit maximaler Kapazität vorhanden, der Protokollsammler akzeptiert jedoch keine zusätzlichen Protokolle von Firewalls. Dies führt zu Verzögerungen bei der Speicherung von Protokollen auf der Festplatte und im Extremfall zu einem Verlust von Protokollen. Bei einem oder einem PA-5200 PA- 7K, der sehr hohe Protokollierungsraten aufweisen kann, kann der Protokollpuffer von firewall überrollen, was zu einem Verlust von Protokollen führen kann.
Erkennung eines Systems unter Stress
Ausführen CLI von Debugprotokoll-Collector-Log-Collection-Statistiken zeigen eingehende Protokolle an
> Debug Log-Sammler Log-Collection-stats anzeigen eingehende Protokolle
blk shipping stats per destination LC :
007307001057(Erfolge:3156, Fails:156543)
007307001044(Erfolge:166874, Fails:0)
Wenn das Problem besteht, erhöht sich die Anzahl der Fehler für den Remote-Protokollsammler ständig.
Führen Sie die netstat CLI 's aus, um zu sehen, ob der Kommunikationskanal überlastet ist
> netstat numerisch ja Programm ja | Übereinstimmung protokolliert
tcp 6100410 0 127.0.0.1:41742 127.0.0.1:pan-mgmtsrv ESTABLISHED
> netstat numerisch ja Programm ja | Match <ip address of the other LC >
tcp 4306978 162176 ::ffff:10.:p an-mgmt-interlc ::ffff:172.25.0.14:50471 ESTABLISHED
Resolution
lösung
Stellen Sie eine Latenz von mindestens 10 ms zwischen Protokollsammlern sicher.Problemumgehung
- Deaktivieren Sie die Log-Redundanz für CG
LCInter-Datenkomprimierung aktivieren
Die Datenkomprimierung für inter-lc ist standardmäßig für 8.1. Gehen Sie in 8.0 wie folgt vor, um die Datenkomprimierung für die Kommunikation zwischen den Lc-Dateien auf allen LCs in der Gruppe zu aktivieren:
Debuglog-Collector-Datenkomprimierungs-Debug-Debug-Software-Neustartprozess für den Debug-Protokoll-Neustartvorgang
protokolliert.
CPU
Aufteilen einer einzelnen Collector-Gruppe in mehrere Collector-Gruppen
Hinweis: Diese Problemumgehung wirkt sich auf die Protokollweiterleitung von PA- 7K und PA- 5200s aus. Aufgrund der Pufferfunktion und der extrem hohen Protokollierungsrate dieser FWs können Puffer voll werden und sie können die Protokolle möglicherweise nicht erneut an den Protokollsammler weiterleiten, sobald sie wieder hochsind.