Entwerfen und Panorama Größenprotokoll-Collector-Umgebungen

Die Panorama Lösung besteht aus zwei Gesamtfunktionen:
 

1. Konfiguration und Geräteverwaltung: Dazu gehören Aktivitäten wie Konfigurationsmanagement und -bereitstellung, Bereitstellung von Palo Alto Networks Firewalls, Software-Upgrade und Inhaltsaktualisierungen.

2. Protokollsammlung: Dazu gehört das Sammeln von Protokollen von einer oder mehreren Firewalls, entweder zu einer einzelnen Panorama oder zu einer verteilten Protokollsammlungsinfrastruktur. Zusätzlich zum Sammeln von Protokollen aus bereitgestellten Firewalls können Berichte basierend auf diesen Protokolldaten generiert werden, unabhängig davon, ob sie sich lokal in der Panorama (z. B. einzelnen M- Serie oder VM Appliance) für eine verteilte Protokollierungsinfrastruktur befinden.

Die Panorama Lösung ermöglicht Flexibilität beim Design, indem diese Funktionen verschiedenen physischen Teilen der Managementinfrastruktur zugewiesen werden. Beispiel: Die Geräteverwaltung kann von einem ausgeführt VM Panorama werden, während die Firewalls ihre Protokolle an zusammengezäuftte dedizierte Protokollsammler weiterleiten:

 

Im obigen Beispiel werden Geräteverwaltungsfunktionen und Berichte auf einer VM Panorama Appliance ausgeführt. Es gibt drei Log-Sammler-Gruppen. Gruppe A enthält zwei Protokollsammler und empfängt Protokolle von drei eigenständigen Firewalls. Gruppe B , besteht aus einem einzelnen Collector und empfängt Protokolle von einem Firewallpaar in einer Active/Passive Hochverfügbarkeitskonfiguration ( HA ). Die Gruppe C enthält ebenfalls zwei Protokollsammler und empfängt Protokolle von zwei HA Firewall-Paaren. Die Anzahl der Log-Kollektoren in einem bestimmten Ort ist eine Reihe von Faktoren abhängig. Entwurfsüberlegungen werden weiter unten behandelt. Hinweis: Jede Plattform kann ein Management-Only sein und auch als Logger einschließlich VM und M- Serie fungieren.

• Alle physischen oder virtuellen Panorama Funktionen, die die Protokollsammlungsfunktion unterstützen.
• PAN-OS 8.1 und höher

Protokollsammlungverwaltete

Geräte

Während alle aktuellen Plattformen eine Obergrenze Panorama von 5000 Geräten für Verwaltungszwecke haben (5000 Firewalls mit einem einzelnen oder seit M-600 PAN-OS 9.0), ist es wichtig, die Größe zu Panorama verwenden, um zu verstehen, wie hoch die eingehende Protokollrate von allen verwalteten Geräten sein wird. Nehmen Sie zunächst eine Bestandsaufnahme der Gesamten appliances vor, die firewall von verwaltet Panorama werden.
 
Verwenden Sie die folgende Tabelle als Beispiel, um eine Bestandsaufnahme Ihrer Geräte zu erstellen, die Protokolle weiterleiten müssen:

Lesen Sie den folgenden Artikel zum Bestimmen der Protokollrate: Ermitteln der Protokollrate auf Geräten mit einem Protokollsammler-Protokollierungsanforderungen Panorama



Dieser Abschnitt behandelt die Informationen, die für die ordnungsgemäße Größe und Bereitstellung der Protokollierungsinfrastruktur erforderlich sind, um

Panorama Kundenanforderungen zu erfüllen. Es gibt drei wesentliche Faktoren bei der Bestimmung der Betrag insgesamt erforderlichen Speicherplatz und so zuweisen, dass die Lagerung über Log-Sammler verteilt. Diese Faktoren sind:

1. Protokollaufnahmesanforderungen: Dies ist die Gesamtzahl der Protokolle, die pro Sekunde an die Infrastruktur gesendet Panorama werden.

2. Logstorage-Anforderungen: Dies ist der Zeitrahmen, für den der Kunde Protokolle auf der Verwaltungsplattform aufbewahren muss. Dafür gibt es verschiedene treibende Faktoren, darunter sowohl basierende als auch policy regulatorische Compliance-Motivatoren.

3. Gerätestandort: Der physische Standort der Firewalls kann die Entscheidung, Appliances an Remote-Standorten auf der Grundlage von Bandbreite usw. zu platzieren, DLC WAN bestimmen.

Jeder dieser Faktoren wird in den folgenden Abschnitten erläutert:

Protokollerfassungsanforderungen

Die aggregierte Protokollweiterleitungsrate für verwaltete Geräte muss verstanden werden, um einen Entwurf zu vermeiden, an den regelmäßig mehr Protokolle gesendet werden, Panorama als sie empfangen, verarbeiten und auf den Datenträger schreiben können.  In der folgenden Tabelle wird die maximale Anzahl von Protokollen pro Sekunde beschrieben, an die jede hardware Plattform weitergeleitet werden kann und die beim Entwerfen einer Lösung verwendet Panorama werden kann, um die maximale Anzahl von Protokollen zu berechnen, an die in der Kundenumgebung weitergeleitet werden Panorama kann.

Geräteprotokollweiterleitungslimits

Die Protokollaufnahmewirden wird Panorama durch die plattform- und modus-in-Use beeinflusst (gemischter Modus vs. Logger-Modus). Die folgende Tabelle zeigt die Aufnahmeraten Panorama für die verschiedenen verfügbaren Plattformen und Betriebsarten. Die Zahlen in Klammern neben VM der Anzahl der CPUs und Gigabytes, die der zugeordnet RAM VM sind.


Panorama Unterstützte Protokollerfassungsraten

Die oben genannten Zahlen sind alle Maximalwerte. In live-Einsätzen ist die eigentliche Protokoll in der Regel einen Bruchteil der unterstützten maximalen. Eigentliche Protokoll Festsetzung ist stark abhängig von der Kunde Verkehrsmix und ist nicht unbedingt an Durchsatz gebunden. Beispielsweise zeigt eine einzelne ausgelagerte Sitzung einen hohen Durchsatz an, SMB generiert jedoch nur ein Datenverkehrsprotokoll. Umgekehrt können Sie einen kleineren Durchsatz haben, der aus Tausenden von UDP DNS Abfragen besteht, die jeweils ein separates Datenverkehrsprotokoll generieren. Für die Größenänderung kann eine grobe Korrelation zwischen Verbindungen pro Sekunde und Protokollen pro Sekunde gezogen werden.

*Auf Panorama VMs können zusätzliche Funktionen mit mehr Ressourcenzuweisungen erreicht werden. Weitere Informationen finden Sie unter Setup-Voraussetzungen für die Panorama virtuelle Appliance.

Methoden zum Bestimmen der Protokollrate

Neuer Kunden:

• Nutzen Sie Informationen aus vorhandenen Datenquellen der Kunden. Viele Kunden verfügen über eine Protokollierungslösung von Drittanbietern wie Splunk, ArcSight, Qradar usw. Die Anzahl der Protokolle, die von ihrer vorhandenen Lösung gesendet firewall werden, kann aus diesen Systemen gezogen werden. Wenn Sie diese Methode verwenden, erhalten Sie eine Protokollanzahl von der Drittanbieterlösung für einen ganzen Tag und dividieren Sie durch 86.400 (Anzahl der Sekunden an einem Tag). Tun Sie dies für mehrere Tage, um einen Durchschnitt zu erhalten. Achten Sie darauf, sowohl Geschäfts- als auch Nicht-Geschäftstage einzubeziehen, da es in der Regel eine große Abweichung in der Protokollrate zwischen den beiden gibt.

• Verwenden Sie Daten von Auswertungsgeräten. Diese Informationen bieten einen sehr guten Ausgangspunkt für die Dimensionierung Zwecke und mit Eingabe vom Kunden, Daten für andere Websites im gleichen Design extrapoliert werden können. Diese Methode hat den Vorteil, dass sie über mehrere Tage einen Durchschnitt liefert. A Skript (mit Anweisungen), um bei der Berechnung dieser Informationen zu helfen, ist diesem Dokument beigefügt. Laden Sie die Datei mit dem Namen "ts_lps.zip" aus Design Log-Collector Documents.rar herunter. Entpacken Sie die ZIP-Datei und verweisen Sie auf die README .txt.

• Wenn keine Informationen verfügbar sind, verwenden Sie die obige Tabelle "Weiterleitung des Geräteprotokolls" als Referenzpunkt. Dadurch werden die ungenaueste Methode für einen bestimmten Kunden.

Bestehende Kunden:

Für bestehende Kunden können wir Daten nutzen, die von ihren vorhandenen Firewalls und Protokollsammlern gesammelt wurden:

• Um die Protokollrate einer einzelnen zu überprüfen, laden Sie die firewall Datei mit dem Namen "Device.zip" aus Design Log-Collector Documents.rar herunter,entpacken Sie die ZIP-Datei und verweisen Sie auf die README .txt-Datei, um Anweisungen zu erhalten. Dieses Paket fragt einen einzelnen über einen bestimmten Zeitraum ab firewall (Sie können auswählen, wie viele Samples sie haben) und gibt eine durchschnittliche Anzahl von Protokollen pro Sekunde für diesen Zeitraum an. Mindestens sollte dieses Skript 24 Stunden hintereinander an einem Werktag ausgeführt werden. Das Skript für eine ganze Woche zu laufen, wird helfen, die zyklische Ebbe und Flut des Netzwerks zu erfassen. Wenn der Kunde keinen Protokollsammler hat, muss dieser Prozess für jeden in der Umgebung ausgeführt firewall werden.

• Wenn der Kunde über einen Protokollsammler (oder Protokollsammler) verfügt, laden Sie die Datei mit dem Namen "lc_lps.zip" aus Design Log-Collector Documents.rar herunter,entpacken Sie die ZIP-Datei und verweisen Sie auf die README .txt-Datei für Anweisungen Dieses Paket fragt den Protokollsammler ab, MIB um ein Beispiel für die eingehende Protokollrate über einen bestimmten Zeitraum zu erstellen.

Logstorage-Anforderungen
 

Faktoren, die die Logstorage-Anforderungen beeinflussen:

Es gibt mehrere Faktoren, die die Anforderungen an den Protokollspeicher beeinflussen. Die meisten dieser Anforderungen sind regulatorische in der Natur. Kunden müssen möglicherweise Compliance-Anforderungen für HIPAA , PCI oder Sarbanes-Oxley erfüllen.

• PCI DSS Anforderung 10,7
• Sarbanes-Oxley Act, Abschnitt 802
• HIPAA - Nr. 164.316(b)(2)(i)

Es gibt andere Regierungs- und Industrie-Standards, die berücksichtigt werden müssen. Darüber hinaus haben einige Unternehmen interne Anforderungen. Zum Beispiel: eine bestimmte Anzahl von Tagen im Wert von Protokollen auf der ursprünglichen Managementplattform beibehalten werden. Stellen Sie sicher, dass all diese Anforderungen mit dem Kunden adressiert werden, wenn eine Protokoll-Storage-Lösung entwerfen.
 
Der Fokus liegt auf der Mindestanzahl von Tagen im Wert von Protokollen, die gespeichert werden müssen. Wenn eine maximale Anzahl von Tagen erforderlich ist (aufgrund von Vorschriften oder policy ), können Sie die maximale Anzahl von Tagen festlegen, um Protokolle in der Kontingentkonfiguration zu halten.
 

Berechnen des erforderlichen Speichers:

Die Berechnung des erforderlichen Speicherplatzes auf der Grundlage der Anforderungen eines bestimmten Kunden ist ein ziemlich einfacher Prozess, kann jedoch arbeitsintensiv sein, wenn höhere Genauigkeitsgrade erreicht werden. Mit PAN-OS 9.1 beträgt die durchschnittliche Größe aller Protokolltypen 489 Bytes*. Diese Zahl berücksichtigt die gesamtauf dem Datenträger gespeicherte Protokollgröße. 
 
* Die durchschnittliche Protokollgröße kann je nach Datenverkehrs-/Protokollierungsmix und aktivierten Funktionen variieren.

Beachten Sie, dass wir möglicherweise nicht die Protokollierungslösung für die Langzeitarchivierung sind. In diesen Fällen wird die Syslog-Weiterleitung zu Archivierungszwecken vorgeschlagen. 

Die Gleichung zur Bestimmung der Speicheranforderungen für einen bestimmten Protokolltyp:

Beispiel: Kunde möchte 30 Tage im Wert von Verkehr Protokolle mit einer Log-Rate von 1500 Logs pro Sekunde halten zu können:

Das Ergebnis der obigen Berechnung berücksichtigt nur detaillierte ElasticSearch-Protokolle. Mit Standard-Quoten-Einstellungen reservieren 60% des verfügbaren Speichers für detaillierte Protokolle. Dies bedeutet, dass die berechnete Zahl 60 % des von ElasticSearch verwendeten Speichers ausmacht. Um den Gesamtspeicherbedarf für ElasticSearch zu berechnen, dividieren Sie diese Zahl durch .60:

Ein Drittel (33 %) des verfügbaren Speicherplatzes, der protokollierten formatierten Protokollen zugewiesen ist. Die protokollierten formatierten Protokolle werden gespeichert, um Einupgrades, Downgrades und Unterstützung bei der Behebung von Datenbankbeschädigungen zu unterstützen. Um den gesamten Speicher zu berechnen, der gekauft werden muss, Teilen Sie den für ElasticSearch erforderlichen Speicher durch .66:

Standardprotokollkontingente für Panorama 8.0 und höher:

Logtype % Storage
Detailed Logs Firewall 60 Summary Logs
Firewall 30 Infrastructure and Audit Logs 5

Palo Alto Networks Platform Logs .1 External Logs .1 3rd Party External Logs .1 Weitere Informationen zur Speicherplatzzuweisung finden Sie unter
: Wie Speicherplatz auf

Panorama

Protokollsammlern zugewiesen wird.

Panorama



Protokollverfügbarkeit

Es gibt zwei Methoden zum Erreichen von Redundanz für Protokolle bei Verwendung einer Protokollkollektorinfrastruktur (entweder dedizierte oder im gemischten Modus).
 

Protokollredundanz:

PAN-OS 8.1 und höher enthalten eine explizite Option, um jedes Protokoll an 2 Protokollsammler in der Protokollsammlergruppe zu schreiben. Durch Aktivieren dieser Option sendet ein Gerät sein Protokoll an den primären Protokollsammler, der das Protokoll dann an einen anderen Collector in derselben Gruppe repliziert:




Protokollduplizierung stellt sicher, dass zwei Kopien eines bestimmten Protokolls in der Protokollsammlergruppe vorhanden sind. Dies ist eine gute Option für Kunden, die müssen Log-Verfügbarkeit zu gewährleisten. Dinge zu beachten:

1. Die Replikation erfolgt nur im Rahmen einer Log-Sammler-Gruppe.

2. Der insgesamt verfügbare Speicherplatz wird halbiert (weil jedes Protokoll zweimal geschrieben ist).

3. Insgesamt wird Log Einnahme um bis zu 50 % gesenkt werden.

4. Latenz sollte <10ms between the multiple LCs within the same collector group  to avoid an Inter- LC ein Problem sein.

 
  
Collector Group-Präferenzliste:

Die Methode besteht darin, mehrere Protokollsammler in einer Gruppe zu platzieren. In diesem Szenario kann die firewall mit einer Voreinstellungsliste konfiguriert werden, sodass der zweite Collector in der Liste die Protokolle empfängt und speichert, wenn der primäre Protokollsammler ausfällt.

Die beste Methode für die Protokollweiterleitung an Log Collectors ist eine Log-Collector-Einstellungsliste. 

Weitere Informationen finden Sie unter Caveats for a Collector Group with Multiple Log Collectors.

In der unten gezeigten Architektur sind sie so konfiguriert, dass Firewall A sie ihre Protokolle hauptsächlich an Log Collector 1 senden, wobei Log Collector 2 als Backup angezeigt Firewall B wird. Wenn Log Collector 1 nicht mehr erreichbar ist, senden die Geräte ihre Protokolle an Log Collector 2.






Überlegungen zum Entwurf
der Log Collector Group Es gibt drei Hauptgründe für die Konfiguration von
Protokollsammlern in einer Gruppe:
  

1. Für eine bestimmte (oder eine Gruppe von Firewalls) ist eine größere Protokollaufbewahrung erforderlich, firewall als von einem einzelnen Protokollsammler bereitgestellt werden kann (zur Skalierung der Aufbewahrung).

2. Für einen bestimmten Als einen einzelnen Protokollsammler (zur Skalierung der Aufnahme) ist eine größere Aufnahmekapazität firewall erforderlich.

3. Anforderung für die Entlassung von Log.

 

Wenn Sie die Verwendung von Protokollsammlergruppen in Betracht ziehen, gibt es einige Überlegungen, die in der Entwurfsphase berücksichtigt werden müssen:
 

1. Verteilung der Aufnahme auf die verfügbaren Collectors: Es können mehrere Geräteweiterleitungseinstellungslisten erstellt werden. Dadurch kann die Einnahme von mehreren Sammlern in der sammlergruppe abgewickelt werden. Zum Beispiel wird die Präferenz Liste 1 die Hälfte der Firewalls und Listen Sammler 1 als Primär-und Sammler 2 als sekundäre haben. Die Präferenz Liste 2 wird den Rest der Firewalls und Listen Sammler 2 als Primär-und Sammler 1 als sekundär haben.

2. Latenz Fragen: die Netzwerk Latenz zwischen Sammlern in einer Log-Collector-Gruppe ist ein wichtiger Faktor für die Leistung. A Allgemeine Entwurfsrichtlinie besteht darin, alle Kollektoren, die Mitglieder derselben Gruppe sind, dicht beieinander zu halten. Die folgende Tabelle gibt eine Vorstellung davon, was Sie bei verschiedenen Latenzmessungen erwarten können, wenn Redundanz aktiviert und deaktiviert ist. In diesem Fall ist "Protokollverzögerung" das unerwünschte Ergebnis einer hohen Latenz - Protokolle werden erst lange nach dem Senden an in der UI Panorama angezeigt.

NOTE: Latenz sollte <10ms between the multiple LCs within the same collector group  to avoid an Inter- LC ein Problem sein. 


 
Verwenden des Größenarbeitsblatts:

Die Informationen, die Sie benötigen, umfassen den gewünschten Aufbewahrungszeitraum und die durchschnittliche Protokollrate.



Aufbewahrungszeitraum: Anzahl der Tage, die Protokolle aufbewahrt werden müssen.

Durchschnittliche Protokollrate: Die gemessene oder geschätzte aggregierte Protokollrate.

Redundanz erforderlich: Aktivieren Sie dieses Kontrollkästchen, wenn die Protokollredundanz erforderlich ist.

Speicher für detaillierte Protokolle: Die Speichermenge (in Gigabyte), die erforderlich ist, um den Aufbewahrungszeitraum für detaillierte Protokolle einzuhalten.

Gesamtspeicher erforderlich: Der zu kaufende Speicher (in Gigabyte). Dies berücksichtigt alle Protokolltypen in den Standardkontingenteinstellungen.



EXAMPLE USE CASES









 

• Wenn Sie weitere Fragen haben oder Hilfe beim Entwurf und der Bereitstellung Ihrer Protokollierungsumgebung benötigen, wenden Sie sich bitte an das Kontoteam.

• Die genannten Dokumentationen werden als Design Log-Collector Documents gezippt und an diesen Artikel angehängt, die zum Download zur Verfügung stehen.

• Im folgenden Dokument erfahren Sie, wie Sie die Konfiguration der Präferenzliste für NGFW Firewalls überprüfen. Überprüfen Sie die Protokollweiterleitung an Panorama

• Weitere Informationen zum Konfigurieren der Protokollweiterleitung finden Sie im folgenden Dokument.