Wie man Googlebot und andere Web-Crawler durch die Palo Alto Networks Firewall erlaubt

Frage

Wie lassen wir Googlebot und andere Web-Crawler durch die Palo Alto Networks Firewall?

Was ist Googlebot oder ein Web- Crawler?

EIN Web -Crawler ist ein Programm, das Websites besucht und Ihre Seiten und andere Informationen liest, um Einträge für einen Suchmaschinen Index zu erstellen.

Details

Wenn Websites durch eine Palo Alto Networks Firewall geschützt werden, ist es für Google-Web-Crawler (Spinnen) oder einen anderen Web-Crawler ausreichend, auf die Website zuzugreifen, um den Inhalt zu indizieren und dies zu den Suchergebnissen hinzuzufügen, aber bei der Verwendung von Anwendungen als Teil der Sicherheitspolitik gibt es mehr Anforderungen.

Antwort

Um Googlebot oder einen anderen Web-Crawler durch die Firewall zu ermöglichen, muss zusätzlich zu den bereits erlaubten Anwendungen (Web-Browsing, Ping, Flash etc.)auch die "Web-Crawler"-Anwendung erlaubt sein.  

Damit 'Web-Crawler' richtig funktioniert,muss auch ' Web-Browsing' erlaubt sein.  Sehen Sie die "abhängig von den Anwendungen:" Bereich im Anwendungsbereich pic unten. Web-Crawler Detail Screen von Objekten > Anwendungen

Hinweis: Wenn Ihre Sicherheitsrichtlinien das Web-Krabbeln von einem bestimmten Web-Crawler einschränken müssen , muss der Admin die Quelle-IP in der Sicherheitsrichtlinie verwenden. Palo Alto Networks hat zu diesem Zeitpunkt keine separate Anwendung für "Googlebot".

Besitzer: acamacho