Comment permettre à Googlebot et d'autres robots d'exploration Web à travers le pare-feu de Palo Alto Networks

Question

Comment pouvons-nous permettre Googlebot et d'autres robots Web à travers le pare-feu de Palo Alto Networks?

Qu'est-ce que Googlebot ou un robot d'indexation Web?

Un robot d'indexation Web est un programme qui visite des sites Web et lit leurs pages et d'autres informations afin de créer des entrées pour un moteur de recherche index.

Détails

Lorsque les sites Web sont protégés par un pare-feu de Palo Alto Networks, permettant le port 80 est suffisant pour les robots Web de Google (araignées) ou tout autre robot d'indexation d'accéder au site Web pour indexer le contenu et ajouter que les résultats de recherche, mais lorsque vous utilisez des applications dans le cadre de la politique de sécurité, il y a plus de conditions.

Réponse

Pour autoriser Googlebot ou tout autre robot d'indexation via le pare-feu, en plus des applications déjà autorisées (navigation sur le Web, ping, Flash, etc.), l'application «Web-Crawler» doit également être autorisée.  

Pour que «Web-Crawler» fonctionne correctement, la «navigation sur leWeb» doit également être autorisée aussi bien.  Voir la section «dépend des applications:» dans la zone d'application pic ci-dessous. Écran de détails Web-Crawler à partir d'objets > applications

Remarque: si votre stratégie de sécurité doit restreindre l'analyse Web à partir d'un robot d'indexation Web spécifique , l'administrateur doit utiliser l'adresse IP source dans la stratégie de sécurité. À ce moment, Palo Alto Networks n'a pas une demande séparée pour "Googlebot".

propriétaire: acamacho